Web上の風評をリアルタイムで検知する技術

あるAnonymous Coward 曰く、

富士通研究所が、「Web上の掲示板やブログ、SNSなどに書き込まれる企業や製品の風評情報をリアルタイムで検知する技術」を開発したそうだ（マイコミジャーナルの記事）。

記事を見る限り、クローラで記事を集めて、指定したキーワードを高速抽出する、といったもののようだ。しかし、「ネット上の悪評を検知するシステム」というのはよく聞く話だが、うまくいっているという話は聞いたことがない（たとえば犯行予告検出システムとか）。まぁ、もしうまくいって「悪口を書いたらすぐに捕捉される」ようになってもそれはそれで嫌ではあるが……。

結局は経営方針次第

[dagama (34698)]

いくら風評がキャッチできたとしても、
すぐにアクションが起こせる身軽さの無い企業では、導入してもムダというものでしょう。

そしてそういう身軽さのある企業というのは規模が小さいため、そもそも話題自体が少ないので、
こんなシステムを導入してまで風評を集める必要が無い、と。

Re:結局は経営方針次第

[kiwipease (35756)]

いえいえ、大企業であっても、いや、大企業であるほど
より効率的に工作員を送り込む必要があるのですよ。

Re:

[Anonymous Coward]

GKですね。わかります。
たしかに工作しやすいですよね。SEO同様、風評捏造サービスができるかも。

Re:結局は経営方針次第

[gk (35543)]

久しぶりに呼ばれてきました。
まだまだ工作しますよー
御期待下さい。

Re:

[Anonymous Coward]

いわゆるGKは失敗例だと思うんですが。

しかしそれでもなくならない工作活動

[Anonymous Coward]

企業はネガティブ情報に対して「何もしない」というスルー力に欠けてるので、どうしても介入せざるを得ません。

ですが、工作活動のような後ろ向きの業務に当たる「優秀な人材」はまずいないわけで、どうしても他に使い道の無いゴミクズがそういう業務に就きます。または、工作活動請負の有名処に丸投げします（そういう仕事を請け負う会社の人間が工作活動のプロだと思ってはいけません。他に仕事が無いからそういう会社で働いているわけで、日本人なのに日本語すら不自由なレベルの「どこに行っても使い道のない底辺層」です。しかも全員アルバイトだったりするわけで

Re:

[Anonymous Coward]

これの結果を受けて世論工作するような企業に明日はない。ちゃんと改善に利用できなけりゃ。
また、ときには矢面に立つことも必要かもしれませんね。

もっとも企業のサイズが大きいほど、（人であれば社会的地位が高いほど）
ねたみなどによる悪い風評がでてくるわけでそれくらいは差し引いて考えなければなりませぬ。

Re:結局は経営方針次第

[Anonymous Coward]

どっこい生きてる新聞社

Re:

[Anonymous Coward]

ある音楽著作権団体みたいに運の悪かった一人を犠牲にして少しづつ減らしておく方法がありますよ。

Re:

[Anonymous Coward]

さらに、起こしたアクション自体を風評としてキャッチされちゃったりしたら。。。

じゃあこのコメントが消されたりオフトピになったら効果があったということで

[Anonymous Coward]

実験

意味解析は？

[ninestars (5792)]

文面を評価する際にその文面は何を意味しているのかが重要だと思いますが、ニュースリリースを見る限りそこまでは行っていないようですね。

例えば、"A社の製品Bは使い勝手が悪い" と "「A社の製品Bは使い勝手が悪い」と言われるが、私は良いと思う" では、全く異なる意味になります。

パターンマッチの工夫でそれは対応できるのでしょうか。

世には意味解析エンジンも存在しますが、確か富士通では無いと記憶しています。

# 上記のどちらでも、とにかく検知したいというのであれば問題ないですが

Re:意味解析は？

[mr_spock (908)]

その辺はまだ問題ないのよね。

"良い" positive 1
"悪い" negative 1

とかカウントされてくから。

それよりも

「A社の製品Bは素晴らしいよね。○ニータイマーとか付いてるし(ﾌﾟ」
「A社の製品Bほど他に良いものはみたことないですね。分かります。」

なんて書き方の場合、人間が見れば明らかに揶揄表現で反対のことを意味すると分かるが、今の解析ではどちらも positive とカウントされるんですよ。

それが一番やっかい。

Re:意味解析は？

[Anonymous Coward]

逆のケースも多数あるでしょうから、
うまく相殺されてそれほど問題はないのでは？

「べっ、別にA社の製品なんて欲しくないんだからねっ！」
「製品Bなんて売れるわけないじゃないよ。どっ、どうしてもって言うなら私が買ってあげてもいいけど…」

これらがnegativeとカウントされればいいので。

Re:意味解析は？

[gigo (21150)]

＞「A社の製品Bは素晴らしいよね。○ニータイマーとか付いてるし(ﾌﾟ」
＞「A社の製品Bほど他に良いものはみたことないですね。分かります。」

褒めてることが分かっている文例と、貶してることが分かっている文例を集めて機械学習すれば、「○ニータイマー」はnegativeな用語だくらいは認識できるでしょう。「分かります」も、褒めてる文例と貶してる文例で、出現頻度に有意な差があれば、識別に使えるでしょう。

ただ、考えてみると、それは「○ニータイマー」「分かります」が意味のあるキーワードという認識あってのことで、茶筌でバラバラにしてしまうと訳が分からなくなります。また、人間だって、キーワード見てるだけで、あまり複雑な処理はしてないのかも知れないと思います。

Re:意味解析は？

[Anonymous Coward]

仰有るとおりなのですが、そこまで形態素解析や構文解析、意味解析はがんばらなくても「ソニータイマー」がネガティブな表現であると拾うことができるんじゃないかと思います。

最近の自然言語処理の流れをみていると、人手をかけて学習用コーパスを大量に整備するよりも、Webから大量にコーパスを集めてきてそのうちの一部にのみ人手でラベルをつけて、あとは半教師あり機械学習でがんばるという例が増えています。

このようにコーパスが大きいと形態素解析や構文解析、意味解析などに時間がかかること、Webの表現ではあまりよい性能で解析できないこともあって、単なるN-グラムやbag of wordsで乗りきってしまうということもされてますね。
うまく機械学習器を調整することができれば、他が多少はいい加減でもweb as corpusが巨大であるという点で解決してしまうことができるようです。

まぁ計算機資源は非常に食うのですが...
ギガバイトのオーダーになってくると茶筌かけるだけで一苦労。

Re:

[Anonymous Coward]

もともと訳が分かる必要はないんじゃない？ Nグラムでいい。

Re:意味解析は？

[Anonymous Coward]

同感。
形態素解析だと意外と拾ってこれないケースが多くて・・・。
特に話し言葉に近い感じで書かれるようなテキストだと。

たぶん解釈はシステムに求めすぎない方が良いんだと思うな。
粗いレベルで情報を拾ってくれればOK。

Re:

[Anonymous Coward]

ソニータイマーとか付いてる

日本語がおかしい

Re:

[Anonymous Coward]

>今の解析ではどちらも positive とカウントされるんですよ。

されませんよ？
そんなレベルは5年ほど前に通過してます。

Re:

[Anonymous Coward]

良し悪しじゃなく「企業や製品についてなんか言ってるらしい」を全て抽出するんじゃないかな。
意味解析は、結果を人間が。
製品名で全文検索するってんじゃなく、「～についての風評らしい」を評価するとこの性能なんでしょうね。

Web上の風評を気にするより

[miishika (12648)]

Web上の風評を気にするくらいなら、問い合わせ(苦情)窓口とその対応に
お金を使った方がいいと思います。そもそも問い合わせ窓口の対応が
許しがたいものであるから、Web上に書き込まざるを得ないので。

Re:

[Anonymous Coward]

製品作りの上では

クレームの方がありがたいのですが。

所在は忘れましたが、どこかの商工会議所が

そういったコメントを集めて商売しているのを聞いた事があります

Re:

[Anonymous Coward]

福井商工会議所ですね
http://www.tv-tokyo.co.jp/gaia/backnumber/preview071113.html [tv-tokyo.co.jp]

Googleアラートみたいなもの？

[Anonymous Coward]

結構便利なのよね。
セキュリティ関連のニュースをチェックする時とか。
http://www.google.co.jp/alerts [google.co.jp]

Re:

[Anonymous Coward]

どこかのスパムブログソフトでそのキーワードが使われたらメールボックスがいっぱいになる

Re:

[Anonymous Coward]

> どこかのスパムブログソフトでそのキーワードが使われたらメールボックスがいっぱいになる

5. アラートはどのぐらいの頻度で送信されますか。 [google.com]

たとえば頻度を "1 日 1 回" とした場合、検索結果が毎日 1 回確認され、お客様は最大で 1 日 1 通の電子メールを受信することになります。

失礼なタレコミだな

[Anonymous Coward]

×富士通は
○富士通研究所と富士通研究開発中心有限公司は

まるで中国の研究者集団が何もしてないような書き方じゃないか。
元記事を勝手に端折るなよ。

Re:

[Anonymous Coward]

ベトナム人が日本のアニメの動画を作っても自慢しないのと同じ

別にWWWがインターネットの全てではない

[Anonymous Coward]

別の方法で嫌がらせしてやる