スパム以外の判定でも、 Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006 によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。
> スパム以外の判定でも、 > Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006 > によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。 論文はダウンロードはしたものの，ちゃんと読む時間がないので一般論しか書けません．ごめんなさい．
それもいいけど (スコア:0)
Re: (スコア:0)
普通のスパムフィルタはとっくに入ってる。
Gmailのスパムフィルタはかなり優秀な方だよ。
Re:それもいいけど (スコア:0)
この前航空会社からのE-ticketを迷惑メール箱行きにしてくれやがった。
問い合わせの課金弁償しろ。
その前は、Gmailから送られてきた友人のメールがスパム扱いになったこともｗ
同じところからのメールでも、日によってスパム扱いされたりされなかったり、謎なアルゴリズムだ。
Re:それもいいけど (スコア:2)
そりゃ、メール本文も参照してSPAM判定していますから。
もちろん誤分類をすることもありますが、おそらくは人間が手で分類するよりは少ないと思いますよ。
Re: (スコア:0)
> もちろん誤分類をすることもありますが、おそらくは人間が手で分類するよりは少ないと思いますよ。
さすがにそれは分類器を信用し過ぎです．
そもそも，人間がスパムだと思わないメールがあったら，それはスパムではないわけで．
いろいろな人が，人間の判断に近付けるような自動分類手法を開発しているけれど，F1値を1にするのは(まだ?)無理です．
Re:それもいいけど (スコア:2)
残念ながら、問題はそんなに単純ではありません。人間も凡ミスでスパム判定を誤ります。
さらに、人間には見落しや操作ミスの問題もあります。To err is humanってやつです。
スパム判定の場合には、単純ベイズ分類器でも98%の精度が出ています。
スパムかどうかの判定を訓練されていない一般の人間が相手をするのならば自動分類のほうが精度は高いです。
スパム以外の判定でも、
Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006
によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。
Re: (スコア:0)
> Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006
> によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。
論文はダウンロードはしたものの，ちゃんと読む時間がないので一般論しか書けません．ごめんなさい．
当たり前ですが，正解集合の作成者は人間ですから，正解集合を作った人より精度が高い分類というのは存在しえません．
この論文も，人間の被験者と自動分類器を比べたとき，作成者の判断に近いのは自動分類器だったとい
Re: (スコア:0)
一日一万通のスパムを受け取るとして、そのうち千通しか処理できないなら、利用者自身による分類の精度はわずか10%です。スパムフィルタは98%の精度で処理できるので、利用者は残りの2%だけ処理すればいいわけですね。
Re:それもいいけど (スコア:2)
通常、正解集合は1つのメールを複数人に判定させて作成します。
もちろん判定が人によって食い違うものがあります。
新聞記事のトピック分類では主観により「政治」か「経済」かで分かれることもありますが、
スパム判定では大抵が人間の誤判断による食い違いです。
この食い違いが人間の誤り率となってあらわれます。
Re: (スコア:0)
ええ，評価実験では主観的な分類を客観的なものに近付けるために，そのような手順をとります．
(むしろ，多くの実験では，できるだけ既存の正解集合を使用するわけですが．)
しかし，実環境では正解を決めるのは利用者個人であって，合議ではありません．
「誤判断」と書かれているような評価の揺れも，ある時点の当人にとっては正しい判断です．
Re:それもいいけど (スコア:2)
実環境では、
その他にも色々と人間による「誤判定」が大量に発生しています。
これらの状況を「いや、それで正解。だって本人がそう判定したのだから」とは言えませんよね？
Re: (スコア:0)
お互いに主張がぶれているようですので，ここでコメントをやめておきます．
条件無しで「自動分類の方が人間による分類より優れている」と書くのは，ミスリーディングだということが元々の主張です．
これだけ議論が伸びたことで，その記述を丸飲みする人はほとんどいなくなったでしょうから，当初の目的は達成されたと思います．
Re: (スコア:0)
月に一度くらい、spamフォルダの中身を確認するのですが、
spamassassinが誤判定したものよりも、
私自身でinboxから移したもののほうが多数です。
spamassassinをすり抜けてinboxに入ってくるspamが
毎日10-20通くらいあるので、hamでもsubjectがspamっぽいと
間違って一緒にspamフォルダに送っちゃうようです。
Re: (スコア:0)
Re: (スコア:0)
「(どんなスパムフィルタより)人が判断した方が正確だ」に対する反証(hamをspamに判定する例が十分ある)なので、spamassassinはあまり関係ないのでは？
# もちろん、文脈情報としては必要ですが