fMRIのソフトウェアに不具合、fMRIを使った直近1年の研究結果の正当性が危ぶまれる 20
ストーリー by hylom
そんな影響が 部門より
そんな影響が 部門より
あるAnonymous Coward曰く、
脳の活動を視覚化できる装置「fMRI」で使われているソフトウェアによる統計処理に不具合があり、その結果本来は陰性であるにもかかわらず陽性であると判断される偽陽性（False Positive）の割合が70％にも上っているという（GIAGAZINE、The Register、論文、Slashdot）。
これにより、fMRIを使った4万件もの研究結果の正当性に疑問符が付くことになり、非常に大きな影響があるという。
一つのバグが多くの迷惑を引き起こす例がまた新たに… (スコア:3, 参考になる)
前も貼ったけど，例えば EU の経済政策を間違った方向に導いた表計算ソフトのバグの話
http://markethack.net/archives/51871682.html [markethack.net]
とか，
10年以上前の記事だけど，歴代ワースト10 のバグ
http://wired.jp/2005/11/15/%E3%80%8C%E5%8F%B2%E4%B8%8A%E6%9C%80%E6%82%... [wired.jp]
とか，こういう話，結構あるよなあ．
あまり有名でない例はもっとたくさんあるんじゃないかな？ おお怖い怖い．
Re:一つのバグが多くの迷惑を引き起こす例がまた新たに… (スコア:5, 参考になる)
今回の問題(fMRI)は単純なソフトのバグではなく、多重比較に関する統計上の本質に近い
問題のようです。
ちなみに、GIGAZINEの記事 [gigazine.net]にある
なお、バグが見つかったのは「3dClustSim」と呼ばれるソフトウェアパッケージ>で、バグが発生したのは2015年の5月からだそうです。
原論文やThe Registerの記事をちらっとみると、これは誤りのようで、15年間バグがあっ
て2015年の5月に修正。他のソフトにも問題があり、3dClustSimだけではない。
Re: (スコア:0)
MRIのメーカーって最低でも5社くらいはあるみたいだけど、そのうち3社か4社が同じソフトウェアパッケージを使っていてバグっていたということなんだろうか？
それとも開発時に参照した論文か何かが間違っていて、各社のソフトウェアに同じバグが入ったということなんだろうか？
Re:一つのバグが多くの迷惑を引き起こす例がまた新たに… (スコア:1)
高校の頃、学校で購入した関数電卓(EL-8115S)にバグがあってその結果、間違ったレポートを提出して怒られた事が...
小さい負の値と情報落ちするような大きな値を足すと計算を間違える。
-1.0e-10 + 1.0e20とかが1.0e20や9.999...e19とかではなくとんでもない値。
電池を入れてみたものの動かなくなっていたのでどうなったのか不明。
安くで販売とか言ってたのはこのせい？
Re: (スコア:0)
まあ、シャープ製ですから・・・
Re: (スコア:0)
下のリンクにあるセラック25の話、むちゃくちゃ怖いな。
Re: (スコア:0)
× 表計算ソフトのバグ
○ スプレッドシートのミス(詳細書いてないけど、セルの式が間違ってるとか、マクロがバグってるとかそういう意味に読める)
じゃないの？
ソフト自体にバグがあったとは書いてないよ？
Re: (スコア:0)
おお，確かに仰るとおり．書いているときは気づかなかったけど，この書き方だとそういう意味になってしまいますな．ご指摘ありがとう．
というわけで，正しくは
「表計算ソフトを使って計算した人の書いたマクロなど？ がバグっていた」
という意味なので，皆様よろしく．
Re: (スコア:0)
家計簿ソフトの電卓機能が掛け算まちがえるバグなんて、まだかわいいもんですね。
Re: (スコア:0)
ちょっ！
上の事例グラフ見ただけで怪しいと思わなかったんだろうか？
経済学部って各データから等距離になるように定規で線引いてみろって習わないのか？
変わった値が出たからって検証しないで喜々として論文書いてるなんて…イカれてるだろ！
真に受けてた連中も検証しないんだな
元データに立ち返って検証しないんだな
これだから経済学者のいうことは信用出来ない
最近も選挙演説で並べてる数字の実態
グラフの開始点変えただけで話が180度変わる事例見て
政治家と経済学者が詐欺師だということがよくわかったけど
まあ政治家は争点ずらして有権者騙せればなんでもいいんだろうけど
Re: (スコア:0)
なんのグラフのことを言ってるのか分からないけど統計データだと定規で線引くことはないんじゃ
ないかな？
最小二乗法で直線近似とか、理論から導かれた関数にフィッティングさせるとかはするけど。
定規で引くのは直感に任せることになるけど、直感というのはそれほど信用できるものじゃない。
研究者ならある程度直感が優れてるけど、論文にするにはちゃんと理論に基づいて導き出す。
その経済学者のケースにしても今回のケースにしても、自分の使ってるツールの検証をおろそかに
してたことが原因だろうね。
これを防ぐには、元データの開示と使用したツールをソースコードレベ
多数のパラメータと少数のサンプル / 多重検定 / 第一種過誤 (スコア:1)
今回のfMRIの場合や遺伝子発現解析(マイクロアレイ)あるいはゲノムワイド遺伝子相関解
析(GWAS)の場合のように、多数のパラメータ(測定する、遺伝子数、脳領域数)と比べて少
数のサンプルあるいは繰り返しデータしかしかない場合、多重検定の補正が必要になる場
合がある。
多重検定に関する問題 それは本当に多重検定なの？ [akita-pu.ac.jp]
どうもさる雑誌のひとりのレビューワーがかならず
「マイクロアレイによる比較は全てコンテンツ数ぶんの多重比較なので、P値に補正をか>けなければいけない」
という考えをお持ちで、学会の大勢がそちらに流れているということらしい。
これのウラがまだとれていないのだけど、もしこれが本当なら
とんでもない間違いだと思うので糾そうと考えている。
もし、たとえばBonferroni adjustment をマイクロアレイに適用するなら、
p値をコンテンツ数で割らなければならない。
もちろんそんな切り方をすれば、有意になる遺伝子はほとんどなくなる。
この問題にウラがとれたら、適切なジャーナルにコメントを送ろうかと考えてい>ます。
この文章の著者の論旨は私には間違っているように思えるのだけど、どうなんでしょうか？
Re:多数のパラメータと少数のサンプル / 多重検定 / 第一種過誤 (スコア:1)
多重検定についていろいろ聞いてみました。 [togetter.com]
ぬばた @nubata
2013-01-09 22:21:21
@motthy 実はこの問題は随分まえから遺伝子の変動解析は多重検定だという多数はと、それは間違いだという少数派の戦いになっています。http://t.co/ctT1Fq7t
http://t.co/ctT1Fq7t [t.co]は#3044235 [srad.jp]のリンク先と同じ。ということで、このリンク先の趣旨が少数派で、私の考えが多数派ということになるみたい。しかし、こういうことは多数決で決まるものでもないし。そもそも、今現在はこの業界ではどのようになっているのだろうか？
Re: (スコア:0)
つまり、こういうことでしょうか
fMRIのサンプリング数が少ないのに
研究者は論文で結果を出さなければならない
論文書いて統計上わかんないよねって結論は許されない
有意な結果で帰結しなければならない
Re:多数のパラメータと少数のサンプル / 多重検定 / 第一種過誤 (スコア:1)
例えば、DNAマイクロアレイの実験では、
DNAマイクロアレイ [wikipedia.org]
この分析器具を用いれば、数万から数十万の遺伝子発現を一度に調べることが可能である。
ところで、一回の実験にかかるコストはこれをみると数万円 [chem-agilent.com]のようです。
ということで、膨大な数の遺伝子の発現情報は簡単に得られますが、コスト・時間・手間・材料の調達その他から考えて、数万～数百万のサンプル分のデータを取ることは実質不可能です。その結果として、パラメータの数、すなわち、遺伝子の数は膨大で、それに比べてサンプル数が少なくなってしまうのです。
今回のfMRIの場合も同様で、基本単位のボクセル(ピクセルの立体版)の数が
脳MRIデータの統計解析 [jst.go.jp]
例えば1ボクセルあたりのサイズを1.5 mm立方としたとき，121（横）x 145 x（縦）x 121（スライス）= 2,122,945ボクセルとなる
私は全くの素人なので、一回のスキャンにどれだけ時間がかかるか分かりませんが、ボクセル数と同じ200万回やるとすると、一回一秒だとしても、のべ500時間以上かかります。実際には安静にしているときと、何かを見せたりする時など比較するので、もっとかかるでしょう。FMRIの機械は数が少ないので、結局はサンプル数はもっとずっと少なくしか取れない、ということになります。
バグ修正されたバージョンで再計算しまして (スコア:0)
論文数を増やすネタにする、というわけには行きませんかな？やっぱり
Re:バグ修正されたバージョンで再計算しまして (スコア:2)
こういう場合って悪意なき誤りってことで論文は撤回されるんでしょうかね？
研究者自身が撤回するのかジャーナルが撤回を決めるのかはあると思うけど。
で、修正されたソフトで再検討して論文を修正して再投稿すればいいと思いますけど、
再検討した結果ボツネタとなるかも知れないので、論文数は増え無さそう…。
まぁ失敗データベース的なのに載せるネタにはなると思うけど。
全体の70%ではない (スコア:0)
「最もよく使われているfMRIソフトウェア郡」による診断の70%が偽陽性、ね
FFRIのソフトに脆弱性と見えてしまった (スコア:0)
また、セキュリティソフトに脆弱性かよと思ってしまった。
※俺の目に深刻な脆弱性が発見される
やっぱり (スコア:0)
メチレンブルーで頭がよくなる [science.srad.jp]ことはないんですね…
買いこまなくてよかった