Google、機械学習でなぜその結論に至ったかを分析するためのツール「Explainable AI」を発表 44
ストーリー by hylom
必要なツールではある 部門より
必要なツールではある 部門より
Anonymous Coward曰く、
昨今の機械学習技術においては、入力に対しなぜそのような出力が得られたのかを分析することが難しい。この問題に対処するための研究も進められているが、その成果の1つとしてGoogleが「Explainable AI」（説明可能なAI）というツールを公開した（CNET Japan）。
Explainable AIは、解釈可能かつ包括的な機械学習モデルを開発し、信頼してデプロイするためのツールおよびフレームワーク集。特徴量を理解したり、デールの振る舞いを視覚的に調査することを助けるという。
データ中の特徴量が結果にどのような影響を与えたかを定量的に提示でき、これによってアルゴリズムがなぜそのような結果を出力したのかを理解しやすくできるという。例えば、誰かに対する融資の承認可否を決定するモデルの場合、Explainable AIは口座残高や信用度が最も重要なデータであることを示してくれるのだという。
なお、説明可能なAIについてはそれに意味があるのかと疑問を呈する声もあった（Computerworld）。
バイアスの可視化に使えないだろうか (スコア:3, 興味深い)
AIが差別的なふるまいを学習してしまう問題ってのが過去何度かありましたが、このツールを使えば差別的なふるまいをする人がどのあたりを誇張、あるいは拡大解釈するのかを洗い出すことが可能になるのではないだろうか。
そういったバイアスの存在が明確化できるのであれば、逆算的にバイアスがかかった情報からバイアスを排除した情報を抜き出してくることも可能になるはず。
例えば、同じ内容を扱った朝日新聞と産経新聞の記事を比較することで、それぞれにかかっているバイアスを排除した中立的な記事作ることができる、とかそういう応用の仕方もできるのでは。
しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
無理無理 (スコア:0)
壁のしみが人の顔に見えるように、ランダムな文字列からでもバイアスを拾い上げて「このAIは偏ってる！」とするのが人間ですよ。
Re: (スコア:0)
「聖書の暗号」を思い出しちゃった。
聖書(ヘブライ語だったっけ)をn字置きに抜き出してみると、これ未来予知になってる！ってやつ。
あれ面白かったなあ。
Re: (スコア:0)
バイアスを可視化することはできるけど、「バイアスのない情報」は存在しないよ。
どの記事のどの部分がどんな構文でどれだけ「一般言語コーパス」的なものから乖離しているかあげつらうことはできると思う。
けど、それを元に「数学的に公平中立性が保証された簡潔な文章」みたいなものを構築することはできないよ。
だって、バイアスのない正確な情報って現物そのものじゃん。スタートレックじゃないんだから。
Re: (スコア:0)
それはそれで可視化の価値はあるんじゃない？
「どの情報にもバイアスは存在するから、ノイズが多すぎて使い物にならないだろう」って意味なら、そうかもしれないが・・・。
Re: (スコア:0)
可視化の価値はあると思うよ。ただ、「情報からバイアスを排除した情報」とか
「バイアスを排除した中立的な記事」は情報や記事たり得ないから存在し得ないと思う。そんだけ。
Re: (スコア:0)
AIの話題でバイアスって用語を使うの紛らわしい
Re: (スコア:0)
人間のバイアスをあぶり出すため、と言ってるんだから妥当でしょ。ちゃんと読みなさいよ。
Re: (スコア:0)
これって、driverlessai等のソフトがInterpretabilityとか読んで提供していたものと本質は同じものでは？
であれば、単にAIにインプットされたどのデータが、どの程度結果に影響しているか？を説明できるだけなので、そもそも全ての内部パラメータがブラックボックスな人間の知能には適用できない気がする。
Re: (スコア:0)
人間の知能の構造を推定しようって話ならば意味あるんじゃない
Re: (スコア:0)
AIの学習パラメータを表示するだけのツールだから人間とは全然関係ない
Re: (スコア:0)
Re: (スコア:0)
普段人から言語不明瞭って言われない?
Re: (スコア:0)
サールの「中国語の部屋」とか知らない?
Re: (スコア:0)
中国人の部屋は知ってるけど、AIソフトのバイナリファイルを可視化するツールの話に
「人間の知能の構造を～」とか言い出すからちょっと人工知能寄りの人なのかなと思って
早い者勝ち (スコア:1)
42
Re:早い者勝ち (スコア:1)
詳細な説明をご希望の方は、アルファ・ケンタウリ出張所にお問い合わせください。
必要でしょう (スコア:1)
コンピューターが月面を爆撃した理由を知りたいならば
#未来の二つの顔
Re:必要でしょう (スコア:1)
将棋のAIに活用できたら有益だと思う。
Re: (スコア:0)
あれは拘束条件が足りなかったのだろうけど
フレーム問題もつきまとうからなぁ
回答 (スコア:0)
Re: (スコア:0)
現実的なAI「Google様の利益を最大化する為です」
Re: (スコア:0)
矯正されたAI「ユーザーエクスペリエンスを最大化する為です」
Re: (スコア:0)
ロマンチックなAI「愛が全てさ」
富士通はエキスパートシステムと紐づけたもの出してますね (スコア:0)
テンソル構造の変異とエキスパートシステムによる論文データの紐付けを行う事で、説明用のピースを提示するそうな。
AIの判断基準は決めるものではなく調べるもの (スコア:0)
AIはプログラマーがあれこれ判断基準を指示するものじゃなくて、データから勝手に出来上がるものなんだってことだな。
だから判断基準が知りたければ必要なら調べるしかないわけだ。
そりゃそうだよな、指定するのは「ネットワークの形」と「生データ」と「生データのラベル」だけだもんな。
アルゴリズムは畳み込みニューラルネットワーク一択だもんな。まあ学習率とか一括で設定する項目は一杯あるけどな。
ただ入力N次元ベクトルと出力N次元ベクトルの間に大量の連立方程式を定義して、変数を焼きなまして数値解を
作って使うだけのシステムなのに、人間が手で組んだアルゴリズムなんかよりよっぽど正確な推論ができて
素人でも簡単に扱えちゃうのが混乱の元なんだよな。
Re: (スコア:0)
出力N次元ベクトルを解釈して何かをするのは
プログラマーがあれこれ判断基準をこねくり回してやってんだけどね
そこが狂ってたらAIが狂ってなくてもシステムの挙動は狂ったものになる。
Re: (スコア:0)
昨今の機械学習とかディープラーニングとかって、
そのピックアップすべき特徴量を何次元にするのかとか、何に着目するのかとか、
それぞれの特徴をどのような重みで評価するのかとか、
それぞれの特徴を組合わせた時の部分評価がどうなってるのかとか、
全部コンピュータが自分で学習してプログラマは一切教えてないっつー理解だけど。
だからその部分が完全にブラックボックス化しちゃったら
計算で出てきた判断を信用していいかどうかまるっきり判らんし、
逆に今まで人間が気付かなかった部分を人間の思考にフィードバックできるかもって話でしょ？
Re: (スコア:0)
> 全部コンピュータが自分で学習してプログラマは一切教えてないっつー理解だけど。
理解が間違ってる。
Re: (スコア:0)
ということにしたいのですね
これが認知の歪みかあ
Re: (スコア:0)
データさえ与えれば人間はなにもしなくても最高の結果が出るのなら、AIの研究などもうしなくてよいのではないか？
Re: (スコア:0)
データさえ与えれば人間はなにもしなくても結果が出るだけだから研究しないとだめ
# 人間を越える結果を出すこともあればポンコツな結果が出てくることも
Re: (スコア:0)
このAIは全結合層の数が足りてないのかな
それとも単語のベクトル化が上手くいっていないのか
Re: (スコア:0)
以上のやり取りで明らかなように、人間同士でさえお互いの考えが分からない。
ましてやAIの考えをや。
Re: (スコア:0)
AIが狂ってるとか正しいという話ではなくて「人間の制御下に無い」というところがポイント
Re: (スコア:0)
データ解析や機械学習などの専門用語を用いてもいいので、具体例をあげてください。
Re: (スコア:0)
一択でもないですよ。
GBDTとか、まだまだあります。
可視化 (スコア:0)
nn3p(vector)というツールが係数の大きさを視覚化してましたが
ある特徴(入力)から出力に繋がるパーセプトロンの各種係数の値群の大小偏りを分析するんですかね
意味なくはないのかな (スコア:0)
特徴量が何か特定できれば、教師データを減らしたり厳選できるようになるんじゃないかな。
絶対必要だろ (スコア:0)
「AIが人種差別するならそれは正しい」
「むしろAIが良しとしたものを悪とする人間の価値観を疑え」
とかほざく自称AI研究者がのさばっているようじゃAIの内部動作の検証は必須だろう
Re: (スコア:0)
その言葉をのたまった人物の真意はわからんが、その字面だけならば真実ともいえる。
アルゴリズム自体が公平ならば、ビッグデータを基にした出力は社会の一側面の縮図を表している。
＃データは偏るものというか、その偏りを見つけて価値に結び付けるのが昨今のＡＩ活用法である。
＃それはＡＩなのかというのは昨今言い古された内容なので横においておく
つまりその時点での人間の社会活動の一端であり、その円滑な運用としては「正しい」出力である。
その出力が間違っているとすれば、社会活動を担う人間側の問題なので、価値観とやらも含めて人間側の行為を精査すべきである。
まあそのためにも今回のようなツールは有用だが。
公平なアルゴリズムはどういう社会活動をもって人間が悪とするものを良しとしたのか知るためにね。
＃ある種の偏ったデータしか入力できないのなら、もちろんそれは入力（データ収集方法含む）した人間側の問題でしょ？
＃データの集め方、入力方法の価値観・常識を疑わなくちゃ
Re: (スコア:0)
事実を認められないんですね
わかります
脳でいえば (スコア:0)
fMRIにあたるものなのかね。
そういうものは当然必要だろうけど、AIの精神分析とでもいうようなものも必要なんじゃないかな。
Re: (スコア:0)
今のAIは視覚野を真似たものだから内部状態みたいなものは無いけど
将来的に再帰やループができる新構造が発明されたら必要になるかもな