パスワードを忘れた? アカウント作成
14057177 story
Google

Google、機械学習でなぜその結論に至ったかを分析するためのツール「Explainable AI」を発表 44

ストーリー by hylom
必要なツールではある 部門より

Anonymous Coward曰く、

昨今の機械学習技術においては、入力に対しなぜそのような出力が得られたのかを分析することが難しい。この問題に対処するための研究も進められているが、その成果の1つとしてGoogleが「Explainable AI」(説明可能なAI)というツールを公開した(CNET Japan)。

Explainable AIは、解釈可能かつ包括的な機械学習モデルを開発し、信頼してデプロイするためのツールおよびフレームワーク集。特徴量を理解したり、デールの振る舞いを視覚的に調査することを助けるという。

データ中の特徴量が結果にどのような影響を与えたかを定量的に提示でき、これによってアルゴリズムがなぜそのような結果を出力したのかを理解しやすくできるという。例えば、誰かに対する融資の承認可否を決定するモデルの場合、Explainable AIは口座残高や信用度が最も重要なデータであることを示してくれるのだという。

なお、説明可能なAIについてはそれに意味があるのかと疑問を呈する声もあった(Computerworld)。

  •  AIが差別的なふるまいを学習してしまう問題ってのが過去何度かありましたが、このツールを使えば差別的なふるまいをする人がどのあたりを誇張、あるいは拡大解釈するのかを洗い出すことが可能になるのではないだろうか。

     そういったバイアスの存在が明確化できるのであれば、逆算的にバイアスがかかった情報からバイアスを排除した情報を抜き出してくることも可能になるはず。
     例えば、同じ内容を扱った朝日新聞と産経新聞の記事を比較することで、それぞれにかかっているバイアスを排除した中立的な記事作ることができる、とかそういう応用の仕方もできるのでは。

    ここに返信
    • by Anonymous Coward

      壁のしみが人の顔に見えるように、ランダムな文字列からでもバイアスを拾い上げて「このAIは偏ってる!」とするのが人間ですよ。

      • by Anonymous Coward

        「聖書の暗号」を思い出しちゃった。
        聖書(ヘブライ語だったっけ)をn字置きに抜き出してみると、これ未来予知になってる!ってやつ。
        あれ面白かったなあ。

    • by Anonymous Coward

      バイアスを可視化することはできるけど、「バイアスのない情報」は存在しないよ。

      どの記事のどの部分がどんな構文でどれだけ「一般言語コーパス」的なものから乖離しているかあげつらうことはできると思う。
      けど、それを元に「数学的に公平中立性が保証された簡潔な文章」みたいなものを構築することはできないよ。

      だって、バイアスのない正確な情報って現物そのものじゃん。スタートレックじゃないんだから。

      • by Anonymous Coward

        それはそれで可視化の価値はあるんじゃない?
        「どの情報にもバイアスは存在するから、ノイズが多すぎて使い物にならないだろう」って意味なら、そうかもしれないが・・・。

        • by Anonymous Coward

          可視化の価値はあると思うよ。ただ、「情報からバイアスを排除した情報」とか
          「バイアスを排除した中立的な記事」は情報や記事たり得ないから存在し得ないと思う。そんだけ。

    • by Anonymous Coward

      AIの話題でバイアスって用語を使うの紛らわしい

      • by Anonymous Coward

        人間のバイアスをあぶり出すため、と言ってるんだから妥当でしょ。ちゃんと読みなさいよ。

    • by Anonymous Coward

      これって、driverlessai等のソフトがInterpretabilityとか読んで提供していたものと本質は同じものでは?

      であれば、単にAIにインプットされたどのデータが、どの程度結果に影響しているか?を説明できるだけなので、そもそも全ての内部パラメータがブラックボックスな人間の知能には適用できない気がする。

      • by Anonymous Coward
        人間と同じ反応をするように学習させたAIの内部パラメーターを見ることで
        人間の知能の構造を推定しようって話ならば意味あるんじゃない
        • by Anonymous Coward

          AIの学習パラメータを表示するだけのツールだから人間とは全然関係ない

          • by Anonymous Coward
            君の頭の中の小さな中国人と彼が使ってる辞書を明らかにする役には十分だよ
            • by Anonymous Coward

              普段人から言語不明瞭って言われない?

              • by Anonymous Coward

                サールの「中国語の部屋」とか知らない?

              • by Anonymous Coward

                中国人の部屋は知ってるけど、AIソフトのバイナリファイルを可視化するツールの話に
                「人間の知能の構造を~」とか言い出すからちょっと人工知能寄りの人なのかなと思って

  • by Anonymous Coward on 2019年11月27日 15時53分 (#3722810)

    42

    ここに返信
  • by Anonymous Coward on 2019年11月27日 16時16分 (#3722824)

    コンピューターが月面を爆撃した理由を知りたいならば

    #未来の二つの顔

    ここに返信
  • by Anonymous Coward on 2019年11月27日 15時47分 (#3722805)
    AI「カンだよカン!」
    ここに返信
    • by Anonymous Coward

      現実的なAI「Google様の利益を最大化する為です」

      • by Anonymous Coward
        AIに与えるデータセットにちゃんと顧客の満足度も含めて最適化しないと
        矯正されたAI「ユーザーエクスペリエンスを最大化する為です」
      • by Anonymous Coward

        ロマンチックなAI「愛が全てさ」

  • テンソル構造の変異とエキスパートシステムによる論文データの紐付けを行う事で、説明用のピースを提示するそうな。

    ここに返信
  • by Anonymous Coward on 2019年11月27日 16時29分 (#3722834)

    AIはプログラマーがあれこれ判断基準を指示するものじゃなくて、データから勝手に出来上がるものなんだってことだな。
    だから判断基準が知りたければ必要なら調べるしかないわけだ。

    そりゃそうだよな、指定するのは「ネットワークの形」と「生データ」と「生データのラベル」だけだもんな。
    アルゴリズムは畳み込みニューラルネットワーク一択だもんな。まあ学習率とか一括で設定する項目は一杯あるけどな。

    ただ入力N次元ベクトルと出力N次元ベクトルの間に大量の連立方程式を定義して、変数を焼きなまして数値解を
    作って使うだけのシステムなのに、人間が手で組んだアルゴリズムなんかよりよっぽど正確な推論ができて
    素人でも簡単に扱えちゃうのが混乱の元なんだよな。

    ここに返信
    • by Anonymous Coward
      現実にある何かを入力N次元ベクトルにマッピングするのと
      出力N次元ベクトルを解釈して何かをするのは
      プログラマーがあれこれ判断基準をこねくり回してやってんだけどね
      そこが狂ってたらAIが狂ってなくてもシステムの挙動は狂ったものになる。
      • by Anonymous Coward

        昨今の機械学習とかディープラーニングとかって、
        そのピックアップすべき特徴量を何次元にするのかとか、何に着目するのかとか、
        それぞれの特徴をどのような重みで評価するのかとか、
        それぞれの特徴を組合わせた時の部分評価がどうなってるのかとか、
        全部コンピュータが自分で学習してプログラマは一切教えてないっつー理解だけど。

        だからその部分が完全にブラックボックス化しちゃったら
        計算で出てきた判断を信用していいかどうかまるっきり判らんし、
        逆に今まで人間が気付かなかった部分を人間の思考にフィードバックできるかもって話でしょ?

        • by Anonymous Coward

          > 全部コンピュータが自分で学習してプログラマは一切教えてないっつー理解だけど。

          理解が間違ってる。

          • by Anonymous Coward

            ということにしたいのですね
            これが認知の歪みかあ

            • by Anonymous Coward

              データさえ与えれば人間はなにもしなくても最高の結果が出るのなら、AIの研究などもうしなくてよいのではないか?

              • by Anonymous Coward

                データさえ与えれば人間はなにもしなくても結果が出るだけだから研究しないとだめ

                # 人間を越える結果を出すこともあればポンコツな結果が出てくることも

              • by Anonymous Coward

                このAIは全結合層の数が足りてないのかな
                それとも単語のベクトル化が上手くいっていないのか

              • by Anonymous Coward

                以上のやり取りで明らかなように、人間同士でさえお互いの考えが分からない。
                ましてやAIの考えをや。

      • by Anonymous Coward

        AIが狂ってるとか正しいという話ではなくて「人間の制御下に無い」というところがポイント

      • by Anonymous Coward

        データ解析や機械学習などの専門用語を用いてもいいので、具体例をあげてください。

    • by Anonymous Coward

      一択でもないですよ。
      GBDTとか、まだまだあります。

  • by Anonymous Coward on 2019年11月27日 16時33分 (#3722837)

    nn3p(vector)というツールが係数の大きさを視覚化してましたが
    ある特徴(入力)から出力に繋がるパーセプトロンの各種係数の値群の大小偏りを分析するんですかね

    ここに返信
  • by Anonymous Coward on 2019年11月27日 18時02分 (#3722895)

    特徴量が何か特定できれば、教師データを減らしたり厳選できるようになるんじゃないかな。

    ここに返信
  • by Anonymous Coward on 2019年11月28日 12時19分 (#3723183)

    「AIが人種差別するならそれは正しい」
    「むしろAIが良しとしたものを悪とする人間の価値観を疑え」
    とかほざく自称AI研究者がのさばっているようじゃAIの内部動作の検証は必須だろう

    ここに返信
    • by Anonymous Coward

      その言葉をのたまった人物の真意はわからんが、その字面だけならば真実ともいえる。

      アルゴリズム自体が公平ならば、ビッグデータを基にした出力は社会の一側面の縮図を表している。
      #データは偏るものというか、その偏りを見つけて価値に結び付けるのが昨今のAI活用法である。
      #それはAIなのかというのは昨今言い古された内容なので横においておく
      つまりその時点での人間の社会活動の一端であり、その円滑な運用としては「正しい」出力である。
      その出力が間違っているとすれば、社会活動を担う人間側の問題なので、価値観とやらも含めて人間側の行為を精査すべきである。

      まあそのためにも今回のようなツールは有用だが。
      公平なアルゴリズムはどういう社会活動をもって人間が悪とするものを良しとしたのか知るためにね。
      #ある種の偏ったデータしか入力できないのなら、もちろんそれは入力(データ収集方法含む)した人間側の問題でしょ?
      #データの集め方、入力方法の価値観・常識を疑わなくちゃ

    • by Anonymous Coward

      事実を認められないんですね
      わかります

  • by Anonymous Coward on 2019年11月28日 13時53分 (#3723217)

    fMRIにあたるものなのかね。
    そういうものは当然必要だろうけど、AIの精神分析とでもいうようなものも必要なんじゃないかな。

    ここに返信
    • by Anonymous Coward

      今のAIは視覚野を真似たものだから内部状態みたいなものは無いけど
      将来的に再帰やループができる新構造が発明されたら必要になるかもな

typodupeerror

人生unstable -- あるハッカー

読み込み中...