パスワードを忘れた? アカウント作成
14148252 story
ソフトウェア

勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題 30

ストーリー by hylom
こういうのがあるので不具合が致命的な分野では怖い 部門より

昨今では機械学習による分類や評価の自動化が実用段階になっているが、勾配降下法を使用する機械学習モデルには誤った識別をさせるような入力を作成できるという問題があるという(JVNVU#99619336)。

この問題は以前より指摘されており、2016年には顔認識に対する攻撃についての論文が、2018年には音声認識(音声からのテキスト自動作成)における攻撃についての論文が発表されている。過去にはカメラやセンサーを騙すことでTeslaのAutopilotを混乱させる攻撃という話題もあったが、これも機械学習アルゴリズムの誤認識を悪用したものだった。

対策としては攻撃に使われる入力をあらかじめ学習させておくことや、多層防御などが推奨されている。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2020年03月31日 8時08分 (#3788370)

    機械学習の騙し方ならGoogleの検索結果で日々実践されてるじゃん

    • by Anonymous Coward on 2020年03月31日 8時14分 (#3788374)

      いまだにワードプレス使ったサイトをハッキングして、キーワードてんこ盛りのスパムサイトになってるのを何年も表示しないよう取り締まりできてないのでGoogleの技術はこんなものw

      親コメント
      • by Anonymous Coward

        出来ていないのではなく、する気が無いとか?
        そういうサイトって広告屋的にお得意様の可能性高そう。

      • by Anonymous Coward

        そんなあなたも検索結果上位に表示されないサイトについては存在すら知らない訳でしょ?

        • by Anonymous Coward

          Googleは検索結果の1ページ目の範囲しか殆ど見ないのに、xvideosは…

      • by Anonymous Coward

        金の払わない検索ユーザーの為に純粋に検索結果の向上を考えるわけない。
        機械学習するならどうすれば利益最大化できるかだ、検索結果の最初が広告枠になったのもその結果だろう

        まあ、検索ユーザーは、広告をクリックするユーザーでもあるのでユーザーが離れない程度は考えるであろう

      • by Anonymous Coward

        なんで機械学習の話なのにGoogle固有にすり替えてんだよ
        「こんなもの」ってどんなものだよ

        キーワード連想でレスしてんじゃねーぞ

        • by Anonymous Coward

          「Googleの検索結果で日々実践」まで読まずにレスしてんじゃねーぞ

          • by Anonymous Coward

            どんなものか示さなきゃ「こんなもの」とは言えないんだが
            俺の目の前にトラックボールがあるとして「俺はこんなものを使ってるぞ」と言ったら
            そんなものでお前は分かるのか? ググったらこれは小学校3年生の単元だそうだが

            • by Anonymous Coward

              「〜とはこんなものだ」って表現はご存じない?
              「この(その)程度か」って言い回しの類似表現なんだけど。

              よく見る形式より長めで、さらに草(この場合は「w」)まで生えてて、
              ちょっぴり読み辛いけど一般的な読解力があれば読めるレベルだと思うよ。

  • by Anonymous Coward on 2020年03月31日 8時07分 (#3788369)

    交通量の少ない道路が渋滞しているとGoogleマップに認識させるパフォーマンス
    https://it.srad.jp/story/20/02/06/140203/ [it.srad.jp]

    AI脆弱性は、ソフトウェアの設計ミスや実装ミスとはまた異なる様相があるので、やはりU.S.ロボット&機械人間社で「AI心理学者」を養成しないと。

  • by Anonymous Coward on 2020年03月31日 8時28分 (#3788379)

    勾配降下法の誤判定ってことは極値に陥らせるように広く浅い漏斗型の関数で学習内容を歪めるとかかな?

    • リンク先情報が何言ってんだかわからない、と分かることができるのが人間のような気がするくらい、わからない

      ・元コメの言うように、「学習をゆがめる」ことのできる入力なのか
       (勾配を意図的にゆがめた学習データ、ってありがちなことではあるけど、
        作るの面倒くさそう、それコスパあるの。
        論文だけで実証可能な「ありうる可能性」なんじゃないの)
      ・学習済みの分類器に対して、出力をゆがめることができる入力なのか
       (やり方すらわからないができたらすごすぎる)

      で、どっち。てことがarxivのアブスト [arxiv.org]見に行ってまで「わからない」。ふつうアブストまで行けばどっちかわかりそうなもんだけど

      むしろソーカル事件みたいな罠なんじゃないだろうかと疑ってみたくもなる
      #まあテレワークで引きこもっているから脳が縮退している可能性も高いが

      • by Anonymous Coward

        お前ら二人とも「敵対的サンプル」でググってこい
        常識だが付番されてなかったから説明を省けるように付けたんだろう

        TeslaのAutopilot初期型って機械学習じゃなくね?
        設計された年代がディープラーニングブームより前だろ

        • by Anonymous Coward

          教えてくれてありがとう。まだよくわからないけど。

          >常識だが付番されてなかったから説明を省けるように付けたんだろう

          分かる「同士」相手に他にわからない符号で会話するって、
          宗教団体か革命のための前進機関だよね。
          で、どっちな(バキューン

          • by Anonymous Coward

            アホらし…ソースが無かったからまとめページを作ったのを宗教扱いとは。
            ネット上のページは全て宗教だとでも? やっぱACはダメだな。

            • by Anonymous Coward

              で、結局こういうの弾くのはどうやるの?
              データをランダムに複数に分けてそれぞれ学習させ、結果が大きく外れている学習セットを汚染セットとして省いていく、っていうのが思い付くけど、そういう感じ?

              • by Anonymous Coward

                横レス。
                手法は色々あるはずで一例としては、敵対サンプル生成機の出力食わせて狂わない方向に学習させるとか聞いた気がするけど……
                そもそも敵対的サンプルの見た目からして、学習結果それ自体が構造的な分類じゃなくて中間層の活きてない一種の過学習であるようにしか見えない。
                何らかの過学習や中間層不足が原因であるなら、今の延長線では根本解決はせずにイタチごっこで終わる気がする。

          • by Anonymous Coward

            専門用語って全部そういうものだろが……ちょっとはモノ考えて喋れバカ。

        • by Anonymous Coward

          外れ値を入力にいれることで学習内容を歪めることができるのか
          認知バイアスみたいな話だな

      • by Anonymous Coward

        JVNVUの方見りゃ説明一行目に

        勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能です。

        って書いてあるだろ。
        学習済みの分類機(モデル)に対する攻撃。
        ほかコメでも指摘があるけどいわゆる敵対的サンプルそのもの。

  • by Anonymous Coward on 2020年03月31日 9時41分 (#3788415)

    その誤ったデータを学習させる人に渡してください。

    • by Anonymous Coward

      ???

      • by Anonymous Coward

        一休さんネタを書き込みたくてスベっただけなんじゃ?

        • by Anonymous Coward

          AIに単語を与えてランダム生成した文章に雰囲気が似てるのが怖い

        • by Anonymous Coward

          オウム返しを使っただけで、何か上手いこと言えたと錯覚に陥ってる連中と同じ系統なんだろうな

      • by Anonymous Coward

        ネット脳の機械学習も度が過ぎてくると、
        会話の中にテンプレを交えるんじゃなくて
        思考回路そのものがテンプレとの照合作業になる。
        構文はテンプレ、語彙もテンプレ、もはや有機bot。

    • by Anonymous Coward

      AI・機械学習においては、学習方式の話と学習結果の話がよく混同される。
      学習結果はいくら運用しても新しい学習は行わないし、
      学習結果に対する攻撃のために学習段階に干渉する必要はない。

      最近流行りのは新しい学習方式(ディープラーニング)で、
      学習結果として便利な分類機(ニューラルネットワーク)が得られるよって奴で、
      このストーリーのはその分類機に対する攻撃(敵対的サンプル)の話です。

  • by Anonymous Coward on 2020年03月31日 12時07分 (#3788485)

    HAL 9000に相談しよう。

typodupeerror

アレゲはアレゲを呼ぶ -- ある傍観者

読み込み中...