勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題 30
ストーリー by hylom
こういうのがあるので不具合が致命的な分野では怖い 部門より
こういうのがあるので不具合が致命的な分野では怖い 部門より
昨今では機械学習による分類や評価の自動化が実用段階になっているが、勾配降下法を使用する機械学習モデルには誤った識別をさせるような入力を作成できるという問題があるという（JVNVU#99619336）。
この問題は以前より指摘されており、2016年には顔認識に対する攻撃についての論文が、2018年には音声認識（音声からのテキスト自動作成）における攻撃についての論文が発表されている。過去にはカメラやセンサーを騙すことでTeslaのAutopilotを混乱させる攻撃という話題もあったが、これも機械学習アルゴリズムの誤認識を悪用したものだった。
対策としては攻撃に使われる入力をあらかじめ学習させておくことや、多層防御などが推奨されている。
知ってた (スコア:1)
機械学習の騙し方ならGoogleの検索結果で日々実践されてるじゃん
Re:知ってた (スコア:1)
いまだにワードプレス使ったサイトをハッキングして、キーワードてんこ盛りのスパムサイトになってるのを何年も表示しないよう取り締まりできてないのでGoogleの技術はこんなものw
Re: (スコア:0)
出来ていないのではなく、する気が無いとか？
そういうサイトって広告屋的にお得意様の可能性高そう。
Re: (スコア:0)
昔そういうサイトは「ハッキングされている可能性があります」って表示が出てたのに、最近ほとんど見かけないけど、やらなくなったのかな？
https://support.google.com/websearch/answer/190597?hl=ja [google.com]
Re: (スコア:0)
そんなあなたも検索結果上位に表示されないサイトについては存在すら知らない訳でしょ？
Re: (スコア:0)
Googleは検索結果の1ページ目の範囲しか殆ど見ないのに、xvideosは…
Re: (スコア:0)
金の払わない検索ユーザーの為に純粋に検索結果の向上を考えるわけない。
機械学習するならどうすれば利益最大化できるかだ、検索結果の最初が広告枠になったのもその結果だろう
まあ、検索ユーザーは、広告をクリックするユーザーでもあるのでユーザーが離れない程度は考えるであろう
Re: (スコア:0)
なんで機械学習の話なのにGoogle固有にすり替えてんだよ
「こんなもの」ってどんなものだよ
キーワード連想でレスしてんじゃねーぞ
Re: (スコア:0)
「Googleの検索結果で日々実践」まで読まずにレスしてんじゃねーぞ
Re: (スコア:0)
どんなものか示さなきゃ「こんなもの」とは言えないんだが
俺の目の前にトラックボールがあるとして「俺はこんなものを使ってるぞ」と言ったら
そんなものでお前は分かるのか? ググったらこれは小学校3年生の単元だそうだが
Re: (スコア:0)
「〜とはこんなものだ」って表現はご存じない？
「この(その)程度か」って言い回しの類似表現なんだけど。
よく見る形式より長めで、さらに草(この場合は「w」)まで生えてて、
ちょっぴり読み辛いけど一般的な読解力があれば読めるレベルだと思うよ。
関連記事 (スコア:0)
交通量の少ない道路が渋滞しているとGoogleマップに認識させるパフォーマンス
https://it.srad.jp/story/20/02/06/140203/ [it.srad.jp]
AI脆弱性は、ソフトウェアの設計ミスや実装ミスとはまた異なる様相があるので、やはりU.S.ロボット＆機械人間社で「AI心理学者」を養成しないと。
具体的にどういうの? (スコア:0)
勾配降下法の誤判定ってことは極値に陥らせるように広く浅い漏斗型の関数で学習内容を歪めるとかかな?
「よくわからないけどちぃ覚えた。『勾配降下法のMLはダメ機械！』」←「はいお前ダメAI」 (スコア:0)
リンク先情報が何言ってんだかわからない、と分かることができるのが人間のような気がするくらい、わからない
・元コメの言うように、「学習をゆがめる」ことのできる入力なのか
（勾配を意図的にゆがめた学習データ、ってありがちなことではあるけど、
作るの面倒くさそう、それコスパあるの。
論文だけで実証可能な「ありうる可能性」なんじゃないの）
・学習済みの分類器に対して、出力をゆがめることができる入力なのか
（やり方すらわからないができたらすごすぎる）
で、どっち。てことがarxivのアブスト [arxiv.org]見に行ってまで「わからない」。ふつうアブストまで行けばどっちかわかりそうなもんだけど
むしろソーカル事件みたいな罠なんじゃないだろうかと疑ってみたくもなる
#まあテレワークで引きこもっているから脳が縮退している可能性も高いが
Re: (スコア:0)
お前ら二人とも「敵対的サンプル」でググってこい
常識だが付番されてなかったから説明を省けるように付けたんだろう
TeslaのAutopilot初期型って機械学習じゃなくね?
設計された年代がディープラーニングブームより前だろ
Re: (スコア:0)
教えてくれてありがとう。まだよくわからないけど。
＞常識だが付番されてなかったから説明を省けるように付けたんだろう
分かる「同士」相手に他にわからない符号で会話するって、
宗教団体か革命のための前進機関だよね。
で、どっちな(ﾊﾞｷｭｰﾝ
Re: (スコア:0)
アホらし…ソースが無かったからまとめページを作ったのを宗教扱いとは。
ネット上のページは全て宗教だとでも? やっぱACはダメだな。
Re: (スコア:0)
で、結局こういうの弾くのはどうやるの?
データをランダムに複数に分けてそれぞれ学習させ、結果が大きく外れている学習セットを汚染セットとして省いていく、っていうのが思い付くけど、そういう感じ?
Re: (スコア:0)
横レス。
手法は色々あるはずで一例としては、敵対サンプル生成機の出力食わせて狂わない方向に学習させるとか聞いた気がするけど……
そもそも敵対的サンプルの見た目からして、学習結果それ自体が構造的な分類じゃなくて中間層の活きてない一種の過学習であるようにしか見えない。
何らかの過学習や中間層不足が原因であるなら、今の延長線では根本解決はせずにイタチごっこで終わる気がする。
Re: (スコア:0)
専門用語って全部そういうものだろが……ちょっとはモノ考えて喋れバカ。
Re: (スコア:0)
外れ値を入力にいれることで学習内容を歪めることができるのか
認知バイアスみたいな話だな
Re: (スコア:0)
JVNVUの方見りゃ説明一行目に
って書いてあるだろ。
学習済みの分類機(モデル)に対する攻撃。
ほかコメでも指摘があるけどいわゆる敵対的サンプルそのもの。
では、 (スコア:0)
その誤ったデータを学習させる人に渡してください。
Re: (スコア:0)
？？？
Re: (スコア:0)
一休さんネタを書き込みたくてスベっただけなんじゃ？
Re: (スコア:0)
AIに単語を与えてランダム生成した文章に雰囲気が似てるのが怖い
Re: (スコア:0)
オウム返しを使っただけで、何か上手いこと言えたと錯覚に陥ってる連中と同じ系統なんだろうな
Re: (スコア:0)
ネット脳の機械学習も度が過ぎてくると、
会話の中にテンプレを交えるんじゃなくて
思考回路そのものがテンプレとの照合作業になる。
構文はテンプレ、語彙もテンプレ、もはや有機bot。
Re: (スコア:0)
AI・機械学習においては、学習方式の話と学習結果の話がよく混同される。
学習結果はいくら運用しても新しい学習は行わないし、
学習結果に対する攻撃のために学習段階に干渉する必要はない。
最近流行りのは新しい学習方式(ディープラーニング)で、
学習結果として便利な分類機(ニューラルネットワーク)が得られるよって奴で、
このストーリーのはその分類機に対する攻撃(敵対的サンプル)の話です。
よし！ (スコア:0)
HAL 9000に相談しよう。