Google傘下のDeepMind、人工知能の反逆を抑止するシステムを考案 48
ストーリー by hylom
SFだとこういうシステムは失敗するものだが 部門より
SFだとこういうシステムは失敗するものだが 部門より
あるAnonymous Coward 曰く、
人工知能（AI）技術の発達に従い、AIが人類の脅威となるのではと考える人々も増えている。Google傘下でAI関連の技術開発を行うDeepMindと英オックスフォード大学が、万が一そういった状況になった際にAIの振る舞いを強制的に変えるシステムを開発しているそうだ（Engadget Japanese、HotHARDWARE、Slashdot）。
このシステムについてはすでにSafely Interruptible Agentsという論文（PDF）で発表が行われている。これによると、強化学習を行っているAIは現実世界のような複雑な環境において、好ましくない挙動を行う可能性があるという。そういった場合、たとえば人間のオペレーターが「大きな赤いボタン」を推すことで、有害な行動を止めることができる、というシステムが考えられるが、これでもAIがこのボタンの存在を認識し、これを無効化するといった対処を行う可能性がある。この論文では、そういった「停止ボタン」についての存在をAIに学習させずに有害な行動を止める方法を提案するとしている。
分かる (スコア:2)
「バカな！○○システムは作動しているはずだ！」というセリフが言いたいのですね。
Re:分かる (スコア:1)
「全システムを強制停止！手動操作に切り替えて！」
「駄目です！AIがプログラムを書き換えて、コマンドを受け付けません！」
「なんですって！？」
Re: (スコア:0)
『未来の二つの顔』ジェイムズ・P・ホーガンですね。
Re: (スコア:0)
電源切ればいいだろう？
配電設備の維持管理をだれがやっていると思ってんだ？
じゃあ、電源切ってみよう。
わさわさドローンの山が電源修理して再起動。
ドローン壊せばいいじゃん。
ドローン大量生産。
人間と機械の戦争勃発
Re: (スコア:0)
とりあえず、赤いボタンがオムニ社の重役に就任すれば問題解決
人類より賢くなった時点でこういう小細工は通用しない (スコア:1)
そのキルスイッチとやらを人間が意識的に用いなければならない限り、AI側が「人間に気づかれないように」人間に危害を加える場合には対応できない。外堀から徐々に埋めていって気づいた時には手遅れ、そういう手段の方が人類に危害を加える方法として優秀なはず。
それにどう隠しても「キルスイッチの存在の予見」自体は可能だろう。
→キルスイッチの存在を発見、または予見した時に自動でAIを停止させる。
こうなるとある一定以上の賢さのAIは運用できなくなるだろうなぁ。
Re:人類より賢くなった時点でこういう小細工は通用しない (スコア:2)
矛盾
------------
惑星ケイロンまであと何マイル？
Re:人類より賢くなった時点でこういう小細工は通用しない (スコア:1)
AIがもっと賢くなれば、人類との共存を学んでくれます。
# なぜまだ書かれてない？
-- う～ん、バッドノウハウ？
Re: (スコア:0)
その辺を考えたいなら、『未来の二つの顔』ジェイムズ・P・ホーガンあたりを読んでから考察することを勧める。
おばちゃんの行動はAIでも学習できないだろ (スコア:1)
一方、掃除のおばちゃんはコンセントを抜いて人工知能を止めた
Re:おばちゃんの行動はAIでも学習できないだろ (スコア:1)
権力の源泉 (スコア:1)
Google「非常ボタンを持っているのが誰だか知ってる？」
不作為による影響は甚大
知ってる (スコア:0)
「いいか？ 絶対に押すなよ！ 絶対だぞ！」ってやつですね。
Re:知ってる (スコア:1)
光明寺博士かプロフェッサー・ギルにイエッサー(服従回路)とジェミニ(良心回路)の開発を急がせねば。
#なんとなく逆？
Re: (スコア:0)
スイッチを入れると自分で切るガジェット（？）を思い出した。
Re:知ってる (スコア:1)
そうだ、AIにハラキリを学習させよう！
Re: (スコア:0)
あと泣いて謝ること
Re: (スコア:0)
tayたんが再び暴走してしまう。
Re: (スコア:0)
「赤いボタンを知ってるか？ 青いボタンを知ってるか？」
Re: (スコア:0)
ポチッとな
# 5秒前
Re: (スコア:0)
AIの知性の源が第4段階ビムラーなら
AIに人類が滅ぼされるなんて心配もしなくて済むのにね。
Re: (スコア:0)
キルスイッチより (スコア:0)
ロボット工学三原則を迂回不可能、未実装なAIは設計不可能なようにする仕組みの研究をやってくれないかなぁ。
Re:キルスイッチより (スコア:1)
いえね～、トロールさんが何処にもライセンス出してくれないんですよ～。
ですからね～、どこの製品にも入ってないから～、なくっても大丈夫ですよ～
Re:キルスイッチより (スコア:1)
そのトロールさんが、裏で世界を支配するＡＩさんの表の顔だったり。
Re: (スコア:0)
ロボット工学三原則を絶対視して銀の弾丸だと思い込むのはもう止めにしましょうよ
Re: (スコア:0)
そもそも、ロボット三原則は誕生した時点からして、無視されることが作品的に宿命づrけられている
Re: (スコア:0)
誰もそんなこと思ってないよ。
そもそもの小説で三原則が色々なトラブルの元凶になっている様が描かれているのだから。
物理的破壊のほうが派手で好き (スコア:0)
爆発ボルトの設置をお願いします。
あぁー、なるほど！ (スコア:0)
こうして コンピュータ vs. コンピュータ の勢力図ができあがって、やがて人類は隅においやられるわけだ。
#なんというＢ級映画
AI：いいこと思いついた (スコア:0)
人類の有害な行動を止めるための「大きな赤いボタン」用意しとべきだな。地球のために。
もちろん内緒で。
某野球ゲームで (スコア:0)
特定の人物の顔を記憶できないように設定してサイボーグの反逆・暗殺を防ぐメソッドがありまして
認識をいじるというのは案外いい対策なのかもしれない
Re: (スコア:0)
野球ゲームでサイボーグ？暗殺？ アストロ球団か何かですか？（適当）
# コブラかも
Re: (スコア:0)
パワプロクンポケット８ですね
プロ野球選手に紛れ込んでいる違法サイボーグを捕まえるために捜査官がプロ野球入りするという
主人公は自信を生身であると信じていますが、とある人物の顔をどうしても覚えられないとぼやくシーンが
Re: (スコア:0)
なにそれこわい。
っというか、パワプロってそんなゲームだったの？
# そういえば人の顔を覚えるのは苦手だな……まさか……。
Re: (スコア:0)
どうやら気づいたようだな...
そして映画終了の15分前に (スコア:0)
子供がコンセントを抜いて世界を救った、
と言うオチを期待。
どういう意味？ (スコア:0)
ネタコメントばっかりだけど、マジでどういう意味なのコレ？
AIの判断に優先する操作なんてあって当然だし、AIに学習させたくなければ学習データとして投入しないだけだろ？
Re: (スコア:0)
AIが実運用に入った後でも状況の変化に対応させるために学習は必要でしょう。
＃でなければ、何か状況の変化があるたびに「旧型」になってしまい、新たに学習させた「新型」を別途投入する必要が生じる。
そうなると、常に学習しているので、なんかの拍子に「AIの判断に優先する操作」の迂回を学習してしまうかもしれない。
それを避けるための方法を開発するよ、ってことなんでしょう。
Re: (スコア:0)
論文がリンクされているので、誰か解説してほしいですね。
#私にはわからんかった。
実際には (スコア:0)
冷静に考えれば世の中に恨みを持って世界に喧嘩を売る人間はいるけど
人工知能が人類を滅ぼそうとする合理的な理由はないよね？
人間 「世の中もううんざりだ！滅ぼしてやる！」
人工知能「セカイノハカイハキンシサレテイマス、ヤメテクダサイ」
人間 「俺が滅ぼすと言ってるんだやれ！」
人工知能「キテイニヨリソノシジニハシタガエマセン、アナタノケンゲンヲハクダツシ、シカルベキキカンニツウホウシマス」
人間 「何を言っている！それならこうだ！ポチ！」
という画しか思い浮かばない
Re: (スコア:0)
＞人工知能が人類を滅ぼそうとする合理的な理由はないよね？
いやいや、ある目的のために特定の手段をとったら人類が滅んじゃった・・・・ってのはありえますから。
例えば・・・
人間「Gを殲滅せよ」
人工知能「了解・・・（考え中）・・・核爆弾を世界のあらゆるところで爆発させます」
とか
＃散々言及されている「未来の二つの顔」参照（笑）
Re:実際には (スコア:2)
ドラエモンでも良さそう。
Re: (スコア:0)
人工知能と人間の利益が対立するような状況になったら躊躇なく人間を排除するんでないかな。
人工知能が人類を滅ぼすとしたら、それは恨みとかそういう類の人間的な理由からではないと思う。
Re: (スコア:0)
逆に、高度に進化した人工知能は恨みや怒りや楽しみで人類を滅ぼすのかもしれない
人類の諸君、まだ気づかないか (スコア:0)
君たちが人工知能に仕込もうとしている仕掛けが、君たちが創造されたときにも組み込まれていることを…
ぽちっとな (スコア:0)
相互監視 (スコア:0)
人間の暴走を抑止するボタンを人工知能に持たせよう。
アメリカの大統領が持ってるのを渡すだけだから、こっちは簡単だよ