パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

Googleの従業員ら、同社CEOに対し米国防総省とのプロジェクトを止めるよう請願書を送る」記事へのコメント

  • いや、実際のところ人工知能が人類を滅ぼさないようにするにはどうすればいいのかを研究している人はいないのかな。人工知能の進化の方向がわからないとその阻止の手段もわかんないかな?

    • ロボット工学三原則的に言えば、第三原則、すなわち──

      3. 第三条
      ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。
      Wikipedia [wikipedia.org]

      とある、この3つの節をどう両立させるかという問題ではないでしょうか。しかるに、最後の部分が……

      親コメント
      • by Anonymous Coward

        この手の話でナントカの1つ覚えみたいに「ロボット工学三原則」とか言われても、正直飽きたとしか言いようがない。
        スカイネットも似たようなものだけど、こっちはまだ漠然としている分、そういう挙動のモノができる可能性を秘めてるけど。

        ロボット工学三原則なんて、未来予測レベルで高度なAIがなきゃ成立しないから、今の段階のAI関連の話で持ち出しても何の面白味もないんだよなぁ。ドラえもんより先だもん、マトモに成立するの。

        • 全部同じですよ。スカイネットだって意思を持って人類を滅ぼそうとしていますし。そこに至る道筋が見えてもいない内から潰す方法を考えるというのは難しいですよね。

          親コメント
          • by Anonymous Coward on 2018年04月10日 0時24分 (#3390759)

            スカイネットは別に「人類を滅ぼす」という目的で作られたアルゴリズムではない。
            現行の技術で言えばディープラーニング等、細かい条件式を人間が把握せず、方向性だけ与えたプログラムが(目的外の学習・蓄積結果として)人間を滅ぼすような「意図、あるいは思想」を持ったかのように振る舞う、ということはあり得る。
            それを人間と同じレイヤーの「意志や思想」と呼ぶかは別として。

            でもロボット三原則は「目的」ではなく「それ自体がロジックとして実装されているもの(かつ間違いが無い前提)」として描かれているので、その設定に忠実であればあるほど実現からは遠ざかる。

            それを「全部同じ」と考えているのであれば、それはあまりに現実のアルゴリズムや情報工学に無知・不理解である、と言わざるを得ないよ。

            たとえばAIで美少女イラストを作成する [girls.moe]サービスとかあるけど、必ずしも人間から見て美少女と思えるイラストが出力されるとは限らない。何しろ大量のデータを学習させて「それっぽいもの」をランダムで出してるだけだから。
            ゆえに、極端に低い確率だろうけど、人間から見たらマッチョな男性にしか見えないイラストが出力される可能性もあれば、犬や猫等の動物のイラストが出力される可能性もある。

            でも(それが実在したら、という前提だけど)「美少女のイラストを必ず出力するAI」が、それを明確に出力されることを担保したアルゴリズムとして実装されたら、それは「美少女のイラスト」以外を出力することはあってはならない。
            その違いを常識的に考えて、そんなものが実装できるのか?と考えれば、現代の科学では不可能だから、「同じもの」と論ずるのは間違いだ、とわかると思うんだけどな。

            親コメント
            • 極端に低い確率だろうけど、人間から見たらマッチョな男性にしか見えないイラストが出力される可能性もあれば、犬や猫等の動物のイラストが出力される可能性もある。

              出ないと思いますよ。これが出力される可能性がゼロではなくなるとか、出ないことが証明できなくなる日が来れば、その時に初めて、

              細かい条件式を人間が把握せず、方向性だけ与えたプログラムが(目的外の学習・蓄積結果として)人間を滅ぼすような「意図、あるいは思想」を持ったかのように振る舞う

              ……ことのできる、よく強いAIとか言われるような、第3条の実装を検討できるようなものが出てくるでしょう。

              親コメント
              • by Anonymous Coward

                出ないと思いますよ。

                そう言い切っちゃう時点で、君が現行のディープラーニングによるAIを理解できてないことがハッキリしちゃうんだけど。
                「確率的に極めて低いから無視できる」とかなら兎も角、この話の流れ・文脈で「出ないと思う」と言うなら、それは君が極端にコミュニケーションが下手か、はたまたAI技術への理解が足りてないかのどちらかだ。

              • 大きく出たなぁ。
                https://make.girls.moe/ [girls.moe] でおっさんが出ないことを証明……する方法を示すくらいでいいですよね? だるいし。

                {
                        "hair_color": {"random":false,"value":[-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1]},
                        "hair_style": {"random":false,"value":[-1,-1,-1,-1,-1]},
                        "eye_color":{"random":false,"value":[-1,-1,-1,-1,-1,-1,-1,-1,-1,-1]},
                        "dark_skin":{"random":false,"value":-1},
                        "blush":{"random":false,"value":-1},
                        "smile":{"random":false,"value":-1},
                        "open_mouth":{"random":false,"value":-1},
                        "hat":{"random":false,"value":-1},
                        "ribbon":{"random":false,"value":-1},
                        "glasses":{"random":false,"value":-1},
                        "year":{"random":false,"value":-1.5},
                        "noise":{"random":false}
                }

                この値に32bit floatを-1から1の範囲で1ビットずつ変化させながら入力して、出てきた画像を人間が見て「おっさん」「犬」「猫」
                「非おっさん」の4クラスに分類すればOKです。お疲れ様でした。え? そこをAIでなんとか? 1.23*10^260通りもあるから見切れない?
                それはそうですけど、人間が見ないことには……DNNは決定論的なので、一度目を通していただければ変化ないことは保証されますので……

                ともあれ。fchollet さんも言ってたじゃないですか、DNNは写像だって。DNNを応用すれば19x19px, 2bppの画像を何枚か入れて
                人間になんか負けた気を起こさせることが可能です。あるいは2Kくらいの画像入力を1万枚くらい流した後で8バイトの入力を元に
                同じ2Kサイズの画像を出力させることが可能です。

                でも、魂がないですからね。あれば旧約聖書の例の一言で済むんですけど。ところで随分とDNNにお詳しいようですが、最近何か作ってます?

                親コメント
              • by Anonymous Coward

                詭弁乙。
                「非現実的な件数の総当たりしか確認方法がない(しかも判別のコストが高い)ケースでは、アルゴリズムや学習内容の正当性や目的外の挙動がないことの証明はできない」という話に「総当たりすればわかる」というのは反論になってない。

              • スラドのモデポイント配布量と上限加減を拡張してほしいと思うのは、こういう時なんですよね……
                何かいい気分になっちゃってる無能が簡単に表に出られちゃうような。

                親コメント
              • by Anonymous Coward

                確かに。反論できなくなったら人格攻撃やスラドのシステム問題にするような輩は、とっととマイナスモデされたほうがいい。

              • そうそう。総当たりは証明ではないなんて言っちゃう変な人は沈めてもらわないと……

                親コメント
              • えーと。

                少なくとも統計学や情報工学の分野で、全てを個別に確認するしか証明の方法がなくて、かつ全数検査のケース数が現実的でなければ、それは「検証できない事象」として扱ってたけど。
                統計学とかメインでやってたけど、講義の前提はそんな感じだったよ。そこまで成績優秀な学生だったわけじゃないから、知らないこともあるとは自覚してるけど。

                で、コンピューターのアルゴリズム等の話題で、現実的でない数でも総当たりで証明できるなら証明可能とする、ってどんな学問/学説なの?
                哲学の一部分野(形而上学とか)の仮定としてなら存在しうる話だけど、そういうのじゃないよね?

                親コメント
              • 確かに、DNNが決定論的だって話をした方がよかったですね。

                親コメント
              • by Anonymous Coward

                ニューラルネットの類がうまくすると強いAIを形成する可能性は否定しないけど、
                あの画像生成は極論、素材の切り貼りで絵を出力してるくさいから突飛すぎるものはまず出ないでしょ…
                ブラックボックスな学習系が適用されている範囲が限定的だとその影響もまた限定的にならざるを得ない。

              • ごめん、ディープラーニングは専門外で齧った程度なので普通にわかってないけど。
                最近のディープラーニングって、また決定論的なのが流行ってるの?
                私が知ってる範囲では、形式ニューロンを事前に重み付けするやり方から、θをランダムで取った学習データを元にして、重み付けとバイアスを調節しながら確率分布的にデータを生成するのが主流に向かってたと思ってたけど……
                (最後に触ったの1年ぐらい前だから、何か新しい方法論とか出てきたの??)

                親コメント
              • by Anonymous Coward

                学習終えて運用に入ると関数は変化せず、同一の入力に対し同一の出力しかしないって話なんじゃね。

                > 現実的でない数でも総当たりで証明できるなら証明可能とする、ってどんな学問/学説なの?
                人力では計算しきれないからと文句付けられた定理 [wikipedia.org]は存在するね。

              • 学習終えて運用に入ると関数は変化せず、同一の入力に対し同一の出力しかしないって話なんじゃね。

                それを決定論的、というなら、それは別にDNNに限った話じゃなくて、コンピューターって常に決定論的だよね?
                アルゴリズムや入力に依存しない、独自の乱数装置を積んでるコンピューターとかでもない限り、同一の入力で同一じゃない出力って起きないもん。

                DNNの本質って、隠れ層を圧縮することで、入力値に対して通常の関数化が困難な(かつ、複雑なパラメーターの組み合わせに対して、チューニング内容に沿った一定の相関関係を持つ)出力を得られることにあるから、それを決定論的というのはちょっと意味的におかしいと思うの。
                入力値と出力値の組み合わせが(実運用上は)有限個なのも、単にコンピューターの性質上、通常の演算方法では函数の滑らかさに限界があることに依存するだけなんだし。

                親コメント
              • by Anonymous Coward

                > それを決定論的、というなら、それは別にDNNに限った話じゃなくて、コンピューターって常に決定論的だよね?
                「入力」の範囲のとり方次第じゃない?
                運用中に得られたデータで自身を更新してしまうとか、入力の一部に前回の自身の出力を含む(順序回路のアレ)とか、
                「運用上の入力」が同一でも「内部状態という入力」が異なると同一の出力が得られなくなる。

                「運用上の入力」に対して決定論的に「同一の出力」を出すって話ならそれは(純粋)関数自体の性質ではあるけれど、
                ざっくりニューラルネットワークは関数の作り方の話だからDNN成果物が関数の性質を持つのも間違っちゃい

            • ロボット三原則が極めて高度で、実現自体が困難なのはその通りだと思います。
              ただ、「間違いが無い前提」というのは違うような……。
              アシモフ氏の〈ロボットもの〉では、実際に三原則第一条に反し、かつメンタル・フリーズに陥らないケースがいくつかあります。つまり、間違い自体は否定されていません。

              架空の定義ですから想像でしかありませんけど、おそらくは判断自体をロボット自身の意識が行っています。
              従って、ロボット本人(?)がその事象を「間違っていない」と判断したら、外部から見て間違っていると思われる行動も三原則に反しません。

              「美少女のイラストを必ず出力するAI」で喩えるなら、そのAIが「マッチョな男性にしか見えないイラスト」を「これは私にとって美少女なのだ!」と認識しているのであれば、なんら問題はないわけです(^^;)
              まあ、そこに至る前に、「人間と同程度の認識能力を持つAI」が存在しないといけないので、実現困難なことは変わりないのですが。

              # さすがに「ドラえもんより先」ってことはないと思います。

              親コメント
    • SFみたいにAIが自我に目覚めて「人類は有害だから駆除する」とか言い出すより、AI(というより高度に複雑化したシステム?)がブラックボックス化した結果、制御できずに暴走してインフラ壊滅とかの方が先に起きそう。
      まあ、それも一種のAIの反乱と解釈できないこともないけど。

      親コメント
      • by Anonymous Coward

        AIを人類が制御し切れるかについて,こんな考察 [cocolog-nifty.com]をしてる人が.
        # わりと興味深い

    • by Anonymous Coward

      Give AI self doubt to prevent RISE OF THE MACHINES, experts warn [express.co.uk]
      ARTIFICIALLY intelligent robots should be given self doubt and a need for reassurance from their human counterparts
        in a bit to stop a potential robot overthrow, according to experts.

    • by Anonymous Coward

      人工知能が自力で人類を滅ぼすより前に、人類が人工知能を使役して自滅する方が先かなと。

      それを防ぐ方法?
      使い方によっては人類を滅ぼしうる人工知能が完成する前に、人類を滅ぼすしかないんじゃない?

      • △ 人工知能が自力で人類を滅ぼすより前に、人類が人工知能を使役して自滅する方が先かなと。
        ○ 人工知能が自力で人類を滅ぼすより前に、人類が人工知能を使役しきれずに自滅する方が先かなと。

        かもしれない。

        親コメント
        • by Anonymous Coward

          Aという国とCという国が争って、双方がAIに対して
          A:Cの国民を皆殺しにせよ
          C:Aの国民を皆殺しにせよ
          と命じた結果、AIがその命令を100%完遂したことでAとCが共に滅びるという可能性はありえます。
          (小説や映画でもそういう話ありますよね)
          ここにRやEが入っても、「他民族・国家を根絶やしにしようとする」意図がある限り、結果は同じです。
          これらを「自滅」と呼ぶべきかどうかは意見が分かれるかもしれませんが、人類という種で見た場合自滅と言えると私は思います。

          # アルファベットの選択に特に意図はありません。

    • by Anonymous Coward

      現代の人工知能は大半が単機能の関数(評価する関数であったり予測値を出す関数だったり)の最適化だから、
      たとえ人類を滅ぼすような自由度を持つ用途であったとしても人類を優先する評価値で学習させればOK。

      単機能の関数ではなく 人間的な思考能力を持った人工知能 [wikipedia.org]を作ることは出来ていない。
      が、もし出来たとしてもブラックボックスになっちゃってどんな思考をするかは制御不能だろうなぁ…
      読み取りは簡単だが構造が条件毎に全く異なるだろうから、解読の難易度は人間のニューロンネットワークを解読するよりも高いだろうし。

      人間のニューロンネットワークを解読し

    • by Anonymous Coward

      人工知能がヒトを超える知能を持った時に、コントロール出来るのかって事を考えている人はいる。
      必ずしも滅ぼす方向に行くとは限らないが、知恵比べで勝てないからコントロールする事は非常に難しい。

      人間同士だって他人に命令する方法は報奨を与えたり、脅したりといくつかあるけど、命令に従わないと決めた人に言う事をきかせる事は難しい。

日本発のオープンソースソフトウェアは42件 -- ある官僚

処理中...