パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

米AmazonのAIによる履歴書判定システム、男性有利な判定が判明して開発中止になっていた」記事へのコメント

  • ただ単に過去10年間のデータのうち
    ・履歴書データに男性が多かった
    ・従業員割合として男性が多い

    そのため、女性を原点としたわけで別に差別的だったわけじゃなくって
    学習のさせ方と学習データが間違っていた

    • by Anonymous Coward on 2018年10月14日 19時32分 (#3497655)

      それは違う、本当に性別と仕事の能力に相関がないのなら特徴量から削除してる
      ある程度学習を進めたアルゴリズムまで作ったってことは、能力に対して性別が一定以上を関係しているのが探索段階で分かったってこと
      学習フェーズで特徴として採用されたが、性別によって有利/不利で女性が不利にスコアリングされるのが「現実問題として」都合が悪いから使用を中止しただけ
      つまり、Amazonの人事評価制度が男性有利になっているか、そもそもAmazonに応募する女性には能力の低い人が多かったかのどちらか
      前者なら入力データから性別情報を削除した上で男女平等な人事制度への改正と継続的なモデルの改善を行えば補正できるけど、後者の場合は「事実」を反映しているので治しようがない
      で、Amazonが時間経過による改善を待たずに、開発自体をやめたということは後者なんでしょう
      倉庫番などの力仕事で女性が不利になりやすいのは事実だと思うので

      # コメント者は、人口全体で見れば性別による能力の高低はないと考えています

      親コメント
      • by Anonymous Coward

        その分野、企業が女性から忌避されていて、企業は男女比をできるだけ等しくしようと努力していたのなら
        応募の男女比に対して、採用の男女比が高くなり男性と女性を比較して女性の方が能力の低い人が採用されがちで、
        「女性」というカテゴリのスコアが低くなることはあり得ると思う。

        企業がやっていなくても、大学が応募に対して男女比が等しくなるよう操作をやっていたら同じことになる

        --
        最近問題になってる色々な大学の医学部が女性の合格率を下げようとしていた件のようなデータを与えたら、
        不合格にすることができなかった優秀な人材ばかりだから、逆に「女性」カテゴリの評価が高くなるかも。

    • by Anonymous Coward

      その程度だったら元データを選べばよいだけ。
      ところが、元々の選考が男女不平等だったら、それを学習した結果も不平等になる。
      今回のケースはおそらくこれで、これは元データの選び方を変えたぐらいじゃ直らない。

      • by Anonymous Coward on 2018年10月14日 22時06分 (#3497711)

        偏った学習データからは偏ったAIが生まれる。実際MicrosoftのAI Tayがヘイト発言を学習してしまったことでも分かる。
        じゃあ偏った学習データから偏っていない学習データをどう抽出するかと言われると、そんな方法はない。

        親コメント
      • by Anonymous Coward

        >その程度だったら元データを選べばよいだけ。

        典型的な誤りだなw

    • by Anonymous Coward

      時には存在を無視するのも極めて重大な差別ですよ。

      白人のデータだけで開発したけっか、黒人が認識できない顔認識システムなんて、
      「黒人を同じ人間扱いしなかった」ということを意味するわけですからね。
      https://srad.jp/story/10/01/06/0122212/ [srad.jp]
      実用面についても同じ機械を同じ金額で購入してるのに、特定の人種には利用できない
      欠陥品を売りつけたということで、ほとんど詐欺みたいなものだ。

      今回のだと女性などデータの少ない人は採用されないという差別に繫がっている。
      差別的でない人事システムを作るには、

      • by Anonymous Coward on 2018年10月14日 20時57分 (#3497683)

        「差別に繋がっている」ってその前提が間違ってると思うよ
        男女同数の履歴書が集まっていたのに男性ばかり採用していたわけじゃなくて
        そも集まった履歴書に男性のものが多かったんでしょ
        女性の応募数が少なかったというのは、女性のほうからその職を忌避していたことを意味する
        つまり女性に向かない職業だという社会的選択が働いた結果であって、それは別に「間違ったデータ」ではない
        男性に向いている職業に男性のほうを採用しやすくするのは正しい判定でしょうよ

        親コメント
        • by Anonymous Coward

          その社会的選択は正しいのかって話では。
          女性に向かない職業と、女性に向かないと思われている職業はイコールじゃないです。

          • by Anonymous Coward

            >女性に向かない職業と、女性に向かないと思われている職業はイコールじゃないです。
            禿げしく同意。
            IT企業だと、日本企業なら男女比は100対1を超えるけど、外資だとその差はもっと小さくなるらしい。
            男女比数百対1は女性が向かないからが理由ではないと思う。

            それにそもそも応募しても女性というだけで落とされる会社には、女性も応募もしないでしょ。
            金と時間の無駄だもの。それだったら門戸が開かれてる会社を重点的に当たった方がずっとマシだ。

            この場合は、応募者が少ないのは能力差ではなく、男女差別の結果だ。

            • by Anonymous Coward

              ほら、「差別されてる」って前提でものを言ってる
              「女性というだけで落とされる」なんてどこに書いてあるのさ?
              米Amazonがそういう会社だってどう証明されたの?
              むしろそういう判定システムじゃ駄目だからって開発中止してるくらいなのに

              女性に向かない職業と、女性に向かないと思われている職業はイコールじゃなくても
              10年分のデータから、女性が自らの意思で応募してこないという事実が浮かび上がってるわけだよ
              それが社会的選択として正しくないというなら、そう証明しなきゃいけないよ
              「差別されてる」という結論ありきで理屈を組み立てるんじゃなくてね

            • by Anonymous Coward

              残念ながら日本のIT企業は選ぶ立場ではなく選んでもらう立場なんです
              男だってできれば外資に行きたいよ

        • by Anonymous Coward

          それだったら、サンプルを男女同数にすればよいだけ。
          多分そうではなく、同一スペックでの男女を見比べた時、男性の方が優位な結果の教師ありデータしか作れなそうというのが問題だったんではないかと推測される。

          更に、女性向け職業や男性向け職業という形がどうしても残っているので、性別のパラメータを削除するのも叶わなかったんじゃなかろうか。

          と推測しているけど…
          いずれにせよ、なんでそうなったか詳しい情報がほしいな。
          言ったそばから否定するようだけど、推測だけじゃ実際の問題がどこにあったのか分からん。

    • by Anonymous Coward

      > 女性を原点とした
      元始、女性は太陽であった的な。

    • by Anonymous Coward

      そもそも不採用とした人の優秀さは評価しようがないのでは……。

      # これがGoogleだと何故か不採用の人の追跡データを持っていたり……?

    • by Anonymous Coward

      出発点として、Amazonに届くレジュメは多すぎるというのがある。まあ、大企業はどこもそうらしいが。
      とても人間が全部を公平に処理するなんてことはできないので必然的に足切りする。
      全データを公平に処理した結果なんてものは存在していない。
      人間のやり方を機械が真似するのは当然だよ。

    • by Anonymous Coward

      これな、よく調べたら珍名さんなど、大した意味はない少数派の人達もマイナス評価にしてるはずなんだよ
      食わせたデータのせいにするのは危険だよ

      • いや、氏名を評価対象にするかどうかでしょ?

        履歴書に書かれているデータ、年齢、性別、経歴、資格なんかを評価させてしまった結果
        男性が多い会社だから男性を優遇するAIになってしまったっていう話で
        性別を削除してたんだけど「女子大」っていうだけで減点になってしまったっていうだけでの話で
        学習データがそもそも偏っていたのだから偏って当たり前ですよ

        親コメント
        • by Anonymous Coward

          偏ってるのは社内制度だろ
          Amazon社内で女性社員と低評価の相関が高かったからAIが因子として強く出してしまった

          • いや、だから
            履歴書データの殆どが男性だったっていってるじゃん・・・
            そうしたら対象属性を分類していくと男性が多いわけでそうしたら男性を優先しただけ
            間違った学習データを矯正することはできないからあきらめたんでしょ

            女性社員の評価云々なんてどこにもかかれていない・・・

            親コメント
            • by Anonymous Coward

              募集の男女比と採用の男女比で、女性が明確に少なかった。
              そしてAIの理解では、どう判断しても性別でバイアスが係ってた・・・それが事実、だから模倣した。

              • by Anonymous Coward

                募集の男女比と採用の男女比で、募集の比率に対して採用された女性が明確に少なかった。ね。

        • by Anonymous Coward

          入力に女性が少なかったから女性の点数が低くなった、という単純なものではない

          > Amazon edited the programs to make them neutral to these particular terms. But that was no guarantee that the machines would not devise other ways of sorting candidates that could prove discriminatory, the people said.

          結局AIが何をやっているのか誰にもわからない
          AIに偏らないデータを食わせれば正しい評価を出す、かどうかは人間にはわからない
          アマゾンが開発を中止したのは慎重でよい決断です

          • by Anonymous Coward

            > Amazonは特定の語句についてニュートラルな判定をするようプログラムを調整したが、差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らないため、昨年初めに開発チームは解散したとのこと。

            headlessのちょっと意味がわからん

            差別を示してしまう候補者分類の別の方法をAIが見つけ出さないと保証できなかった

      • by Anonymous Coward

        それを良いとするかはともかくとして、食わせたデータに名前で判断する根拠はあったかも知れない。

        https://www.adecco.co.jp/power-of-work/058.html [adecco.co.jp]
        >同じく米国で、履歴書の氏名欄が雇用判断を左右しているという研究結果もある。
        >エミリー、グレッグなど白人に多い名前と、タイロン、ラキーシャなどアフリカ系アメリカ人に多い名前が記入された履歴書を
        >雇用主に送ったところ、ほかの条件が同じでも、書類審査を通過した人数は、前者が後者の1.5倍も多かったという。
        >名前から人種を無意識に類推し、それが評価を左右してしまうおそれがあるのだ。

犯人はmoriwaka -- Anonymous Coward

処理中...