パスワードを忘れた? アカウント作成
13743737 story
人工知能

米AmazonのAIによる履歴書判定システム、男性有利な判定が判明して開発中止になっていた 113

ストーリー by headless
判定 部門より
米Amazonが求職者の履歴書に自動でランキング付けするAIシステムを研究していたが、一部の職種で男性に有利な判定をすることが判明して開発を中止していたとReutersが報じている(Reutersの記事The Guardianの記事Mashableの記事V3の記事)。

Reutersの情報提供者によると、開発が始まったのは2014年。このシステムはAmazonのレビューと同様に星5つで履歴書をランキングするものだったという。しかし、ソフトウェア開発者やそのほかの技術職では性別によってかたよった判定をすることが翌年までに判明する。学習に使用したデータは過去10年にAmazonに送られた履歴書であり、そのほとんどが男性求職者の履歴書だったことが原因とみられる。その結果、「women's」などの語句を含む履歴書や、女子大学2校の卒業者の履歴書は減点の対象になっていたそうだ。

Amazonは特定の語句についてニュートラルな判定をするようプログラムを調整したが、差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らないため、昨年初めに開発チームは解散したとのこと。AmazonはReutersに対し、技術的困難に関する質問に回答しなかったが、人事担当者が実際に使用したことはないと述べたという。ただし、AIが生成した判定結果を人事担当者が見たかどうかについては否定しなかったとのことだ。
  • 仕事に従順だったり企業にとって得な人材を合理的に選んだだけで
    結果的に男女差が現れてしまったということだったとしても
    社会的に受け入れられない事が可視化されてしまうという事かもしれないと感じました。
    現在の企業の体制において良く働くという面だけで選ぶと男女差が生じてしまうのであれば
    それも企業にとって都合が悪い事という風に評価して、
    男女の情報も与えた上でバイアス調整しする事も必要なんじゃないですかね。

    ここに返信
    • 優遇処置の必要性 (スコア:3, すばらしい洞察)

      by Anonymous Coward on 2018年10月15日 10時13分 (#3497840)

      まず社会的環境は男性に有利な状況があります。
      これは日本では顕著ですが欧米にもあります。

      そしてAIが判定するのはそういう男性が有利な社会において男性が得てきた「履歴」です。つまり、男性が優遇されている社会において重ねてきたプラス材料に対して不利な女性の履歴はAIでは低く評価されてしまうということです。

      男女差に限りません。
      お金持ちの家に生まれ、学力はイマイチでもお金の力で有名私大を出た人間の履歴と、学力は高いものの経済的理由で地方の公立大学が精一杯だった人間の履歴とでは、AIは前者を高く評価判定するでしょう。

      そういう不平等を是正するために弱者優遇処置で弱者が持っているハンデをある程度無効化する必要があるんですね。

      男女の能力差をAIが判定したわけではないでしょう。

      • >「現在の企業の体制において良く働くという面だけで」
        今日においては男性の方が企業の営利つながるという結果が出てしまう事には
        あまり疑問もなく、そういうものなのかなと思ったわけです。
        人の営み全体で男女の能力差に優劣があるなどと言いたいのではなくで、
        単に、今の社会的環境の企業の利益面のための採用という面においては、男性を取ったほうが得だという結果が出てしまったと。

        だいたい似たような意見ですよ。

  • by momo_4th (39293) on 2018年10月14日 17時41分 (#3497588) 日記
    AIが”合理的に”判断した結果を、人類は受け入れられる準備が整っているんですかね。 今回はいろいろ不十分だったので助かったようですが。
    ここに返信
    • Re:まだ早すぎる? (スコア:3, すばらしい洞察)

      by Anonymous Coward on 2018年10月14日 18時07分 (#3497602)

      今のAIはAIといっても所詮データから統計学的に結果を導き出すだけなのだから
      今回の場合は単純に過去の採用結果に男性偏重という傾向があって、
      今まで人間が色々理由つけてあるいは人間自身も気づかないうちに男性に偏って採用していたのをAIが暴いただけだと思う。

      元のデータが政治的に正しくないことを判断し、政治的に正しい回答を出させるのはもう1ステップ先の技術だろうから
      政治的に正しくない回答を許容するぐらいの度量見せないと、人間を評価するのにAIを使う試みは当分停滞すると思う。

      • by Anonymous Coward on 2018年10月15日 0時37分 (#3497758)

        今回の件では強化学習はできないだろうから、教師あり学習をしたのでしょうか。
        その場合、何を教師データとして学習したのかが気になります。

        過去の履歴書データを入力として、これまでの人間による履歴書の評価値に等しくなるよう学習したのか?
        過去の履歴書データを入力として、これまで採用した人のパフォーマンスに等しくなるよう学習したのか?

        前者なら過去の採用で男性偏重のバイアスがかかってたら、AIでもそれを再現してしまう。
        後者なら、(きちんとパフォーマンスが測れる限りは)AIで男性偏重のバイアスはかからないでしょう。

      • by Anonymous Coward

        暴いてはないんだよな。もしパラメーター的に男性優位になる部分があったらそれを取り除けばいいだけだし。AIの問題は、人間側からは全く想像もつかないような判断基準で的確にアプローチしてくること。だから、コンプライアンスで別のルールを満たさなきゃいけない場合は、現実と衝突する。

    • by Anonymous Coward on 2018年10月14日 21時07分 (#3497686)

      そういやステルス機を作ったベン・リッチが嘆いていたな。
      最高機密であるステルス機の製造でも、平等雇用委員会、差別撤廃・少数民族雇用政策に逆らうことはできなかったと。
      ラテン系の技術者をやっとっていないことで注意を受けて、「彼ら(ラテン系)は技術系の学校に行ってないからだ」と返事したが、もちろん許されない。
      特殊な作業のため、民族、信条、肌の色に関係なく熟練者が必要だとして、ステルスプロジェクトへの適用免除を申請しても却下されたとか。

      合理的よりも法律が優先されるのは、まあ当然。
      まずはAIに法律が合理的か判断させる必要があるが、そこまでは進歩しちゃいない。

    • by Anonymous Coward on 2018年10月14日 18時08分 (#3497605)

      永遠にできないから心配しなくていい

    • by Anonymous Coward

      過去合理的だったものが、未来も合理的かどうかという問題と思いました。
      短絡的な方法としては、学習時に時間のパラメータを重視するようにすれば、
      10年前と去年を比べて、女子比率が高まっていれば、女子を優遇するとか?
      でも、それで問題の解決になっている気がしない・・・

  • ただ単に過去10年間のデータのうち
    ・履歴書データに男性が多かった
    ・従業員割合として男性が多い

    そのため、女性を原点としたわけで別に差別的だったわけじゃなくって
    学習のさせ方と学習データが間違っていた

    ここに返信
    • by Anonymous Coward on 2018年10月14日 19時32分 (#3497655)

      それは違う、本当に性別と仕事の能力に相関がないのなら特徴量から削除してる
      ある程度学習を進めたアルゴリズムまで作ったってことは、能力に対して性別が一定以上を関係しているのが探索段階で分かったってこと
      学習フェーズで特徴として採用されたが、性別によって有利/不利で女性が不利にスコアリングされるのが「現実問題として」都合が悪いから使用を中止しただけ
      つまり、Amazonの人事評価制度が男性有利になっているか、そもそもAmazonに応募する女性には能力の低い人が多かったかのどちらか
      前者なら入力データから性別情報を削除した上で男女平等な人事制度への改正と継続的なモデルの改善を行えば補正できるけど、後者の場合は「事実」を反映しているので治しようがない
      で、Amazonが時間経過による改善を待たずに、開発自体をやめたということは後者なんでしょう
      倉庫番などの力仕事で女性が不利になりやすいのは事実だと思うので

      # コメント者は、人口全体で見れば性別による能力の高低はないと考えています

    • by Anonymous Coward

      その程度だったら元データを選べばよいだけ。
      ところが、元々の選考が男女不平等だったら、それを学習した結果も不平等になる。
      今回のケースはおそらくこれで、これは元データの選び方を変えたぐらいじゃ直らない。

    • by Anonymous Coward

      時には存在を無視するのも極めて重大な差別ですよ。

      白人のデータだけで開発したけっか、黒人が認識できない顔認識システムなんて、
      「黒人を同じ人間扱いしなかった」ということを意味するわけですからね。
      https://srad.jp/story/10/01/06/0122212/ [srad.jp]
      実用面についても同じ機械を同じ金額で購入してるのに、特定の人種には利用できない
      欠陥品を売りつけたということで、ほとんど詐欺みたいなものだ。

      今回のだと女性などデータの少ない人は採用されないという差別に繫がっている。
      差別的でない人事システムを作るには、

      • by Anonymous Coward on 2018年10月14日 20時57分 (#3497683)

        「差別に繋がっている」ってその前提が間違ってると思うよ
        男女同数の履歴書が集まっていたのに男性ばかり採用していたわけじゃなくて
        そも集まった履歴書に男性のものが多かったんでしょ
        女性の応募数が少なかったというのは、女性のほうからその職を忌避していたことを意味する
        つまり女性に向かない職業だという社会的選択が働いた結果であって、それは別に「間違ったデータ」ではない
        男性に向いている職業に男性のほうを採用しやすくするのは正しい判定でしょうよ

    • by Anonymous Coward

      > 女性を原点とした
      元始、女性は太陽であった的な。

    • by Anonymous Coward

      そもそも不採用とした人の優秀さは評価しようがないのでは……。

      # これがGoogleだと何故か不採用の人の追跡データを持っていたり……?

    • by Anonymous Coward

      出発点として、Amazonに届くレジュメは多すぎるというのがある。まあ、大企業はどこもそうらしいが。
      とても人間が全部を公平に処理するなんてことはできないので必然的に足切りする。
      全データを公平に処理した結果なんてものは存在していない。
      人間のやり方を機械が真似するのは当然だよ。

  • 開発チームは解散したみたいだけど,
    もしこのチームを解散させないために目的に変更するなら,
    どんな目的なら継続できそう?

    例えば,応募者を判定するのではなく,過去採用データを解析するために
    決定木のような AI を使うと変更したら.

    人事にかかわる人は一部なので,採用者はどうしても偏る.
    これまでの採用者にどのような偏りがあり,
    その偏りが必要なものなのか,解消するべきなのか検討して,
    今後の採用人事に活用するとしたら,継続できそう?

    ここに返信
  • Amazonの技術者とAIを投入しておいて、アウトプットは
    >Amazonのレビューと同様に星5つで履歴書をランキングする
    たったこれだけなのか…

    ここに返信
  • by Anonymous Coward on 2018年10月14日 18時08分 (#3497606)

    AIにまず法律とか学ばせて、どんなことが差別になるか学ばせれば良いのでは。
    当然それは国によって異なるものになる。

    ここに返信
    • Re:法律とか (スコア:2, 興味深い)

      by Anonymous Coward on 2018年10月14日 18時34分 (#3497624)

      概念を学ばせて、そちらを第一に判断するアプローチも隆盛ですよ。
      ただ大半は、許容しがたいほど異常な結果になります。まぁ、それこそが革新であり斬新な発想なので期待通りでもありますが。

      ちなみに人事採用なんかだと、平等や公平、多様性の範囲を広げて強制するほどに、ただのランダムに近づくという結果が出ています。
      なので人事関連では過去の採用基準と実績をインプットとして、その延長線上でより良い判断を繰り返すよう模索するアプローチが主流になっています。

      • by Anonymous Coward on 2018年10月14日 19時11分 (#3497641)

        >ちなみに人事採用なんかだと、平等や公平、多様性の範囲を広げて強制するほどに、ただのランダムに近づくという結果が出ています。

        アイビーリーグでも、法律が求める「公平な人種比率」を維持するために
        母数(≒合格者)が多すぎるアジア人は足切りして、逆に少ない白人と黒人にゲタ履かせているしな。

        さてAIは、これを公平と判断するのかな・・・

    • Re:法律とか (スコア:1, 興味深い)

      by Anonymous Coward on 2018年10月14日 18時14分 (#3497607)

      この場合には法律知識は関係ない。

      差別的扱いしても奴隷扱いして殺しても、法規制をすり抜けるAIが欲しいんじゃなくて、
      性別とか人種宗教と言った色眼鏡を外して真に優秀な人材を見抜くAIが欲しいんだよ。

      これが日本政府なら、ベトナム人奴隷を技能研修生名目で効率良く過労死させるAIを
      欲しがるかもしれないけど、Amazonの目的はそれじゃなかろう。

  • by Anonymous Coward on 2018年10月14日 18時17分 (#3497608)

    > 差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らない
    AI使おうというのになぜこんなことを考えるのか。

    ここに返信
  • by Anonymous Coward on 2018年10月14日 18時22分 (#3497614)

    応募書類から差別につながる項全部撤廃するのが先じゃないん?

    ここに返信
  • by Anonymous Coward on 2018年10月14日 19時00分 (#3497639)

    女性有利だったら特に問題になっていなかったような気がする

    ここに返信
    • by Anonymous Coward on 2018年10月14日 19時21分 (#3497648)

      ヨーロッパ系の完全平等主義は、女性優遇も批判するよ。
      レディーファーストは侮辱、更衣室やトイレが男女別なのは差別、
      女性が野外で胸を露出出来ないのは差別、女性だけ子育て休暇が義務なのは差別、って方々ですから。

      適切な基準で平等に能力で判断した結果ならば、個性である性差が影響しても問題ないって考えだし。

typodupeerror

UNIXはシンプルである。必要なのはそのシンプルさを理解する素質だけである -- Dennis Ritchie

読み込み中...