米AmazonのAIによる履歴書判定システム、男性有利な判定が判明して開発中止になっていた 115
ストーリー by headless
判定 部門より
判定 部門より
米Amazonが求職者の履歴書に自動でランキング付けするAIシステムを研究していたが、一部の職種で男性に有利な判定をすることが判明して開発を中止していたとReutersが報じている(Reutersの記事、
The Guardianの記事、
Mashableの記事、
V3の記事)。
Reutersの情報提供者によると、開発が始まったのは2014年。このシステムはAmazonのレビューと同様に星5つで履歴書をランキングするものだったという。しかし、ソフトウェア開発者やそのほかの技術職では性別によってかたよった判定をすることが翌年までに判明する。学習に使用したデータは過去10年にAmazonに送られた履歴書であり、そのほとんどが男性求職者の履歴書だったことが原因とみられる。その結果、「women's」などの語句を含む履歴書や、女子大学2校の卒業者の履歴書は減点の対象になっていたそうだ。
Amazonは特定の語句についてニュートラルな判定をするようプログラムを調整したが、差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らないため、昨年初めに開発チームは解散したとのこと。AmazonはReutersに対し、技術的困難に関する質問に回答しなかったが、人事担当者が実際に使用したことはないと述べたという。ただし、AIが生成した判定結果を人事担当者が見たかどうかについては否定しなかったとのことだ。
Reutersの情報提供者によると、開発が始まったのは2014年。このシステムはAmazonのレビューと同様に星5つで履歴書をランキングするものだったという。しかし、ソフトウェア開発者やそのほかの技術職では性別によってかたよった判定をすることが翌年までに判明する。学習に使用したデータは過去10年にAmazonに送られた履歴書であり、そのほとんどが男性求職者の履歴書だったことが原因とみられる。その結果、「women's」などの語句を含む履歴書や、女子大学2校の卒業者の履歴書は減点の対象になっていたそうだ。
Amazonは特定の語句についてニュートラルな判定をするようプログラムを調整したが、差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らないため、昨年初めに開発チームは解散したとのこと。AmazonはReutersに対し、技術的困難に関する質問に回答しなかったが、人事担当者が実際に使用したことはないと述べたという。ただし、AIが生成した判定結果を人事担当者が見たかどうかについては否定しなかったとのことだ。
性別の情報を入れていないのに結果が偏ったのだとしたら (スコア:2)
仕事に従順だったり企業にとって得な人材を合理的に選んだだけで
結果的に男女差が現れてしまったということだったとしても
社会的に受け入れられない事が可視化されてしまうという事かもしれないと感じました。
現在の企業の体制において良く働くという面だけで選ぶと男女差が生じてしまうのであれば
それも企業にとって都合が悪い事という風に評価して、
男女の情報も与えた上でバイアス調整しする事も必要なんじゃないですかね。
優遇処置の必要性 (スコア:3, すばらしい洞察)
まず社会的環境は男性に有利な状況があります。
これは日本では顕著ですが欧米にもあります。
そしてAIが判定するのはそういう男性が有利な社会において男性が得てきた「履歴」です。つまり、男性が優遇されている社会において重ねてきたプラス材料に対して不利な女性の履歴はAIでは低く評価されてしまうということです。
男女差に限りません。
お金持ちの家に生まれ、学力はイマイチでもお金の力で有名私大を出た人間の履歴と、学力は高いものの経済的理由で地方の公立大学が精一杯だった人間の履歴とでは、AIは前者を高く評価判定するでしょう。
そういう不平等を是正するために弱者優遇処置で弱者が持っているハンデをある程度無効化する必要があるんですね。
男女の能力差をAIが判定したわけではないでしょう。
Re:優遇処置の必要性 (スコア:3)
＞「現在の企業の体制において良く働くという面だけで」
今日においては男性の方が企業の営利つながるという結果が出てしまう事には
あまり疑問もなく、そういうものなのかなと思ったわけです。
人の営み全体で男女の能力差に優劣があるなどと言いたいのではなくで、
単に、今の社会的環境の企業の利益面のための採用という面においては、男性を取ったほうが得だという結果が出てしまったと。
だいたい似たような意見ですよ。
Re:優遇処置の必要性 (スコア:2)
一番影響がありそうに思えるのはやはり結婚や出産などを期に辞めてしまう文化じゃないんですかね。
もし、単なる思い込みに過ぎず、人材確保の機会を失っているだけであれば、
そういう思い込みを排除できた方が業績が上がっていくでしょうから、
AIがそういう結果も材料に学習するなり、市場原理などで、
今後は放っておいても改善しているのかもしれないですね。
でも、古今東西でずっと発生している状況だったのなら、
やはり思い込みだけではなくて、何らかの合理性がそうさせているんじゃないかとは思います。
繁殖できない分、働き蟻や使い捨て要因として労働力や戦争には男性の方が向いてるんじゃないですかね。
これからの時代ではそれが是正されるべきという意見には賛成ですが、
上記のように思うので、放置してAIや市場原理に任せておいても勝手に良くはならない気がしますよ。
Re:優遇処置の必要性 (スコア:2)
思い込みに過ぎないのであれば営利競争への最適化や市場原理に任せて放って置くだけで勝手に良くなっていきますよ。
そうでないから、奴隷のような働かせ方を規制したり、男女雇用機会均等への規制などをして調整する必要があるのでしょう。
復帰するか否か別としても出産前後には仕事を任せられない期間が生じますし、夫が妻を養うという家庭スタイルもまだまだ少なくありませんよ。世の中働きたい人ばかりではなくて雇われずに家の仕事をしたい人だって多くいます。現実的には結婚や出産を期に勤め人をやめることを選ぶ人って女性の方がずっと多いんじゃないでしょうか。
Re:性別の情報を入れていないのに結果が偏ったのだとしたら (スコア:2)
＞あなたのいう「合理的」って具体的には何？企業にとって「得」とは？
短絡的に直近の営利に結びつく判断という意味で言いました。
それが良いとは思っていませんよ。単にそうしたらこうなったということなのだろうなと感じたわけです。
社会がより平等と弱者救済を求めて企業や国にそれを期待するのであれば、
そういう短絡的な目先の利益追求だけでなくて、不平等の是正のための調整もしてく事が
それが将来的には企業や国の利益につながって「得」になるんじゃないですかね。
だいたい似たような意見ですよ。
Re:性別の情報を入れていないのに結果が偏ったのだとしたら (スコア:2)
言葉遣いの趣味以外に大きな意見の相違はなさそうなです。
＃ 奴隷が使える世であれはそれを活用することが合理的なんじゃないですかね。
そうでない会社も多いですが、中長期的な視点で経営してほしいものです。
差別や弱者をないがしろにするような判断がマイナスに働いてそんな企業は行き詰まるような社会になっていってほしいと思っていますよ。
まだ早すぎる？ (スコア:1)
Re:まだ早すぎる？ (スコア:3, すばらしい洞察)
今のAIはAIといっても所詮データから統計学的に結果を導き出すだけなのだから
今回の場合は単純に過去の採用結果に男性偏重という傾向があって、
今まで人間が色々理由つけてあるいは人間自身も気づかないうちに男性に偏って採用していたのをAIが暴いただけだと思う。
元のデータが政治的に正しくないことを判断し、政治的に正しい回答を出させるのはもう1ステップ先の技術だろうから
政治的に正しくない回答を許容するぐらいの度量見せないと、人間を評価するのにAIを使う試みは当分停滞すると思う。
Re:まだ早すぎる？ (スコア:1)
今回の件では強化学習はできないだろうから、教師あり学習をしたのでしょうか。
その場合、何を教師データとして学習したのかが気になります。
過去の履歴書データを入力として、これまでの人間による履歴書の評価値に等しくなるよう学習したのか？
過去の履歴書データを入力として、これまで採用した人のパフォーマンスに等しくなるよう学習したのか？
前者なら過去の採用で男性偏重のバイアスがかかってたら、AIでもそれを再現してしまう。
後者なら、（きちんとパフォーマンスが測れる限りは）AIで男性偏重のバイアスはかからないでしょう。
Re: (スコア:0)
暴いてはないんだよな。もしパラメーター的に男性優位になる部分があったらそれを取り除けばいいだけだし。AIの問題は、人間側からは全く想像もつかないような判断基準で的確にアプローチしてくること。だから、コンプライアンスで別のルールを満たさなきゃいけない場合は、現実と衝突する。
Re:まだ早すぎる？ (スコア:2, 興味深い)
そういやステルス機を作ったベン・リッチが嘆いていたな。
最高機密であるステルス機の製造でも、平等雇用委員会、差別撤廃・少数民族雇用政策に逆らうことはできなかったと。
ラテン系の技術者をやっとっていないことで注意を受けて、「彼ら（ラテン系）は技術系の学校に行ってないからだ」と返事したが、もちろん許されない。
特殊な作業のため、民族、信条、肌の色に関係なく熟練者が必要だとして、ステルスプロジェクトへの適用免除を申請しても却下されたとか。
合理的よりも法律が優先されるのは、まあ当然。
まずはAIに法律が合理的か判断させる必要があるが、そこまでは進歩しちゃいない。
Re:まだ早すぎる？ (スコア:1)
永遠にできないから心配しなくていい
Re: (スコア:0)
過去合理的だったものが、未来も合理的かどうかという問題と思いました。
短絡的な方法としては、学習時に時間のパラメータを重視するようにすれば、
10年前と去年を比べて、女子比率が高まっていれば、女子を優遇するとか？
でも、それで問題の解決になっている気がしない・・・
Re:まだ早すぎる？ (スコア:2)
AIが”合理的に”判断(差別)した結果を・・・
「合理的に判断」じゃなくて「過去の事例に合うように自動的に判断」
過去の女性エンジニアの雇用事例がきわめて少なかったのでAIはそこから女性の履歴書のスコアリングを自動的に機械的に低くしただけ。そこに合理性はない。
学習データが間違っていたっていうだけでしょ (スコア:1)
ただ単に過去10年間のデータのうち
・履歴書データに男性が多かった
・従業員割合として男性が多い
そのため、女性を原点としたわけで別に差別的だったわけじゃなくって
学習のさせ方と学習データが間違っていた
Re:学習データが間違っていたっていうだけでしょ (スコア:1)
それは違う、本当に性別と仕事の能力に相関がないのなら特徴量から削除してる
ある程度学習を進めたアルゴリズムまで作ったってことは、能力に対して性別が一定以上を関係しているのが探索段階で分かったってこと
学習フェーズで特徴として採用されたが、性別によって有利/不利で女性が不利にスコアリングされるのが「現実問題として」都合が悪いから使用を中止しただけ
つまり、Amazonの人事評価制度が男性有利になっているか、そもそもAmazonに応募する女性には能力の低い人が多かったかのどちらか
前者なら入力データから性別情報を削除した上で男女平等な人事制度への改正と継続的なモデルの改善を行えば補正できるけど、後者の場合は「事実」を反映しているので治しようがない
で、Amazonが時間経過による改善を待たずに、開発自体をやめたということは後者なんでしょう
倉庫番などの力仕事で女性が不利になりやすいのは事実だと思うので
# コメント者は、人口全体で見れば性別による能力の高低はないと考えています
Re: (スコア:0)
その程度だったら元データを選べばよいだけ。
ところが、元々の選考が男女不平等だったら、それを学習した結果も不平等になる。
今回のケースはおそらくこれで、これは元データの選び方を変えたぐらいじゃ直らない。
Re:学習データが間違っていたっていうだけでしょ (スコア:1)
偏った学習データからは偏ったAIが生まれる。実際MicrosoftのAI Tayがヘイト発言を学習してしまったことでも分かる。
じゃあ偏った学習データから偏っていない学習データをどう抽出するかと言われると、そんな方法はない。
Re: (スコア:0)
＞その程度だったら元データを選べばよいだけ。
典型的な誤りだなｗ
Re: (スコア:0)
時には存在を無視するのも極めて重大な差別ですよ。
白人のデータだけで開発したけっか、黒人が認識できない顔認識システムなんて、
「黒人を同じ人間扱いしなかった」ということを意味するわけですからね。
https://srad.jp/story/10/01/06/0122212/ [srad.jp]
実用面についても同じ機械を同じ金額で購入してるのに、特定の人種には利用できない
欠陥品を売りつけたということで、ほとんど詐欺みたいなものだ。
今回のだと女性などデータの少ない人は採用されないという差別に繫がっている。
差別的でない人事システムを作るには、
Re:学習データが間違っていたっていうだけでしょ (スコア:1)
「差別に繋がっている」ってその前提が間違ってると思うよ
男女同数の履歴書が集まっていたのに男性ばかり採用していたわけじゃなくて
そも集まった履歴書に男性のものが多かったんでしょ
女性の応募数が少なかったというのは、女性のほうからその職を忌避していたことを意味する
つまり女性に向かない職業だという社会的選択が働いた結果であって、それは別に「間違ったデータ」ではない
男性に向いている職業に男性のほうを採用しやすくするのは正しい判定でしょうよ
Re: (スコア:0)
> 女性を原点とした
元始、女性は太陽であった的な。
Re: (スコア:0)
そもそも不採用とした人の優秀さは評価しようがないのでは……。
# これがGoogleだと何故か不採用の人の追跡データを持っていたり……？
Re: (スコア:0)
出発点として、Amazonに届くレジュメは多すぎるというのがある。まあ、大企業はどこもそうらしいが。
とても人間が全部を公平に処理するなんてことはできないので必然的に足切りする。
全データを公平に処理した結果なんてものは存在していない。
人間のやり方を機械が真似するのは当然だよ。
Re:学習データが間違っていたっていうだけでしょ (スコア:1)
いや、氏名を評価対象にするかどうかでしょ？
履歴書に書かれているデータ、年齢、性別、経歴、資格なんかを評価させてしまった結果
男性が多い会社だから男性を優遇するAIになってしまったっていう話で
性別を削除してたんだけど「女子大」っていうだけで減点になってしまったっていうだけでの話で
学習データがそもそも偏っていたのだから偏って当たり前ですよ
Re:学習データが間違っていたっていうだけでしょ (スコア:1)
いや、だから
履歴書データの殆どが男性だったっていってるじゃん・・・
そうしたら対象属性を分類していくと男性が多いわけでそうしたら男性を優先しただけ
間違った学習データを矯正することはできないからあきらめたんでしょ
女性社員の評価云々なんてどこにもかかれていない・・・
開発チームを残すために目的を変更できるなら (スコア:1)
開発チームは解散したみたいだけど，
もしこのチームを解散させないために目的に変更するなら，
どんな目的なら継続できそう？
例えば，応募者を判定するのではなく，過去採用データを解析するために
決定木のような AI を使うと変更したら．
人事にかかわる人は一部なので，採用者はどうしても偏る．
これまでの採用者にどのような偏りがあり，
その偏りが必要なものなのか，解消するべきなのか検討して，
今後の採用人事に活用するとしたら，継続できそう？
Re:開発チームを残すために目的を変更できるなら (スコア:1)
採用したかどうかではなくて、採用後にどれくらい成果を残したかで判定するようにすればいいんじゃない？
＃その結果、白人男性がもっとも成果を残すことが分かったってんなら根は深いが……。
しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
Re:開発チームを残すために目的を変更できるなら (スコア:1)
採用したかどうかではなくて、採用後にどれくらい成果を残したかで判定するようにすればいいんじゃない？
なるほど．
採用されていればその人が仕事で活躍したかは会社に情報があるから，
その情報を活用するのは意味がありますね．
その視点は思いつきませんでした．
Re:開発チームを残すために目的を変更できるなら (スコア:1)
AIとかいう前にまずデータを可視化しろと
可視化は重要ですよね．
元のコメントに決定木と書いたのは，それが AI の手法でデータを見やすくするものだからです．
例えば決定木の可視化ライブラリ dtreeviz [hatenablog.com] を使うとデータを理解しやすいですね．
面接してないけど期待を込めて星4つです (スコア:1)
Amazonの技術者とAIを投入しておいて、アウトプットは
＞Amazonのレビューと同様に星5つで履歴書をランキングする
たったこれだけなのか…
法律とか (スコア:0)
AIにまず法律とか学ばせて、どんなことが差別になるか学ばせれば良いのでは。
当然それは国によって異なるものになる。
Re:法律とか (スコア:2, 興味深い)
概念を学ばせて、そちらを第一に判断するアプローチも隆盛ですよ。
ただ大半は、許容しがたいほど異常な結果になります。まぁ、それこそが革新であり斬新な発想なので期待通りでもありますが。
ちなみに人事採用なんかだと、平等や公平、多様性の範囲を広げて強制するほどに、ただのランダムに近づくという結果が出ています。
なので人事関連では過去の採用基準と実績をインプットとして、その延長線上でより良い判断を繰り返すよう模索するアプローチが主流になっています。
Re:法律とか (スコア:1)
＞ちなみに人事採用なんかだと、平等や公平、多様性の範囲を広げて強制するほどに、ただのランダムに近づくという結果が出ています。
アイビーリーグでも、法律が求める「公平な人種比率」を維持するために
母数（≒合格者）が多すぎるアジア人は足切りして、逆に少ない白人と黒人にゲタ履かせているしな。
さてAIは、これを公平と判断するのかな・・・
Re:法律とか (スコア:1, 興味深い)
この場合には法律知識は関係ない。
差別的扱いしても奴隷扱いして殺しても、法規制をすり抜けるAIが欲しいんじゃなくて、
性別とか人種宗教と言った色眼鏡を外して真に優秀な人材を見抜くAIが欲しいんだよ。
これが日本政府なら、ベトナム人奴隷を技能研修生名目で効率良く過労死させるAIを
欲しがるかもしれないけど、Amazonの目的はそれじゃなかろう。
AIが分かっていない (スコア:0)
> 差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らない
AI使おうというのになぜこんなことを考えるのか。
女性が~と言っている時点で無理でしょう (スコア:0)
応募書類から差別につながる項全部撤廃するのが先じゃないん？
Re: (スコア:0)
例えば、大学のなまえにwoman'sと入っていたらどうしましょう？
Re:女性が~と言っている時点で無理でしょう (スコア:1)
日本ならともかくwoman'sなんて英語圏なら使わないと思いますけど。
まぁ、大学の名前に聖女名が入っていたら、ならあり得る話ですが。
Re:女性が~と言っている時点で無理でしょう (スコア:1)
日本ならともかくwoman'sなんて英語圏なら使わないと思いますけど。
まぁ、大学の名前に聖女名が入っていたら、ならあり得る話ですが。
Texas Women's University [twu.edu]
Mississippi University for Women [muw.edu]
Re: (スコア:0)
>Amazonは特定の語句についてニュートラルな判定をするようプログラムを調整したが、差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らないため
ようは回避策を取ってもAIは見抜いちゃうよって事よ。
ボンクラな人間様と違って賢いからね。
Re: (スコア:0)
そんなことしたら書くことがなくなると思う
応募書類でふるいにかける判断材料って差別と言われれば全部差別になる
Re: (スコア:0)
応募書類から差別につながる項全部撤廃するのが先じゃないん？
逆じゃない?
差別につながる項全部を学習させて
差別採用も差別不採用もさせないようにする
って方が早そう
# んで「意に沿わなくて使えねー」となる
Re:女性が~と言っている時点で無理でしょう (スコア:1)
差別用語やヘイト文をインターネットで自動学習させたら、ポリコレの好む言葉や言い回しも多分に含まれていたって話は好き
逆なら・・・ (スコア:0)
女性有利だったら特に問題になっていなかったような気がする
Re:逆なら・・・ (スコア:1)
ヨーロッパ系の完全平等主義は、女性優遇も批判するよ。
レディーファーストは侮辱、更衣室やトイレが男女別なのは差別、
女性が野外で胸を露出出来ないのは差別、女性だけ子育て休暇が義務なのは差別、って方々ですから。
適切な基準で平等に能力で判断した結果ならば、個性である性差が影響しても問題ないって考えだし。
Re: (スコア:0)
米Amazonの話題だ
Re:さらりと (スコア:1)
今の日本でやるなら事前に許可を取らないと「利用目的による制限」 [e-gov.go.jp]とか、
努力義務とはいえ「利用する必要がなくなったときは、当該個人データを遅滞なく消去するよう努めなければならない。」 [e-gov.go.jp]に引っかかってヤバイです。
判例で変わるかもしれませんけどね。
Re:何がしたいのやらさっぱり (スコア:1)
なるほど、じゃあ能力差別もやめないといけないね。
重要なのはバランスであって、差別撤廃という原理をどこまでも追及することじゃないと思うんだ。
もちろん利益追求だけでもまずいと思うよ。
# mishimaは本田透先生を熱烈に応援しています