アルゴリズムは公平になれるのか

同じ数字を見て、正反対の結論が出た

2016年5月、アメリカの報道機関プロパブリカが「マシン・バイアス」と題した調査報道を公開しました。取り上げたのは、フロリダ州ブロワード郡の司法の現場で使われていた再犯予測プログラム「COMPAS」。被告人の再犯リスクを1から10の点数で示すこの道具について、7,000人あまりの実データを追跡したところ、はっきりした偏りが見つかります。2年以内に再犯しなかった人が誤って「高リスク」と警戒されていた割合は、黒人の被告人で約45%、白人では約23%。ほぼ2倍です。逆に、のちに再犯した人が「低リスク」と見逃されていた割合は、白人が黒人の1.7倍。間違いの向きが、人種によって逆でした。

開発元のノースポイント社は、真っ向から反論します。同じスコアが付いた人たちを比べれば、実際に再犯する割合は人種によらずほぼ同じ。点数の「意味」は誰に対しても同じなのだから、この予測は公平だ、と。

奇妙なのはここからです。のちの検証で、双方の計算はどちらも正しいことが確かめられました。同じデータ、正しい算数、正反対の結論。「このアルゴリズムは公平か」という問いは、「公平とは何か」を先に決めない限り答えが出ない問いだったのです。

「公平」の数学的な定義は、少なくとも三つあった

機械学習の研究者たちは、公平さを数式で書き下ろす作業を積み重ねてきました。代表的な定義だけでも三つあります。

一つめは、「高リスク」と判定される人の割合そのものをグループ間で揃える考え方で、統計的パリティと呼ばれます。二つめは、間違え方を揃える考え方。再犯しなかった人のうち誤って警戒された割合と、再犯した人のうち見逃された割合を、グループ間で一致させます（研究の世界では「均等化オッズ」などと呼ばれます）。プロパブリカがCOMPASを裁いた物差しは、実質的にこれでした。三つめは、同じスコアなら同じ結果という予測値の一致（キャリブレーション）。こちらはノースポイント社が拠って立った物差しです。

どれも、それだけを聞けば「公平」の名に値しそうに見えます。しかし、どの物差しを選ぶかで、告発される側と擁護される側が入れ替わる。COMPAS論争は、どちらかが嘘をついていた話ではなく、両陣営が別々の公平の定義を握っていた話でした。

属性を「見ない」ことは、公平を保証しなかった

では、人種や性別といった属性をアルゴリズムに一切見せなければよいのでしょうか。差別を防ぐには目隠しをすればいい——この素直な直感は、実務の中で早々に裏切られます。

ロイター通信が2018年に報じたところによると、Amazonは2014年ごろから、履歴書を自動採点する採用AIを開発していました。過去10年分の応募書類で学習させたところ、システムは技術職で男性の履歴書を高く評価するくせを身につけます。性別そのものは入力していないのに、「women's（女子〜）」という単語——たとえば「女子チェス部の部長」——を含む履歴書を減点し、女子大学の出身者を低く評価するようになっていました。応募者の大半が男性だった過去のデータから、「男性的であること」を成功の特徴として学び取ってしまった。同社は修正を試みたものの、性別に中立であることを保証しきれないと判断し、プロジェクトを打ち切りました。

属性の欄を隠しても、部活動の名前、出身校、言葉遣いといった無数の手がかりが属性の代理として働きます。だからむしろ、属性を明示的に見たほうがよいと考える研究者もいます。属性ごとの判定結果を突き合わせられる形にしておけば、偏りを検出し、補正をかけられる。人間の面接官の頭の中は監査できませんが、アルゴリズムの入出力は記録に残ります。適切な規制と組み合わせれば、アルゴリズムはむしろ差別を暴く強力な道具になりうる——計算機科学者・経済学者・法学者の共同研究には、そう論じるものもあります。目隠しこそ公平か、直視こそ公平か。ここでも「公平」は割れます。

どの公平も同時には満たせないことが、証明されてしまった

論争の直後、2016年から17年にかけて、この対立には決着ではなく「底」が見えます。コーネル大学のジョン・クラインバーグらの研究チームと、カーネギーメロン大学の統計学者アレクサンドラ・チョルデチョバ（Chouldechova）が、ほぼ同時期にそれぞれ独立で、同じ定理にたどり着いたのです。

内容はこう要約できます。予測値の一致（同じスコアなら同じ再犯率）と、間違え方の均等（誤警戒率と見逃し率をグループ間で揃えること）は、二つの例外を除いて数学的に両立しない。例外とは、予測が100%当たる場合と、グループ間で実際の再犯率そのものが完全に等しい場合です。COMPASの的中率は6割強、そしてブロワード郡のデータでは記録上の再逮捕率に人種差がありました。つまりあの論争では、どちらの陣営の公平を採っても、もう一方の公平は必ず壊れる運命にあった。プロパブリカとノースポイント社は、両立不可能な二つの正義を一つずつ握って対峙していたことになります。

この定理の射程は広く、そして逃げ場がありません。データを増やしても、モデルをどれほど賢くしても、この壁は消えない。再犯予測に限らず、採用でも、与信でも、病気の診断でも、グループ間で現実の発生率に差がある限り、同じ緊張が必ず生じます。しかも話はもう一段深くなります。そもそも「再犯」のデータは正確には「再逮捕」の記録であり、どの街を重点的にパトロールするかという警察活動の偏りを映している可能性も指摘されています。公平を測る物差し自体が、測りたい対象の歪みをすでに含んでいるかもしれないのです。

数学は選択肢に値札を付けた。選ぶのは誰か

いま分かっているのは、次のことです。公平さをめぐる私たちの直感は複数あり、数式に翻訳すると互いに矛盾する。その矛盾は技術の未熟さではなく、証明された性質である。したがって「完全に公平なアルゴリズム」は原理的に存在せず、あるのは「どの公平を優先し、どの公平を諦めたか」が異なる設計だけです。不可能性の証明以降、研究の重心は万能の公平を探すことから、それぞれの選択が誰に何をもたらすかを可視化し、トレードオフを明示することへ移りました。

分かっていないのは——正確には、数学では決められないのは——どの文脈でどの公平を選ぶべきか、そして誰がそれを選ぶ資格を持つのか、です。刑事司法では無実の人への誤警戒の均等を重く見るべきかもしれず、病気の検査では見逃しの少なさを何より優先すべきかもしれません。その重み付けは統計学の外側、価値と政治の領域にあります。技術で解ける部分の輪郭がくっきりしたことで、社会が引き受けるべき部分の輪郭もまた、かつてなくくっきりしたのだと言えます。

これは遠い国の話ではありません。2019年には日本でも、就活サイト「リクナビ」の運営会社が、学生の閲覧履歴から内定辞退率を予測したスコアを38社に販売し、個人情報保護委員会の勧告を受けました。争点は同意のないデータ利用でしたが、採用や与信の場面で人がスコアに置き換えられる日常は、この国でもすでに始まっています。次にあなたが何かの審査を通過し、あるいは落とされたとき、そこで働いていた「公平」はどの定義だったのか。その問いを立てる言葉を、私たちはもう手にしています。