微軟科學家談機器學習的公平性問題: 對性別和種族避而不談並不是一個好方法

AI 科技評論按：ACM Fellow、微軟傑出科學家和管理總監 Jennifer T. Chayes 近日以 ACM 的名義發表了一篇文章，介紹了機器學習中的公平性問題和現階段研究人員們的應對方式。 AI 科技評論編譯如下。

機器學習是計算機科學的一個分支，通過識別在數據中存在的模式來發展算法。舉例來說，我們的個人助手，如Cortana, Siri 和 Alexa， 會學習如何識別我們在說什麼，並且運用與上百萬人的交流來學習如何最好地回應我們的問題。

當計算機變得越來越智能的時候，一些數據科學家會因為發現他們的算法變得有性別歧視或者種族主義的傾向，而困惑不已。但是這樣的現象是不該令人驚訝的，因為這些算法是經過社會數據的訓練而成的，所用到的社會數據本身就是帶有社會偏見，在訓練時所用的評估指標會讓算法會放大這些偏見。

比如，如果一個人單純地訓練一款機器學習算法來篩選簡曆，並且目標是根據一份工作之前的雇傭記錄來挑選最合適的候選人，那麼即使算法被清晰明確地指示去忽略“受保護的屬性”比如種族和性別，結果還是可能會帶有種族偏見或者性別偏見的。這是因為種族和性別是與其他“未受保護”信息比如姓名有關聯的，而這些“未受保護”的信息是算法可以使用的。在招聘過程中，我們知道招聘人員傾向於做出與算法一樣的選擇，他們不會被告知申請者的性別，但是他們會認出一個女性名字並不會麵試她，因為之前被雇傭的多數都是男性。

總體來講，設計周到的算法時，即使訓練的數據是有偏見的，計算機仍舊可以變得比一般人類決策者更加的公平。就如不論我們的孩子見到什麼人做哪些工作，我們都會教導他們“任何人都有潛力做任何工作”，我們也可以教會智能的算法如何去忽視訓練數據中的偏見。幸運的是，隨著計算機變得越來越聰明，教他們這樣的事情變得越來越簡單。計算機現在能夠理解什麼是種族，什麼是性別，並且社會數據也可以被用來自動地揭示和消除偏見。

目前的係統有時會表現出來非常強烈的偏見。當哈佛教授Latanya Sweeney將她自己的名字輸入搜索引擎的時候，她收到一則廣告寫著“Latanya Sweeney曾被逮捕過嗎？”並且會有償地提供背景調查。背景調查的結果是Sweeney博士沒有被捕記錄，就像大多數傑出的科學家那樣。這則廣告明顯是非常不合理的，並且是對Sweeney博士帶有歧視性質的。如果潛在的雇主把Sweeney博士的名字輸入搜索引擎中，他們也許會因為見到這則廣告而立刻就不再考慮雇傭她。此外，Sweeney博士證明了，如果搜索比如Latanya這樣更像黑人的名字，你會有比搜索不具種族特征的名字時更大的機會被展示這則“被逮捕過嗎？”的廣告。

好消息是，我們有很多的計算機科學家都非常關心機器學習算法的公平性，並且已經開發出了方法來讓這些算法相比人類來的更不帶有偏見。幾年前，一組來自微軟研究員和波士頓大學的研究者發現了在許多搜索引擎中天生就存在的性別歧視現象。當被要求去完成以下句子時，“男人會是電腦程序員而女人會是_”，這個工具會產生“家庭主婦”這樣的答案。我們的團隊讓這個工具變得不那麼帶有偏見，從而使它產出性別中立的答案，這讓我們的算法比人類來的更加公平。

一群來自微軟研究員和哈佛大學的研究者最近設計了一款智能算法，這款算法在學習的中間階段會直接讀取“受保護的屬性”比如種族或者性別，在這樣的情況下，這款算法有時得出的決定會比人類判斷具有更少的偏見。假想我們要為我所在的組織招聘一位新的管理者。我們單純的招聘算法會學習我們過去優秀的管理者，並且按照這些特征來推薦候選人。假設招聘算法發現我們的候選人曾經有過雇傭曆史的中斷，而這樣的中斷與“成為好的管理者”是呈現負相關的。因為我所采集的數據中絕大多數管理者都是男性，這樣得出的結論就會是有雇傭曆史中斷的男性會在管理崗位上表現的更差。

現在讓我們考慮一下如果候選人是女性的情況。大多數女性都有可能會花幾年的時間離開工作環境，來撫養孩子，並且在這個過程中她們學會如何平衡非常多的、互相間有競爭關係的事情，這樣的經曆會讓她們重返工作環境的時候成為更好的管理者。但是我們單純的招聘算法不會在數據中發現這樣關於女性的細節，因為在訓練數據中的男性數據在數量上占據著絕對的優勢。我們的研究者發現如果他們將單純幼稚的算法分別使用在不同的、依照受保護屬性來劃分的群體上，算法在做決定的過程中會顯示出更少的偏見。在這樣的情況中，算法不會懲罰雇用曆史有中斷而又追求管理者工作的女性。目前的法律是不允許在做招聘決策的過程中使用性別這一信息的，但是這一最新的結果可以為未來的監管提供新的視角。

一些人認為消除算法中的偏見是一件天生不能成功的事情，但是就像無可避免會牽涉到交通事故中的自動駕駛汽車那樣，第一步是要設計一套比人類更安全或者更不具偏見的係統。使用數學來定義“公平的”決策指標的過程也迫使我們需要精確地做出在公平和準確之間的取舍，這樣的取舍在以前有時會被決策者有意或無意的遮掩起來。這樣的過程讓我們重新審視什麼叫做公平對待一切群體 —— 在一些情況下，要想公平對待不同的群體，學習他們不同的群體特征是必經之路。

在計算機科學，法律，道德的交彙處正在形成一個全新的領域。它不僅會引領我們創造更公平的算法，並且會引領我們找到可以追蹤責任的算法，這樣的算法會使一個決定背後都有哪些影響因素變的更透明。我們有足夠的理由對這樣的算法抱有期待！