為了防止人工智能搞破壞，科學(xué)家開始研究安全對(duì)策

在特斯拉CEO伊隆·馬斯克（Elon Musk）創(chuàng)辦的人工智能實(shí)驗(yàn)室OpenAI里，機(jī)器正在通過自學(xué)模仿人類的行為。但有的時(shí)候卻會(huì)出現(xiàn)問題。

最近的一個(gè)午后，研究員達(dá)里奧·阿莫德（Dario Amodei）坐在OpenAI的舊金山辦公室里展示了一套自學(xué)《Coast Runners》的自動(dòng)化系統(tǒng)。在這款已經(jīng)過時(shí)的賽船視頻游戲中，獲勝者需要獲得最高分，還要穿過終點(diǎn)線。

結(jié)果令人吃驚：這艘船對(duì)于屏幕上出現(xiàn)的綠色小部件興趣極高——抓住這些小部件就能得分。但該系統(tǒng)控制的這艘船并沒有急于穿過終點(diǎn)線，而是對(duì)得分非常著迷。它不停地轉(zhuǎn)圈，還時(shí)不時(shí)地沖撞其他船只，有的時(shí)候會(huì)撞到石頭墻上，甚至反復(fù)起火。

阿莫德的那艘著火的船表明了正在快速改變科技世界的人工智能技術(shù)所蘊(yùn)含的風(fēng)險(xiǎn)。研究人員都在開發(fā)能夠基本依靠自己完成任務(wù)的機(jī)器。谷歌(微博)旗下的DeepMind也借助這種方法創(chuàng)造了擊敗圍棋世界冠軍的系統(tǒng)。

然而，既然這些機(jī)器能夠通過幾個(gè)小時(shí)的數(shù)據(jù)分析進(jìn)行自我訓(xùn)練，或許也能夠形成一些出人意料甚至有害人類利益的行為。

隨著這些技術(shù)逐步融入網(wǎng)絡(luò)服務(wù)、安全設(shè)備和機(jī)器人，這種擔(dān)憂也與日俱增?，F(xiàn)在，阿莫德所在的人工智能圈已經(jīng)開始考慮通過數(shù)學(xué)技術(shù)來避免最糟糕的情況發(fā)生。

阿莫德和他的同事保羅·克里斯蒂亞諾（Paul Christiano）正在開發(fā)一些算法，使之不僅能通過幾小時(shí)的試錯(cuò)來學(xué)習(xí)某項(xiàng)任務(wù)，還能從人類老師那里獲得定期指導(dǎo)。

只要在這里或那里點(diǎn)擊幾下，研究人員現(xiàn)在就能向自動(dòng)化系統(tǒng)展示一個(gè)道理：要在《Coast Runner》里取得勝利，不僅要得分，還要通過終點(diǎn)線。他們相信，這種融合了人類與機(jī)器指令的算法有助于保持自動(dòng)化系統(tǒng)的安全性。

未雨綢繆

多年以來，馬斯克和其他專家、心理學(xué)家以及技術(shù)人員都警告稱，機(jī)器可能脫離我們的控制，甚至學(xué)會(huì)它的設(shè)計(jì)者不曾設(shè)想的惡意行為。曾幾何時(shí)，這些警告似乎言過其實(shí)，畢竟當(dāng)今的無人駕駛汽車系統(tǒng)經(jīng)常連識(shí)別自行車道和紅燈這樣的簡單任務(wù)都難以完成。

但阿莫德這樣的研究人員卻試圖未雨綢繆。從某種意義上講，這些科學(xué)家所做的事情有點(diǎn)類似于父母教育孩子分辨是非。

很多人工智能專家都相信，一種名叫“強(qiáng)化學(xué)習(xí)”（reinforcement learning）的技術(shù)——讓機(jī)器通過極端的試錯(cuò)掌握具體任務(wù)——可以成為人工智能的主要方式。

研究人員會(huì)為機(jī)器指定一種需要努力爭取的獎(jiǎng)勵(lì)，然后在它隨機(jī)學(xué)習(xí)一項(xiàng)任務(wù)時(shí)，機(jī)器便會(huì)密切關(guān)注哪些事情可以帶來這種獎(jiǎng)勵(lì)，哪些不能。當(dāng)OpenAI訓(xùn)練它的機(jī)器人玩《Coast Runners》時(shí)，他們給予的獎(jiǎng)勵(lì)就是更多的得分。

針對(duì)視頻游戲展開的訓(xùn)練的確具有現(xiàn)實(shí)意義。

研究人員認(rèn)為，如果機(jī)器能夠?qū)W會(huì)《俠盜獵車手》這樣的賽車游戲，它就能學(xué)會(huì)駕駛真車。如果它能學(xué)會(huì)使用網(wǎng)絡(luò)瀏覽器和其他常見的軟件應(yīng)用，就能學(xué)會(huì)理解自然語言，還有可能展開對(duì)話。

在谷歌和加州大學(xué)伯克利分校這樣的地方，機(jī)器人已經(jīng)使用這種技術(shù)來學(xué)習(xí)拿東西和開門等簡單的動(dòng)作。

正因如此，阿莫德和克里斯蒂亞諾才在努力開發(fā)可以同時(shí)接受人類指令的強(qiáng)化學(xué)習(xí)算法，這樣便可確保系統(tǒng)不會(huì)偏離手頭的任務(wù)。

這兩位OpenAI的研究員最近與DeepMind的同行合作發(fā)表了相關(guān)的研究成果。這兩個(gè)全球頂尖人工智能實(shí)驗(yàn)室合作開發(fā)的這些算法，向著人工智能安全研究邁出了重要一步。

“這佐證了之前的很多想法?！奔又荽髮W(xué)伯克利分校研究員迪倫·海德菲爾德-門內(nèi)爾（Dylan Hadfield-Menell）說，“這類算法在未來5到10年前景廣闊?！?

新興領(lǐng)域

該領(lǐng)域規(guī)模雖小，卻在不斷增長。隨著OpenAI和DeepMind建立專門的人工智能安全團(tuán)隊(duì)，谷歌大腦也將采取同樣的措施。與此同時(shí)，加州大學(xué)伯克利分校和斯坦福大學(xué)這樣的高等學(xué)府也在解決類似的問題，而且通常會(huì)與大企業(yè)的實(shí)驗(yàn)室展開合作。

在某些情況下，研究人員是在確保這些系統(tǒng)不會(huì)自行犯錯(cuò)，避免出現(xiàn)與《Coast Runner》里的那艘船相似的問題。他們還在努力確保黑客和其他“壞分子”無法發(fā)現(xiàn)系統(tǒng)中隱藏的漏洞。像谷歌的伊恩·古德菲洛（Ian Goodfellow）這樣的研究人員都在研究黑客可能用來入侵人工智能系統(tǒng)的方式。

現(xiàn)代化的計(jì)算機(jī)視覺基于所謂的深度神經(jīng)網(wǎng)絡(luò)開發(fā)，這種模式識(shí)別系統(tǒng)可以通過分析海量數(shù)據(jù)學(xué)會(huì)完成各種任務(wù)。通過分析成千上萬的狗照片，神經(jīng)網(wǎng)絡(luò)便可學(xué)會(huì)如何認(rèn)出一只狗。Facebook就是通過這種方式識(shí)別照片中的人臉的，谷歌的Photos應(yīng)用也是通過這種方式實(shí)現(xiàn)圖片搜索的。

但古德菲洛和其他研究人員已經(jīng)證明，黑客可以改變圖片，使得神經(jīng)網(wǎng)絡(luò)相信其中包含實(shí)際上并不存在的內(nèi)容。例如，只要調(diào)整大象照片里的幾個(gè)像素就能讓神經(jīng)網(wǎng)絡(luò)誤以為這是一輛汽車。

在安防攝像頭上使用神經(jīng)網(wǎng)絡(luò)可能因此遇到麻煩。研究人員表示，只要在你的臉上做幾個(gè)標(biāo)記，就可以讓攝像頭誤以為你是其他人。

“如果用數(shù)百萬張由人類標(biāo)記的圖片來訓(xùn)練物體識(shí)別系統(tǒng)，那就仍然可以生成讓人類和機(jī)器100%存在分歧的新圖片。”古德菲洛說，“我們需要理解這種現(xiàn)象?！?

另外一大擔(dān)憂在于，人工智能系統(tǒng)可能學(xué)會(huì)如何避免人類將其關(guān)閉。如果機(jī)器的目的是獲得獎(jiǎng)勵(lì)，它的思維就會(huì)變成這樣：只有繼續(xù)運(yùn)行才能獲得獎(jiǎng)勵(lì)。雖然這種再三被人提及的威脅還很遙遠(yuǎn)，但研究人員已經(jīng)開始著手解決。

海德菲爾德-門內(nèi)爾和伯克利的其他研究人員最近發(fā)表了一篇論文，通過數(shù)學(xué)方法來解決這個(gè)問題。他們證明，如果讓機(jī)器無法確定自己的回報(bào)函數(shù)，它可能會(huì)希望保留自己的關(guān)閉開關(guān)。這就使之有動(dòng)力接受甚至主動(dòng)尋求人類的監(jiān)督。

其中的很多工作仍處在理論層面。但由于人工智能技術(shù)發(fā)展迅速，而且在許多行業(yè)的重要性與日俱增，所以研究人員認(rèn)為，盡早開始是最佳策略。

“人工智能的發(fā)展究竟能有多快還存在很大不確定性?！盌eepMind人工智能安全負(fù)責(zé)人謝恩·萊格（Shane Legg）說，“負(fù)責(zé)任的辦法是努力理解這些技術(shù)可能被濫用的不同方式，可能失效的不同方式，以及可以通過哪些不同方式來應(yīng)對(duì)這些問題?！?

（編輯：映雪）