0%
第一部分 科技顛覆 第三章 自由:數據霸權與社會公平

第一部分 科技顛覆

第三章 自由:數據霸權與社會公平

還有其他許許多多情況,都是人類的情緒戰勝了哲學理論。因此,如果要講全世界的倫理和哲學史,會是個理想很美好但現實很殘酷的沮喪故事。畢竟,有多少基督徒真能把臉轉過去,有多少佛教徒真能超脫利己的執念,又有多少猶太人真能愛鄰如己?我們所表現出的,不過就是自然選擇把智人塑造成的樣子。一如所有的哺乳動物,智人也是靠著情緒來快速做出各種關乎生死的決定。從幾百萬個祖先那裡,我們繼承了他們的憤怒、恐懼和慾望,而這些祖先每一個都通過了最嚴格的自然選擇質量管控測試。
在最高的權力階層可能還會有幾個人類,這讓我們有個錯覺,以為演算法只是顧問,最終的權威還是掌握在人類手中。我們不會任命某個人工智慧來擔任德國總理或谷歌的首席執行官,但那位總理和首席執行官的決策會由人工智慧制定。總理手中會有幾個不同的選項,但所有選項都會是大數據分析的結果,反映的也是人工智慧看世界的方式,而非人類看世界的方式。
此類問題當然和民用的自動駕駛汽車關係不那麼大,畢竟沒有任何汽車製造商會蓄意設計車輛去撞死人。然而,由於太多政權道德有缺失,甚至根本就是圖謀不軌,自主武器系統帶來災難也只是時間的問題。
例如抽煙這件事。現在只是有個整體的統計數據,告訴你抽煙和肺癌有關,你要繼續抽是你自己的選擇。但以後可能會有個生物感測器明確警告你:剛剛在您的左上肺檢測到17個癌細胞。這時候你要繼續抽煙,情況就完全不同了。如果你不理會感測器的警告,感測器就把警告轉發給你的保險公司、你的領導和你的母親,你該怎麼辦?
2017年10月曾有一起悲哀而荒謬的事件,一名巴勒斯坦工人在自己的臉譜網賬號發了一張在工地的自|拍照,就站在一台推土機前面。在照片旁邊,他用阿拉伯文寫了——「早安!」但演算法自動翻譯這些阿拉伯文字的時候出了錯,把意為「早安」的「Ysabechhum」誤判成「Ydbachhum」,意思就成了「殺光他們」。以色列安全部隊懷疑這名男子是恐怖分子,打算用推土機衝撞碾壓人群,於是立刻將他逮捕。直到他們發現是演算法出錯,這名男子才得到釋放。然而,那則叫人緊張的臉譜網發文還是被刪除了,畢竟小心駛得萬年船啊。巴勒斯坦人今天在西岸的狀況大概只是個簡單預告,未來或許全球幾十億人終將出現同樣的局面。
科幻小說常把智能與意識混為一談,並認為如果要有與人類相當甚至更高的智能,計算機就必鬚髮展出意識。幾乎所有關於人工智慧的電影和小說,基本情節都圍繞著計算機或機器人產生意識的那個神奇時刻。而一旦它們有了意識,不是人類主角愛上機器人,就是機器人打算殺光所有人類,或者二者兼而有之。
這裏的危險在於,如果我們太注重發展人工智慧而又太不注意發展人類的意識,那麼計算機有了極先進的人工智慧之後,可能只會增強人類的「自然愚蠢」。在未來幾十年內,我們不太可能碰到機器人叛亂的問題,但機器人可能會比你的父母更知道怎樣可以觸動你的情緒,並且會運用這種神奇的能力來對你進行推銷,讓你想買某輛車、想把選票投給某個人,或是想接受某種意識形態。這些機器人能夠找出我們最深層的恐懼、仇恨和渴望,再用它們來對付我們。從最近全球的選舉和公投就可以預見未來:黑客通過分析選民數據,運用選民現有的偏見,就能知道怎樣操縱單個選民。科幻驚悚片常常上演的是烈火濃煙、轟轟烈烈的末日景象,但實際上,末日景象可能是在一次又一次的點擊當中悄悄而且平凡地來臨。
如果被歧視的是某個群體(例如婦女或黑人),這些群體能夠組織起來,抗議他們集體遭到歧視。然而,現在演算法歧視的有可能就是你這個人,而你完全不知道原因。有可能是你的DNA、你的過去或者臉譜網賬號上有些什麼,引起了演算法的注意。演算法歧視你,並非因為你是個女性或黑人,而是因為你就是你。就是有些什麼關於你的特質,演算法不喜歡。你不知道究竟是什麼特質,就算你知道,也找不到人和你一起大聲抗議,因為沒有其他人會遇到與你一樣的偏見,只有你。到了21世紀,除了過去的集體歧視之外,我們可能還要面臨日益嚴重的個人歧視問題。
特別值得一提的是,像里根與撒切爾夫人這樣的右翼名人,除了積極提倡經濟自由之外,同時也堅定地擁護個人自由。撒切爾夫人在1987年的一次著名訪談中曾表示:「沒有『社會』這種東西。生活就是由男男女女交織而成……生活質量如何,取決於每個人準備為所有人承擔多少責任。」
這些年輕的神學院學生一心想趕往演講廳,路上想的都是怎樣才能解釋好撒瑪利亞人的道德寓意。然而,實驗人員在路上安排了一個人,穿得破破爛爛地坐在門口,低著頭,閉著眼睛。每個沒起半點兒疑心的學生經過時,這個「受害者」都會咳嗽併發出痛苦的呻|吟聲。但絕大多數學生完全沒有停下腳步來關心一下他,更別說提供任何幫助了。要趕去演講廳所造成的情緒壓力,已經壓過了他們想幫助受難陌生人的道德責任。
然而很快,權威的來源可能再次改變:從人類轉到演算法。在過去,神的權威是靠宗教神話建立的,人的權威是靠自由主義這套故事建立的。至於即將到來的技術革命,則可能建立起大數據演算法的權威,同時完全推翻關於個人自由的信念。
有人可能會提出異議,認為重要的決策通常涉及道德因素,而演算法不懂道德,所以我們永遠不會把重要的決定交給演算法去處理。然而,就算是在道德方面,也沒有理由認為演算法的表現會比一般人差。今天,智能手機和自動駕駛汽車等設備已經接手一些原本專屬於人類的決定,也開始應對一些早已困擾人類幾千年的道德問題。
未來的危險還不止數字獨裁一項。自由主義秩序背後的價值觀除了自由之外,也很重視平等。自由主義一直強調政治上的平等,也慢慢發現經濟上的平等幾乎同樣重要。如果沒有社會安全網的機制與一定的經濟平等,自由就毫無意義。然而,正因為大數據演算法可能會抹去自由,同時也就可能創造出歷史上最不平等的社會,讓所有的財富和權力集中在一小群精英手中。大多數人類的痛苦將不再是受到剝削,而是更糟的局面:再也無足輕重。
正如前一章中提到的,對於人腦和人體運作方式的科學研究顯示,人類的種種感受既不是什麼人類獨有的精神靈性,也不代表什麼「自由意志」。所有的「感受」只是所有哺乳動物及鳥類都擁有的生化機制,用來快速運算生存和繁殖的概率。「感受」的基礎也不是直覺、靈感或自由,而是運算。
1. 意識在某種程度上與有機生化相關,因此只要是非有機體的系統,就不可能創造出意識。
像這樣的「電車難題」(trolley problem),哲學家其實已經討論幾千年了(之所以叫「電車難題」,是因為現代哲學討論時的基本範例是在鐵軌上跑的電車,而不是自動駕駛汽車)。但討論了幾千年,卻對人類實際行為根本沒產生什麼影響;遇到緊急狀況,什麼哲學全都被拋在腦後,一切都由情緒和直覺來處理。
但無論如何,選舉和公投的重點並不在於我們怎麼「想」,而在於我們怎麼「感覺」。講到感覺這件事,愛因斯坦和道金斯也並不比其他人更強。民主的概念認為,人類的感受反映出一種神秘而意義深遠的「自由意志」,而這就是權威的本源;雖然每個人的聰明程度高下有別,但自由程度一律平等。就算是一個不識字的女傭,也和愛因斯坦和道金斯一樣有自由意志,因此到了選舉日的時候,她的感受(表現在她投的選票上)也就與其他任何人一樣重要。
然而,人工智慧很快就會讓鐘擺擺向相反的方向。有了人工智慧,就能集中處理大量的信息,甚至因為機器學習在分析越多信息之後效果越好,所以人工智慧可能會讓集中式系統比分散式系統效率更高。在不考慮任何隱私問題的前提下,在一個資料庫里就擁有10億人的完整信息,絕對會比只有100萬人的部分信息更能訓練出優秀的演算法。舉例來說,如果有某個專制政府要求所有公民進行DNA掃描,再將所有醫療數據提供給中央機構,這時比起那些醫療數據需要嚴格保密的社會,專制政府就能掌握遺傳學和醫學研究的巨大優勢。一心想把信https://read.99csw.com息集中,在20世紀曾是專制政權的主要弱點,但到了21世紀卻可能成為決定性的優勢。
但不幸的是,適合在100萬年前的非洲大草原上生存和繁殖的特點,不見得會讓你在21世紀的高速公路上是個負責的人。每年都有超過100萬人因為司機分心、憤怒或焦慮而死於交通意外。我們當然可以派出所有哲學家、先知和神職人員好好給這些司機上上倫理課,但只要一回到路上,他們又會回到哺乳動物的情緒和草原本能。正因為如此,神學院的學生才無視受苦的路人,司機才會在緊急狀況下撞倒無辜的行人。
在此,人類就像是其他經過馴化的家畜。例如我們培育的奶牛,性情溫順,乳量驚人,但在其他方面遠遠不及其野生祖先,沒那麼靈活,沒那麼好奇,也沒那麼懂得變通。我們現在也正在培育一種馴化的人類,產生的數據量驚人,而且能夠像海量數據處理裝置中的高效晶元一樣運轉,然而這些「數據牛」絕對稱不上是發揮了人類的最大潛能。事實上,因為我們還太不了解人類的心智,根本無從得知人類的最大潛能是什麼模樣。然而,我們幾乎沒有投入什麼心力來探索人類的心智,只一心想著提升網路連接的速度及大數據演算法的效率。如果再不注意,最後的局面就會是退化的人類濫用進化的計算機,傷害自己,也傷害世界。
然而,雖然自由主義在「種種感受反映出人類的自由意志」這一點上犯了個錯,但直到今天,依靠情感來做決定仍然有很好的實際意義。因為,雖然各種感受並沒有什麼神奇或自由的地方,但講到該學什麼專業、該跟誰結婚、該把票投給誰,「靠感受」仍然是最好的辦法。而且,也沒有什麼外部系統能夠比我們自己更了解自己的感受。就算中世紀的西班牙宗教法庭或蘇聯的秘密警察每分每秒都在監控我的一舉一動,他們還是少了必要的生物知識及運算能力,他們無法攻進我的身體,也無法了解種種生化程序是如何塑造我的慾望和選擇的。所以實際上,大可直接說人有自由意志,因為人的意志主要是由內在力量的相互作用形成的,這是任何人都看不到的。於是,我可以騙自己說我掌控了自己神秘的內在領域,外界永遠無法真正理解我內心正在發生的事以及我如何做出決定。
冷酷狠心的獨裁者有了這樣的機器人殺手,不管下了多無情、多瘋狂的命令,都不用擔心士兵起而反抗。如果有了機器人軍隊,1789年的法國大革命可能還沒開始就遭到扼殺;如果2011年埃及總統穆巴拉克手中有一群機器人殺手,用來對付民眾的時候就不用擔心它們倒戈相向。同樣,有了機器人軍隊的帝國主義政府也可以發動各種沒有民意支持的戰爭,而不用擔心機器人無心作戰或機器人的家人會站出來抗議。要是美國在越戰時有機器人殺手,雖然可能不會發生美萊村大屠殺,但越戰本身卻可能要再拖上更多年,因為美國政府不用再煩惱士兵士氣低落、國內出現大規模反戰遊行,或者「退役機器人反對戰爭」活動。(雖然部分美國公民仍然可能反對戰爭,但既然不用擔心自己被徵召,自己沒有犯下暴行的記憶,也無須承受失去親人的痛苦,反戰遊行的人數大概會銳減,反戰決心也不會那麼堅定。)
這套邏輯不僅適用於駕駛,也適用於其他許多情況,比如申請工作。在21世紀,已經有越來越多的時候是由演算法決定是否聘用某人。當然,我們不能讓機器來制定相關倫理標準,這件事還是得由人類自己來完成。但只要確立了職場的倫理標準(比如不得歧視黑人或女性),接下來就可以用機器來實施和維護這項標準了。
就算在今日,只要巴勒斯坦人一打電話、發了臉譜網文章或前往另一個城市,就很可能已經被以色列的麥克風、照相機、無人機或間諜軟體監控。由此收集到的數據會再用大數據演算法進行分析,使得以色列安全部隊無須真正動用太多人力,就能找出並消滅潛在威脅。巴勒斯坦人看起來好像佔有約旦河西岸的一些城鎮和村莊,但其實以色列人控制著那裡的天空、電波和網路空間。所以雖然西岸巴勒斯坦人口有大約250萬,但只要用少得驚人的以色列士兵,就可以有效控制那裡。
想避免這種結果,每投入一美元、一分鐘來提升人工智慧,就應該同樣投入一美元、一分鐘來提升人類意識。但很遺憾,目前對於人類意識的研究和開發並不多。我們對於人類能力的研發,主要都是為了滿足目前經濟和政治體制的迫切需求,而不是為了讓人類在很久之後仍然是一種保有意識的生物。上司希望我回複電子郵件越快越好,但他對於我品嘗和欣賞食物的能力毫無興趣。結果就是我連吃飯的時候都在收電子郵件,也就慢慢失去了重視自己感官感受的能力。整個經濟體系逼著我要擴大投資組合、讓投資更多元,但完全沒讓我有動機去擴大同理心,讓我的同理心更多元。於是,我投入大量心力想了解證券交易的種種奧秘,但幾乎不花什麼心思來了解痛苦背後有什麼深層成因。
事實上,我們最後可能會得到連奧威爾都難以想象的結果:完全的監控政權,不但追蹤所有人的一切行為和話語,甚至還能進入我們體內,掌握我們內心的感受。舉例來說,如果某國領導人拿到這項新技術,想想看他會怎麼運用?在未來,可能該國所有公民都會被要求佩戴生物統計手環,不僅監控他們的一言一行,還掌握他們的血壓和大腦活動。而且,隨著科學越來越了解大腦,並運用機器學習的龐大力量,該國政權可能會有史以來第一次真正知道每個公民在每個時刻想些什麼。如果你看到一張該國領導人的照片,而生物感測器發現你出現憤怒的跡象(血壓升高、杏仁核活動增加),大概明早你就會被抓進監獄。
每年都有幾百萬名年輕人要決定大學讀什麼專業。這是個既重要又困難的決定。父母、朋友和師長各有想法,讓你深感壓力,而且,你還有自己背負的恐懼和想象。你的判斷力受到各種好萊塢大片、垃圾小說和高明的廣告活動的籠罩和操縱。要做個明智的抉擇真的很難,尤其是你根本不知道想在不同的行業出人頭地,到底需要什麼條件。而且,你真的清楚自己的長處和短處嗎?優秀的律師要具備什麼條件?我能面對壓力嗎?我有團隊合作精神嗎?
有人可能會提出反駁,認為當時問的是「你怎麼想」,而不是「你怎麼感覺」。這是一種常見的誤解。所有的公投和選舉,訴諸的永遠是人類的「感覺」,而不是人類的理性。如果民主談的就是理性決策,那麼哪還有理由讓人人都享有平等的投票權?甚至還投什麼票呢?早就有充分的證據顯示,就是有一些人比別人學識更淵博、更具理性,特別是講到特定的經濟和政治問題時更是如此。英國脫歐投票之後,著名生物學家理查德·道金斯(Richard Dawkins)就提出抗議,認為絕大多數英國民眾(包括他自己)其實都缺乏必要的經濟和政治科學背景,根本不該要求他們投下這張公投票。「這豈不就像是要用全國公投決定愛因斯坦的代數算得對不對,又或是讓乘客表決飛機駕駛員該在哪條跑道降落?」九-九-藏-書
就算你真的掉頭離開,繼續躲著自己、躲著同學,你也躲不過亞馬遜、阿里巴巴或秘密警察。每當你瀏覽網站、看YouTube視頻、閱讀社交媒體的動態,演算法都會偷偷監控你、分析你,再告訴可口可樂公司,如果要賣給你碳酸飲料,該用的廣告模特兒是擁有8塊腹肌的猛|男,而不是身材火辣的美女。你對這些完全一無所知,但它們對這一切卻了如指掌,而且這些信息可以賣幾十億美元。
1995年7月,前波斯尼亞的塞爾維亞族部隊在斯雷布雷尼察鎮周圍屠殺超過8000名信奉伊斯蘭教的波斯尼亞人。美萊村大屠殺屬於無計劃屠殺,斯雷布雷尼察屠殺則歷時持久,組織嚴密,反映出塞軍的政策是對波斯尼亞境內的穆斯林進行種族清洗。如果塞軍在1995年便擁有機器人殺手,整場暴行只會更糟,因為任何機器人都只會毫不猶豫地執行接到的命令,也絕不會因為同情、對自己的行為感到厭惡,或者單純因為過於疲累,就饒過哪個兒童穆斯林的性命。
感受所影響的不只是選民,還包括領導者。在2016年的英國脫歐公投中,脫歐派由鮑里斯·約翰遜(Boris Johnson)和邁克爾·戈夫(Michael Gove)領頭。卡梅倫辭職后,戈夫原本支持約翰遜擔任首相,卻在最後一分鐘反悔,宣稱約翰遜並不適任,自己將出馬競選。戈夫打亂了約翰遜的一盤棋,有人認為這是不擇手段的政治暗殺。但戈夫的辯詞是訴諸自己的感受,他解釋道:「在我的政治生涯里,每走一步我都自問:『什麼是我該做的?我的心怎麼說?』」根據戈夫的說法,他就是因此才鉚足勁兒推動英國脫歐,也因此不得不在背後捅自己過去的盟友約翰遜一刀,由自己競逐龍頭寶座。一切都是因為:他的心是這麼說的。
這樣一來,人類將能夠享有歷史上最佳的醫療保健服務。但也正因為如此,人類大概永遠無法擺脫生病這件事。畢竟,身體總會有什麼地方不在最佳狀態,也總有什麼地方是能夠改進的。在過去,只要不覺得痛或沒有出現像跛腳之類的明顯失能,人們就會覺得自己是健康的。但到了2050年,有了生物感測器和大數據演算法之後,可能早在疾病造成疼痛或失能之前,就能得到診斷並開始治療。這樣一來,你會發現自己老得面對一個又一個「病症」,得遵守這個或那個演算法建議。不想聽演算法的?那麼醫療保險就有可能被取消,或者會被公司解僱。畢竟,為什麼他們要為你的固執己見付出代價呢?
但實際上,並沒有理由相信人工智慧會獲得意識,因為智能和意識是天差地別的兩種概念。智能是解決問題的能力,意識則是能夠感受痛苦、喜悅、愛和憤怒等事物的能力。我們之所以會兩者不分,是因為對人類和其他哺乳動物來說,智能與意識會攜手同行。哺乳動物處理大多數問題時靠的是「感覺」,但計算機會用完全不同的方式來解決問題。
猴子、老鼠或人類看到蛇的時候會感受到恐懼,是因為大腦里的幾百萬個神經元迅速計算了相關數據,並得出「死亡的可能性很高」這個結論。而根據另一套生化演算法的計算,如果發現有很大的可能性和附近的某個個體成功交配、建立社交連接或達成其他令人渴望的目標,性吸引力的感受就會上升。至於憤怒、內疚或寬恕之類的道德感受,則是源於與團體合作相關的神經機制。所有這些生化演算法都經歷了數百萬年的進化打磨。如果某個古代祖先的感受犯了某個錯誤,塑造這些感受的基因就不會再傳給下一代。因此,感受並非與理性背道而馳,而是體現了進化上的理性。

人工智慧和自然愚蠢

我們並不會回歸到希特勒的時代。數字獨裁和納粹德國之間的差異,可能就像納粹德國與法國舊制度的差異一樣巨大。路易十四也是個集權的獨裁者,但當時並沒有足以建立現代極權主義國家的科技。雖然他的統治並未受到抵抗,但當時既沒有收音機,也沒有電話和火車,他也就很難掌控布列塔尼某個偏遠鄉村的農民甚至巴黎市中心市民的日常生活。當時不論在意願還是能力上,他都不可能建立群眾政黨、全國青年運動組織或國家教育體系。是因為20世紀出現了新科技,才讓希特勒有了做這些事的動機和能力。我們無法預測2084年的數字獨裁政權會有怎樣的動機和能力,但要說他們想成為另一個希特勒,是不太可能的。如果有人打算用20世紀30年代的方式來重新打這場仗,有可能會遇到完全出乎意料的攻擊,令他們措手不及。
一旦人工智慧比我們自己更清楚該選擇哪個職業,甚至怎樣處理人際關係,我們對人性和生命的概念將不得不改變。人類習慣把生命看成一場由一連串的抉擇構成的大戲。在自由民主主義和自由市場資本主義眼中,每個個體都是自主的行動者,不斷對世界做出各種選擇。眾多文藝作品(無論是莎士比亞的戲劇、簡·奧斯丁的小說,還是濫俗的好萊塢喜劇),通常講的都是某個英雄做了什麼特別重要的決定。哈姆雷特問:生存還是毀滅?麥克白問:是聽從妻子的話刺殺鄧肯國王,還是聽從自己的良心放過他?《傲慢與偏見》中的伊麗莎白則問:是嫁給柯林斯先生,還是達西先生?基督教和伊斯蘭教同樣重視這場決策大戲,認為究竟是得到永恆的救贖還是永世的詛咒,取決於能否做出正確的選擇。
1968年3月16日,一群美國士兵在越南南部的美萊村的行動變調,他們陷入瘋狂,屠殺了大約400名平民。這起戰爭罪行的起源,是當時士兵已經打了好幾個月的叢林游擊戰,他們自行在當地做了這個決定。這個行動沒有任何戰略目的,同時違犯了美國的法律規定與軍事政策。這是一場出於人類情緒影響的錯誤。如果美國當時在越南派的是機器人殺手,美萊村大屠殺就絕不可能發生。
或許特斯拉只要把燙手山芋丟給市場就行,直接生產兩款自動駕駛汽車:特斯拉「利他」款和特斯拉「自我」款。遇到緊急狀況的時候,「利他」款會為了整體利益而犧牲主人;「自我」款則會不顧一切保護主人,撞死兩個小孩也在所不惜。至於消費者,則可以根據自己偏好的哲學觀來選車。這樣一來,如果多數人買了特斯拉「自我」款,你也不能怪特斯拉。畢竟,顧客永遠是對的。
然而,計算機演算法並不是由自然選擇塑造而成,而且既沒情緒也無直覺。所以到了危急的瞬間,它們繼續遵守倫理道德的能力就比人類高出許多:只要我們想辦法把倫理道德用精確的數字和統計編寫成程序就行。如果我們教康德、穆勒和羅爾斯怎麼寫程序,他們就能在舒舒服服的研究室里為自動駕駛汽車寫出程序,也肯定能讓每輛自動駕駛汽車在路上都遵守所有倫理規範。這就像讓舒馬赫和康德合二為一,擔任每輛車的駕駛員一樣。
隨著權威從人類轉向演算法,世界可能不再是一個自主的、人們努力做出正確選擇的劇場。相反,我們可能會認為整個宇宙就是一個數據流,每個有機體不過是一套生化演算法。至於人類在這個宇宙中的任務,則是打造一套無所不包的數據處理系統,然後與系統融為一體。其實,我們現在就已經像一個又一個小小的晶元,裝在一個大到沒有人真正理解的數據處理系統之中。以我本人為例,我每天都要通過電子郵件、推文和各種文章吸收無數的數據,處理這些數據之後,又要通過更多的電子郵件、推文和九九藏書文章,傳回新的資料。我真的不知道這世界上一切的背後有什麼宏觀的架構,我所產出的數據將如何與其他幾十億人或計算機產生的數據連接。很遺憾,我沒有時間找出答案,光是回信就已經讓我焦頭爛額。
這樣一來,只要程序里規定自動駕駛汽車必須停車幫助遭遇危難的陌生人,即便是赴湯蹈火,它都將在所不辭。(當然,如果你針對這些湯湯火火另加個例外條款,情況就不一樣了。)同樣,如果自動駕駛汽車的程序原本就寫著要轉進逆向車道救那兩個小孩,你絕對可以用生命打賭,它一定會這樣做。也就是說,設計自動駕駛汽車的時候,豐田或特斯拉就是把過去道德哲學上的理論問題轉化成了實際的工程問題。
一個好消息是,至少在未來幾十年裡,我們不用擔心科幻小說里那種人工智慧產生意識、殺光或奴役人類的噩夢。我們會越來越依賴演算法為我們做決定,但演算法並不太可能開始有意識地操縱人類。事實上,它們不會有任何意識。
很多人之所以害怕人工智慧,是因為他們不相信人工智慧會一直聽話順從。已經有太多描寫機器人反抗人類主人,在大街上四處亂竄、恣意屠殺的科幻小說和電影。然而,機器人可能帶來的問題其實恰恰相反。我們是該害怕機器人,但原因是它們永遠只會服從主人,絕不反抗。
這可不是開玩笑。在2015年一項開先河的研究中,研究人員請參与者假想自動駕駛汽車即將撞到幾個路人的情景。大多數參与者都認為,就算可能會犧牲車主,自動駕駛汽車還是應該保全那幾個路人的生命。只是,等到再問他們會不會買一部設定為「犧牲車主、顧全整體利益」的車時,大多數人都說「不」。如果涉及自身,他們還是比較喜歡特斯拉「自我」款。
提高智能的路其實有好幾條,其中只有一條需要靠意識。就像飛機不用發展出羽毛,但飛行速度卻比鳥更快,計算機也不用發展出哺乳動物所需要的感受,就能比哺乳動物更會解決問題。確實,人工智慧必須準確分析人類的感受,才能好好替人類治病、找出人類的恐怖分子、為人類推薦另一半、在滿是行人的街道上行車,但是這一切並不需要它自己有任何感覺。演算法只需要學會辨別猿類在快樂、憤怒或恐懼下的生化模式,而不需要它自己感受到快樂、憤怒或恐懼。
1970年12月,有一場社科史上相當令人不悅的實驗,那是在普林斯頓神學院,實驗對象是一群受訓要成為長老教會牧師的學生。當時,實驗人員叫所有學生立刻趕往遠處的一個演講廳,就「好撒瑪利亞人」(Good Samaritan)這個寓言發表演說。這個寓言講的是有個猶太人要從耶路撒冷前往耶利哥,但遭到強盜搶劫和毆打,被丟在路邊等死。過了一會兒,有一個祭司和一個利未人經過並看到了他,但兩人都未停下腳步。後來有一個撒瑪利亞人(猶太教相當鄙視這個教派)路過,立刻停下來照顧他,救了他的命。這個寓言告訴我們,人是好是壞,應該由實際行為來判斷,而不是由所屬宗教來判斷。
這種對「心」的依賴,可能就是自由民主的致命弱點。一旦有人研發出相關技術,能夠攻入並操縱人心,民主政治便將成為一場情感豐沛的木偶戲。
就自由主義看來,人類的自由是最重要的價值,所有權力都來自個人的自由意志,表現在每個人的各種感受、慾望和選擇之中。在政治上,自由主義相信「選民能做出最好的選擇」,所以它贊成民主選舉。在經濟上,自由主義相信「顧客永遠是對的」,所以它擁抱自由市場的原則。而在個人方面,自由主義鼓勵每個人「聆聽內心的聲音,隨心所欲」,只要不侵犯別人的自由就行。於是,人權便將這種個人自由的概念奉若神明。
自由主義相信感受,相信自由選擇,但這些概念其實並不自然,也稱不上久遠。過去曾有幾千年的時間,人類相信權威來自神祇,而非來自內心,該推崇的是神的話語,而不是人的自由。到最近幾個世紀,權威的來源才從天上的神變成有血有肉的人。

汽車也懂哲學

撒切爾夫人的保守黨後輩的想法也和工黨完全一致,認為政治上的權威來自每個選民的情感、選擇與自由意志。因此,英國要決定是否脫離歐盟的時候,首相卡梅倫並不是去徵詢英國女王、坎特伯雷大主教、牛津大學或劍橋大學的意見,也不是去詢問議會議員,而是直接舉行全民公投,問所有的英國人:「你感覺該怎麼做?」
我們現在正處於兩次巨大革命的交匯中。一方面,生物學家正在揭開人體(特別是大腦和人類感受)的種種奧秘;另一方面,計算機科學家也讓我們獲得前所未有的數據處理能力。生物技術革命與信息技術革命融合之後,大數據演算法有可能比我更能監測和理解我的感受,而掌控一切的權威也可能從人類手中轉移到計算機手中。如果我每天遇到的各種機構、企業和政府都能了解甚至操縱過去我以為沒有外人可進入的內心世界,我大概也就不會再以為自己有自由意志這種東西。
從神學院到真實生活之間的分離,正是倫理學最大的實際問題之一。康德、約翰·穆勒(John Stuart Mill)和約翰·羅爾斯(John Rawls)當然能夠舒舒服服地坐在大學講堂里,花上好幾天大談倫理道德的理論問題;但在司機發現危急的瞬間,急都急壞了,哪還有時間管這些人有什麼結論。或許對於邁克爾·舒馬赫(Michael Schumacher,現代最偉大的一級方程式賽車車手之一)來說,還真能邊賽車邊思考哲學問題,但我們大多數人都不是舒馬赫。
誰都可以列出演算法面臨的許許多多問題,並由此得出結論:人類永遠不會信任演算法。這有點兒像列出民主的所有弊端,然後得出結論:任何一個有理智的人都不會支持這種制度。丘吉爾曾有一句名言,說除了其他所有制度之外,民主是全世界最糟糕的政治制度。不論是對是錯,人類都可能對大數據演算法得到相同的結論:雖然演算法漏洞百出,但我們並沒有更好的選擇。

「決策」這齣戲

2012年3月,三名在澳大利亞旅遊的日本遊客決定到一個小島上一日游,結果卻把車一頭開進了太平洋。21歲的司機野田後來說,她只是按照GPS(全球定位系統)的指示開車,「GPS說我們可以開過去,它一直說會把我們帶到一條路上。然後我們就開進了海里」。還有很多類似的例子,有人衝進湖裡,有人栽到橋下,顯然都是開車的時候太聽GPS的話。找路的能力就像肌肉,用進廢退。選擇伴侶或選擇從事哪個職業的能力,也是如此。
隨著科學家越來越了解人類的決策機制,對演算法的依賴可能也會越來越強烈。掌握人類的決策機制之後,就能提升大數據演算法的可靠性,但同時也降低了人類感受的可靠性。而當政府和企業都能夠成功進入我們這套人體操作系統時,人類就將面臨鋪天蓋地的種種精準操縱、廣告和宣傳。到時候,要操縱我們的觀點和情緒將非常簡單,於是我們也不得不依賴演算法來反制,就像飛行員一旦因為眩暈而產生空間迷向,就不能再相信自己的感官,而必須全然相信儀器。
我們已經看到,人工智慧興起之後,可能會把大多數人類擠出就業市場,比如司機和交通警察(沒了魯莽的人類駕駛員,只剩下乖乖開車的演算法,交通警察也就無用武之地了)。然而,對哲學家來說可能會出現一些新的工作機會,他們的專業技能在過去沒什麼市場價值,但未來可能會突然變得相當吃香。所以,如果想讀個未來能找到好工作的專業,或許可以考慮一下哲學領域。
醫學領域已經如此。我們生命中最重要的醫療決定,並不是取決於我們自己是否覺得健康,甚至也不是看醫生做出什麼判斷,而是要看比我們更了解我們身體的計算機得出怎樣的運算結果。再過幾十年,大數據演算法就能通過持續的生物統計數據流,24小時監測我們的健康狀況。早在我們出現任何感覺之前,演算法就能監測到流感病毒、癌細胞或阿爾茨海默病的蠢蠢欲動,接著就能針對每個人的體質、DNA(脫氧核糖核酸)和性格,量身推薦適合的治療方案、飲食和養生之道。
演算法能做的遠遠不止這些。工程師正在研發軟體,希望能通過人類眼部及臉部肌肉的動作來監測情緒。這樣一來,只要在電視機上再裝一個足夠好的攝像頭,這種軟體就能知道哪些場景讓我們發笑,哪些場景使我們哀傷,又有哪些場景令我們感到無聊。再進一步的做法,如果演算法能夠與生物感測器連接,演算法就能知道每個畫面如何影響我們的心跳、血壓和大腦活動。假設我們看著昆汀·塔倫蒂諾(Quentin Tarantino)的《低俗小說》(Pulp Fiction),演算法可能會發現,那個強|奸場景讓我們起了一點兒難以察覺的性興奮;文森特不小心一槍爆了馬文的頭,我們知道不該笑,但都笑了;還有那個關於大魔法師漢堡(Big Kahuna Burger)的笑話,其實我們看不懂,但都趕快跟著笑,以免被別人發現。人在假笑的時候,運用的大腦迴路和肌肉其實和真心大笑不同,雖然人類通常察覺不到,但這個細節生物感測器可不會放過。九九藏書
會造成危險的不只是機器人殺手,監控系統同樣有風險。在好政府的手中,強大的監控演算法可以是人類歷史上發生過的最大的好事。然而,同樣一套大數據演算法也可能養出未來的「老大哥」,最後出現奧威爾筆下的那種監控政權,所有人無時無刻不遭到監控。
英文單詞「television」(電視)的語源,分別來自希臘文的tele(遠),以及拉丁文的visio(視界),原本是要讓我們可以看到遠方的事物,但很快就可能是讓別人從遠方看見我們。正如喬治·奧威爾(George Orwell)在《一九八四》中的想象,我們看著電視的時候,電視也正看著我們。等到我們把整部《低俗小說》看完之後,可能早就忘了大半情節。然而,網飛(Netflix)、亞馬遜或任何擁有這套電視演算法的人,將會知道我們的性格類型,也知道怎樣能觸動我們的情緒。有了這些數據,網飛和亞馬遜除了能幫我們挑片挑得精準無比,更能夠為我們做出人生中最重要的決定,比如該讀什麼專業、在哪裡工作、和誰結婚。
因此,自由主義要人們追隨自己的內心,而不是聽什麼祭司或政客說的話,其實也沒錯。然而,計算機演算法很快就能給你比「人類的感受」更好的建議。隨著西班牙宗教法庭和蘇聯的秘密警察讓位給谷歌和百度,「自由意志」大概就會被拆穿,自由主義的實用價值也隨之降低。
當然,人工智慧並不是絕對不可能發展出感受。我們目前對意識的了解還不足以完全下定論,大致而言,需要考慮三種可能:
就目前人類具有的知識來看,這些可能都無法排除。然而,正因為我們對意識所知太少,短時間內似乎並不可能設計出有意識的計算機。因此,雖然人工智慧具有巨大的力量,但在可預見的未來,人工智慧的運用在一定程度上還是以人類的意識為準。
當然,盲目聽從沒有什麼問題,但前提是主人得是個好人。在戰場上,如果交戰雙方全用殺手機器人上場,就能確保這是歷史上第一次真正遵守戰爭法的戰役。人類士兵可能一時受到情緒影響,就犯下謀殺、強盜、強|奸等違犯戰爭法的罪行。講到情緒,我們通常想到的是愛心、同情心和同理心,但在戰場上,控制著人的情緒的往往是殘酷、仇恨和恐懼。由於機器人沒有情緒,就能放心地相信它們會一字一句遵守所有軍事規章,永遠不受個人恐懼和仇恨的影響。
某位人事經理可能心知肚明歧視黑人和女性有違倫理道德,但遇到某個黑人女性來申請工作時,還是下意識產生了歧視而不予錄用。如果讓計算機來評估求職者,並在編寫程序之初就設定要完全忽略種族和性別因素,計算機一定會乖乖跳過這些因素,因為它並沒有潛意識可言。當然,要寫這種求職者評估程序並不容易,而且存在一種危險:工程師可能會不經意間把自己的潛在偏見寫進軟體里。不過發現這種錯誤后要清除也並非難事,至少比清除人類種族歧視和偏見的難度要低得多。
當然,哲學家對於什麼是「對的行為」很少有共識。「電車難題」之類問題的答案,很少能讓所有哲學家都滿意,例如穆勒這樣的結果論者(consequentialist,以結果判斷行為),他的想法一定會不同於康德這樣的義務論者(deontologist,以絕對的規則來判斷行為)。特斯拉不過是要做一輛車,真的要在這種棘手的問題上選擇一方嗎?
讓我們舉個類似的例子:今天世界各地的政治家似乎可以在各種不同的經濟政策之間做選擇,政治家有種以為自己可以選的錯覺,但真正重要的決定早就由經濟學家、金融專家和商人在提出選項時就做完了。也就是說,是他們為政治家定下了選擇的方向。而再過幾十年,就可能是由人工智慧來提出選項,供政治家進行挑選了。
在某些國家和某些情況下,人們可能完全沒有選擇,只能被迫服從大數據演算法的決定。然而,就算是在理論上自由的社會裡,演算法也可能成為權威,因為經驗讓我們把越來越多的問題交給演算法來處理,最後也就逐漸失去為自己做決定的能力。只要簡單回想一下,短短不到20年,就已經有幾十億人把一件可以說是最重要的任務全然交付給了谷歌搜索演算法:搜索相關、可信賴的信息。我們不再自己去搜索信息,而是都靠「谷歌一下」。而隨著我們越來越依賴谷歌來尋找答案,自己搜索信息的能力就會下降。今日的「真相」,已經是由谷歌搜索排名最靠前的結果來定義。
醫療領域已經發生的事,很可能即將延伸到越來越多的領域。扮演關鍵角色的發明就是生物感測器。在人們將它們穿戴上或植入人體之後,生物感測器就能將各種生物程序轉換成計算機能夠存儲、分析的電子信息。只要有了足夠的生物統計數據及運算能力,外部的數據處理系統就能進入你的身體,得知你所有的慾望、決定和意見。換言之,它們能夠完全知道你是怎樣的人。
舉例來說,假設有兩個小孩追球,忽然衝到一輛自動駕駛汽車的前方。開著這台車的演算法立刻完成運算,得出結論:要避免撞到兩個小孩的唯一方法是轉進逆向車道,但這就可能撞上迎面而來的卡車,而根據運算結果,這樣一來有70%的可能會讓在後座睡得正酣的車主一命歸天。演算法該怎麼做決定?
想象一下這個情境:你買了一輛新車,但啟用之前得先打開設置菜單,勾選一個選項——如果發生事故,你是希望這輛車犧牲你的性命,還是犧牲另一輛車上那家人的性命。你真的想要做這個選擇嗎?想想看,如果真選了其中某個選項,家裡人會不會和你大吵一架?
當然,哲學演算法永遠不會是完美的。錯誤還是會發生,有人會受傷,有人會死亡,更有隨之而來麻煩不已的訴訟。(歷史上第一次,可能會有哲學家因其所提出的理論造成不幸結果而被告上法庭,因為這也是歷史上第一次能夠證明哲學概念與現實生活中的事件有直接因果關係。)然而,如果只是要取代人類駕駛員,演算法並不需要做到完美無缺,只要比人類更好就行了。鑒於人類駕駛員每年造成超過100萬人因車禍死亡,演算法要表現得比人類好並不是什麼太難的事。你會希望旁邊那輛車的駕駛員是誰?是某個喝醉的小鬼,還是舒馬赫和康德的合體?
但同樣,或許這一切將會是完全公開的事,所有人心https://read.99csw.com甘情願地分享自己的信息,以獲得更好的建議,最後直接讓演算法為他們做出決定。一開始只是些簡單的事,比如該看哪部電影。打算和一群朋友一起坐在電視機前,共度一個愉快的晚上嗎?首先就要決定看哪部電影。或許在50年前你別無選擇,但今天有了各種隨選即看的服務,足足有幾千部電影任你挑選。這下要讓大家意見一致就難了,可能有人喜歡科幻驚悚片,有人喜歡浪漫喜劇片,有人又說要看法國藝術片。到頭來妥協的結果,可能就是挑了某部無聊的B級電影,人人都不滿意。

數字獨裁

所以,是不是該由國家介入,規範市場,直接制定一套所有自動駕駛汽車都必須遵守的倫理準則?肯定會有某些立法者興奮不已,畢竟終於有機會寫出真的大家都會乖乖遵守的法律了。但也有某些立法者會深感不安,因為這背後代表的是要負起前所未有甚至是極權主義的責任。畢竟在歷史上,幸好法律的實施必然有其局限性,也就能制衡立法時的種種偏見、錯誤和過度。各種反同性戀、反褻瀆神祇的法律都從未全面實施,實在是非常幸運。而看著政治人物時不時地犯錯,我們是否真的希望有這樣一套制度系統,會把他們的決定徹底貫徹,像重力一樣無所不在?
此時演算法可以派上用場。只要告訴它,你們每個人以前最愛看的是哪幾部電影,演算法就能根據其龐大的統計資料庫,找出最適合你們這群人的完美電影。但遺憾的是,這樣的演算法還太粗糙,容易出錯,特別是大家都知道,自己說喜歡什麼,常常並不能反映出你真正的喜好。常有的事情是,我們聽到很多人說某部影片真是神作,覺得不看不行,結果自己看到一半就睡到不省人事,但事後覺得可不能讓人認為自己是個俗人,所以還是要向大家聲稱這部片子真是太好看了。
隨著演算法變得如此了解我們,某些政權能夠對公民進行絕對的控制,程度甚至超過納粹德國,而且公民可能完全無力抵抗。這種政權不僅能明確掌握你的感受,甚至還能控制你的感受。
當然,由於該國政權與外界相對隔絕,光靠自己可能很難研發出所需科技。但相關科技可能會由科技較先進的國家研發完成,而它可以複製或者購買。某些國家不斷改良其監控工具,許多民主國家(從美國到我的祖國以色列)也在做同樣的事情。以色列有「新創企業之國」的美名,高科技產業部門極度活躍,還有尖端的網路安全產業。但與此同時,以色列與巴勒斯坦處於致命的衝突局面,一旦真的研發出必要的科技,至少有部分領導人、將軍和國民會很樂意立刻在約旦河西岸布下全面的監控系統。
3. 意識與有機生化或高智能並無重要關聯。這樣一來,計算機確實可能發展出意識,但並非絕對。計算機有可能具備極高的智能,但同時仍然完全不具有意識。
但隨著人類越來越依賴人工智慧來做決定,這種對生命的觀點會發生怎樣的改變?現在我們只是信賴由網飛來推薦電影,由谷歌地圖來決定該往左還是該往右。然而,一旦我們開始交由人工智慧來決定要讀什麼專業、在哪裡工作、和誰結婚,人類的生命就不再是一場決策大戲了。民主選舉、自由市場,這些機制將會失去意義,而且大多數宗教和藝術品也是如此。想象一下,安娜·卡列尼娜居然拿出智能手機,問問臉譜網演算法,她是該繼續和卡列寧長相廝守,還是和時髦的伏倫斯基伯爵私奔?又或者你最愛的任何一出莎士比亞戲劇,裏面的角色居然一遇到重要決定就先請教谷歌演算法?哈姆雷特和麥克白的生活大概確實能過得更舒適,但那究竟算是什麼生活?我們有什麼理論模式,能把這種生活說出個道理?
就算民主制度成功適應調整而生存下來,人民也可能遭受到新形態的壓迫和歧視。現在,已經有越來越多的銀行、企業和機構運用演算法來分析數據,做出與我們相關的決定。你向銀行申請貸款的時候,申請單很可能是由演算法處理的,而不是由人類審核的。演算法分析你的大量資料和其他幾百萬人的統計數據,據以決定你是否可靠,該不該給你提供貸款。一般來說,演算法此時會比人類銀行職員表現更佳。但問題在於,如果演算法里藏著某種不公,我們將很難察覺。如果銀行拒絕給你貸款,你問:「為什麼?」銀行會說:「演算法說不行。」但你再問:「為什麼演算法說不行?我哪裡有問題?」銀行會說:「我們也不知道。沒人知道這套演算法背後的道理,總之就是一套先進機器學習的結果。我們相信我們的演算法,所以不會貸款給你。」
大多數人並不太了解自己。我是到了21歲,才終於走出幾年的自我否認,意識到自己是同性戀。而我絕非特例,許多同性戀男性在整個青少年時期都無法肯定自己的性取向。現在想象一下2050年的情況,或許有演算法可以告訴青少年他位於同性戀(或異性戀)光譜的哪個位置(甚至還能告訴他這個位置有多容易受影響而移動)。或許,這個演算法會先顯示出一些性感男女的照片或影片,再追蹤你的眼球移動、血壓和大腦活動,只要短短的5分鐘,就能找出你在金賽量表上的數字。如果早有這種程序,我就不用那麼多年都活得如此受挫了。或許你並不想做這種測試,但有那麼一天,你和一群朋友一起去參加另一個朋友的無聊生日派對,有人提議所有人都來玩玩這個超酷的新演算法。做測試的時候所有人都在圍觀,還會對結果七嘴八舌,你要直接掉頭走人嗎?
在西方的政治論述中,「自由主義者」(liberal)的用法有時候比較狹義且偏頗,特指支持同性婚姻、槍支管制、墮胎等特定議題的人。然而,就算是所謂的保守派,其實也會接受廣義的自由主義世界觀。特別是在美國,共和黨人和民主黨人都該偶爾停戰一下,想想彼此不是都同意人權、自由選舉和司法獨立之類的基本原則嗎?
一個學生之所以去學法律,有可能是因為對自己的能力不夠了解,甚至可能是因為對律師工作有錯誤的想象(律師可不會每天上演慷慨激昂的辯論,一再高喊:「我反對,法官大人!」)。與此同時,她的朋友決定實現童年的夢想,雖然身體條件不佳,也缺乏自律,但還是進了專業芭蕾舞學校。幾年後,這兩個人都非常後悔。但在未來,或許我們就能靠谷歌來為我們做出這些決定。谷歌會告訴我,我上法學院或芭蕾舞學校就是浪費時間,但如果當個心理學家或水電工,將會非常出色(而且非常快樂)。
當然,要求亞馬遜永遠不犯錯,那是不可能的事。不管是因為數據不足、程序錯誤、目標定義不明,還是生命本來就是一團混亂,總之各家演算法一定會時不時犯下各種錯誤。然而,亞馬遜並不需要做到完美,只要能比我們這些人類強就行了。而且這並不難,因為大多數人並不太了解自己,也總是在做人生最重要的決定時犯下可怕的錯誤。比起演算法,人類因為數據不足、程序錯誤(基因或文化上)、目標定義不明、生命一團混亂而犯下錯誤的機會,實在有過之而無不及。
2. 意識與有機生化無關,而與智能有關。這樣一來,計算機就能夠發展出意識,而且如果計算機要跨過某種智能門檻,就必鬚髮展出意識。

聽演算法的就對了

在20世紀後期,民主國家的表現通常優於專制國家,是因為民主國家更善於處理數據。民主制度採用分散式的信息處理,由許多人和機構來做出決定,而專制制度則是把所有信息和權力都集中在一處。鑒於20世紀的科技水平,把太多信息和權力都集中在一個地方並不是有效率的做法。在當時,沒有人能夠及時處理完所有信息,並做出正確決定。這也就成了蘇聯做出的決策水平遠低於美國,蘇聯經濟遠遠落後於美國經濟的部分原因。
誰有足夠的時間和精力去面對所有的大小疾病?我們很可能會幹脆直接告訴健康演算法,大多數時候它覺得該怎麼辦就怎麼辦吧!於是它大概只會定期把近況通知發送到我們的智能手機上,告訴我們「已監測並消滅17個癌細胞」。整天擔心自己生病的焦慮症患者或許真的會去看這些通知,但大多數人大概只會一眼掃過,就像我們現在懶得細看那些煩人的反計算機病毒通知一樣。
人類的身體能力也正在發生這種情況。以找路為例,現在已經有很多人用谷歌來導航。到了十字路口,雖然直覺可能是讓他們左轉,但谷歌地圖說右轉。在過去,他們大概會聽從直覺,結果一左轉就遇上堵車,最後錯過了重要會議。於是,下一次他們決定聽谷歌的,向右轉,並且準時到達目的地。就這樣,他們從經驗中學會了要相信谷歌。一兩年後,他們已經習慣了盲目遵照谷歌地圖的指示,如果智能手機死機,他們將完全手足無措。
我們通常不會意識到各種感受是出於運算,原因在於這些快速的運算遠不在我們的意識閾值範圍內。我們感覺不到大腦里幾百萬個神經元在怎樣運算著生存和繁殖的可能性,於是就有了一種錯誤的想法,以為我們對蛇的恐懼、對伴侶的選擇或對歐盟的看法是出於什麼神秘的「自由意志」。
這種問題也是可以解決的:與其根據我們自己提供的不可靠信息做決定,不如允許演算法在我們看電影的時候收集實時數據。演算法可以直截了當地監控我們看完了哪些電影,又有哪些是中途就放棄了的。就算我們告訴所有人《亂世佳人》(Gone With the Wind)真是史上最棒的電影,但演算法知道我們從來就沒能觀看此片超過半小時,根本沒看過片尾亞特蘭大陷入火海的場景。
但也先別急著研發和部署機器人殺手。我們不能忘記,機器人的表現一定是其內置程序代碼的反映及放大。如果程序代碼規定要有所克制、立意良善,機器人的表現就會遠遠優於一般人類士兵;然而,如果程序代碼規定要冷酷無情、趕盡殺絕,結果就會是一場災難。機器人真正的問題並不在於它們的人工智慧,而是那些人類主人天生的愚蠢和殘酷。