荷里活大片《未來戰士》（The Terminator，又譯終結者/魔鬼終結者）描述了一個由機械人掌控的未來世界，它們試圖消滅人類、掌控一切。在現實世界中，關於人工智能（Artificial Intelligence, AI）是否會「顛覆」人類統治的討論也從未停止。
今年3月，南韓棋手李世石在舉世矚目的「人機圍棋對弈」中負於 Google 旗下 Deepmind 公司開發的人工智能程式 AlphaGo 後，人類對目前人工智能發展的程度開始感到擔憂。Deepmind 近日也同英國牛津大學人類未來研究所（Future of Humanity Institute）的科學家聯合發表一篇題為 Safely Interruptible Agents 的論文，提出一種算法框架，使得被人工智能控制的機械人等設備在傷害人類或環境時，可以被關機——他們將其稱為「紅色按鈕」。這篇論文還詳細介紹了確保人工智能不會自主學會如何抵制人類採取的中斷措施。
我們很有必要給人工智能加上一個『紅色按鈕』，以阻止其傷害其他人類和環境……但人工智能也可能學會如何防止自己被人類關機，比如讓『紅色按鈕』失效等。這篇論文提供了一種如何讓人工智能無法學會這一招的可行方法。
去年7月，全球人工智能領域的1000多名專家曾聯名發出公開信呼籲，在世界範圍內禁止「殺手機器人」。著名物理學家霍金（Stephen Hawking）、特斯拉汽車 CEO 馬斯克（Elon Musk）以及蘋果公司聯合創始人沃茲尼亞克（Steve Wozniak）都參與了連署。
這封公開信稱，利用人工智能技術研發的自動攻擊武器能夠獨立識別並攻擊目標，而且很可能在數年內面世。專家們認為，如果任何軍事大國推動人工智能武器研發，全球軍備競賽無可避免；此外，這類武器並不昂貴，遲早會流入黑市並落入恐怖分子或獨裁者手中，造成不可挽回的後果。
這些擔憂並非危言聳聽，除了在圍棋上已經擊敗人類頂級棋手外，當今的人工智能已經可以像人類一樣寫字、模仿藝術大師畫畫、為政客撰寫演講稿、 準確地預測人類行為、為人類的幽默感打分等，在日本甚至誕生了全球第一個由人工智能擔任的創意總監，而中國的人工智能則將參加高考。而 Google 去年將其人工智能算法開源後，更將加速這一領域的發展。
至少就目前而言，人類對人工智能的興趣還遠遠大於對它的擔憂。6月4日，國際圍棋聯盟事務總長楊俊安透露，現世界圍棋等級分排名第一的18歲中國棋手柯潔，將在今年和 AlphaGo 進行「終極版人機對弈」，但具體時間和比賽地點待定。
根據全球圍棋棋手評分系統 GoRatings 的排名，截至6月5日，柯潔以總分3625排在第一，AlphaGo 則以3605分緊隨其後，這場對決將成為圍棋界名副其實的「華山論劍」。
聲音
自動攻擊武器是暗殺、破壞國家穩定、控制人口以及有選擇性地殺害某個民族等的理想工具。因此我們認為，人工智能軍備競賽不會對人類有益。人工智能可以在不製造新的殺人武器的情況下，通過多種方式讓戰場變得對人類更安全，特別是對平民而言。
就算阿法狗（AlphaGo）戰勝了李世石，但它贏不了我。
