全球科技巨頭 Google 不僅在人工智能（Artificial Intelligence，AI）領域發展迅猛，他们同時也專注於這項技術的安全性問題。Google 旗下的研究團隊 Google Brain 近日聯合史丹福大學（Stanford University）、加州大學伯克萊分校（UC Berkeley）以及非盈利研究公司 OpenAI 的科學家發表了一篇題為 Concrete Problems in AI Safety 的論文，列舉出為保證 AI 機械人安全及可靠，在研發階段需要考慮的五大問題。
這篇文章以清掃機械人（Cleaning Robot）為例，將這五個問題解釋如下：
- 如何避免 AI 在完成目標的時候，不破壞其所在的環境？負面例子：清掃機械人可能會打翻自己前進路上的花瓶，這樣它就掃得更快了。
- 如何避免機制被破解，AI 在行為上出現博弈？負面例子：清掃機械人可能會將地上的贓物用其它東西遮擋起來，讓自己看不見，這樣它就不用清掃了。
- 如何在訓練過程中，讓 AI 能有效理解指令，避免對用戶造成干擾？負面例子：清掃機械人若不能有效理解清掃任務，在遇到每一件物品的時候都要求用戶進行判斷，用戶會受到嚴重干擾。
- 如何保證 AI 在自主學習時不做出超過安全範圍的「探索」，產生負面影響？負面例子：清掃機械人在試驗拖地策略時，可能會將濕拖把放到電源插座上。
- 如何讓 AI 能夠適應工廠測試環境與用戶使用環境的不同？負面例子：清掃機器人在工廠測試時學習到的行為方式，包括速度、力度等，在用戶的普通房間裏可能會造成危險。
我們相信 AI 技術對人類應該是極為有用及有益的。但對任何新技術而言，負責任的做法是，考慮其潛在的挑戰以及如何盡可能地處理相應的風險。
這篇論文的作者之一、Google 科學家 Chris Olah 隨後發表文章指，儘管 AI 在安全隱患方面的問題已經引起足夠多的公眾關注，但此前的討論大都是假設性及推測性的。他認為機器學習（Machine Learning）研究應在這方面引起更多注意，並開始研發實用方法使得 AI 系統更加安全可靠。
今年3月，南韓棋手李世石在舉世矚目的「人機圍棋對弈」中負於 Google 旗下 Deepmind 公司開發的 AI 程式 AlphaGo 後，不少人對 AI 的發展程度感到震驚。本月初，Deepmind 與牛津大學的研究人員聯合發表論文，提出一種算法框架，希望 AI 機械人在傷害人類或環境時，可以被關機——他們將其稱為「紅色按鈕」。
聲音
我們很有必要給人工智能加上一個「紅色按鈕」，以阻止其傷害其他人類和環境……但人工智能也可能學會如何防止自己被人類關機，比如讓「紅色按鈕」失效等。我們的論文提供了一種如何讓人工智能無法學會這一招的可行方法。
計算機的視覺如果比人要更好，為什麼還要人去開車？應該讓機器開車。現在是醫生看 X 光，未來如果讓機器看是否會做出更準確的診斷？在開源之後，如果全世界的聰明人都將給 Google 很好的回饋，Google 會有更好的發現，讓產品和服務更完美。