全球科技巨头 Google 不仅在人工智能（Artificial Intelligence，AI）领域发展迅猛，他们同时也专注于这项技术的安全性问题。Google 旗下的研究团队 Google Brain 近日联合斯坦福大学（Stanford University）、加州大学伯克莱分校（UC Berkeley）以及非盈利研究公司 OpenAI 的科学家发表了一篇题为 Concrete Problems in AI Safety 的论文，列举出为保证 AI 机械人安全及可靠，在研发阶段需要考虑的五大问题。
这篇文章以清扫机械人（Cleaning Robot）为例，将这五个问题解释如下：
- 如何避免 AI 在完成目标的时候，不破坏其所在的环境？负面例子：清扫机械人可能会打翻自己前进路上的花瓶，这样它就扫得更快了。
- 如何避免机制被破解，AI 在行为上出现博弈？负面例子：清扫机械人可能会将地上的赃物用其它东西遮挡起来，让自己看不见，这样它就不用清扫了。
- 如何在训练过程中，让 AI 能有效理解指令，避免对用户造成干扰？负面例子：清扫机械人若不能有效理解清扫任务，在遇到每一件物品的时候都要求用户进行判断，用户会受到严重干扰。
- 如何保证 AI 在自主学习时不做出超过安全范围的“探索”，产生负面影响？负面例子：清扫机械人在试验拖地策略时，可能会将湿拖把放到电源插座上。
- 如何让 AI 能够适应工厂测试环境与用户使用环境的不同？负面例子：清扫机器人在工厂测试时学习到的行为方式，包括速度、力度等，在用户的普通房间里可能会造成危险。
我们相信 AI 技术对人类应该是极为有用及有益的。但对任何新技术而言，负责任的做法是，考虑其潜在的挑战以及如何尽可能地处理相应的风险。
这篇论文的作者之一、Google 科学家 Chris Olah 随后发表文章指，尽管 AI 在安全隐患方面的问题已经引起足够多的公众关注，但此前的讨论大都是假设性及推测性的。他认为机器学习（Machine Learning）研究应在这方面引起更多注意，并开始研发实用方法使得 AI 系统更加安全可靠。
今年3月，韩国棋手李世石在举世瞩目的“人机围棋对弈”中负于 Google 旗下 Deepmind 公司开发的 AI 程式 AlphaGo 后，不少人对 AI 的发展程度感到震惊。本月初，Deepmind 与牛津大学的研究人员联合发表论文，提出一种算法框架，希望 AI 机械人在伤害人类或环境时，可以被关机——他们将其称为“红色按钮”。
声音
我们很有必要给人工智能加上一个“红色按钮”，以阻止其伤害其他人类和环境……但人工智能也可能学会如何防止自己被人类关机，比如让“红色按钮”失效等。我们的论文提供了一种如何让人工智能无法学会这一招的可行方法。
计算机的视觉如果比人要更好，为什么还要人去开车？应该让机器开车。现在是医生看 X 光，未来如果让机器看是否会做出更准确的诊断？在开源之后，如果全世界的聪明人都将给 Google 很好的回馈，Google 会有更好的发现，让产品和服务更完美。