好莱坞大片《终结者》（The Terminator）描述了一个由机械人掌控的未来世界，它们试图消灭人类、掌控一切。在现实世界中，关于人工智能（Artificial Intelligence, AI）是否会“颠覆”人类统治的讨论也从未停止。
今年3月，南韩棋手李世石在举世瞩目的“人机围棋对弈”中负于 Google 旗下 Deepmind 公司开发的人工智能程式 AlphaGo 后，人类对目前人工智能发展的程度开始感到担忧。Deepmind 近日也同英国牛津大学人类未来研究所（Future of Humanity Institute）的科学家联合发表一篇题为 Safely Interruptible Agents 的论文，提出一种算法框架，使得被人工智能控制的机械人等设备在伤害人类或环境时，可以被关机——他们将其称为“红色按钮”。这篇论文还详细介绍了确保人工智能不会自主学会如何抵制人类采取的中断措施。
我们很有必要给人工智能加上一个‘红色按钮’，以阻止其伤害其他人类和环境……但人工智能也可能学会如何防止自己被人类关机，比如让‘红色按钮’失效等。这篇论文提供了一种如何让人工智能无法学会这一招的可行方法。
去年7月，全球人工智能领域的1000多名专家曾联名发出公开信呼吁，在世界范围内禁止“杀手机器人”。著名物理学家霍金（Stephen Hawking）、特斯拉汽车 CEO 马斯克（Elon Musk）以及苹果公司联合创始人沃兹尼亚克（Steve Wozniak）都参与了连署。
这封公开信称，利用人工智能技术研发的自动攻击武器能够独立识别并攻击目标，而且很可能在数年内面世。专家们认为，如果任何军事大国推动人工智能武器研发，全球军备竞赛无可避免；此外，这类武器并不昂贵，迟早会流入黑市并落入恐怖分子或独裁者手中，造成不可挽回的后果。
这些担忧并非危言耸听，除了在围棋上已经击败人类顶级棋手外，当今的人工智能已经可以像人类一样写字、模仿艺术大师画画、为政客撰写演讲稿、 准确地预测人类行为、为人类的幽默感打分等，在日本甚至诞生了全球第一个由人工智能担任的创意总监，而中国的人工智能则将参加高考。而 Google 去年将其人工智能算法开源后，更将加速这一领域的发展。
至少就目前而言，人类对人工智能的兴趣还远远大于对它的担忧。6月4日，国际围棋联盟事务总长杨俊安透露，现世界围棋等级分排名第一的18岁中国棋手柯洁，将在今年和 AlphaGo 进行“终极版人机对弈”，但具体时间和比赛地点待定。
根据全球围棋棋手评分系统 GoRatings 的排名，截至6月5日，柯洁以总分3625排在第一，AlphaGo 则以3605分紧随其后，这场对决将成为围棋界名副其实的“华山论剑”。
声音
自动攻击武器是暗杀、破坏国家稳定、控制人口以及有选择性地杀害某个民族等的理想工具。因此我们认为，人工智能军备竞赛不会对人类有益。人工智能可以在不制造新的杀人武器的情况下，通过多种方式让战场变得对人类更安全，特别是对平民而言。
就算阿法狗（AlphaGo）战胜了李世石，但它赢不了我。