以前我们很多读物对科幻作品（包括电影和小说）都有严重误解和误导，很多人认为科幻是文学作品，是科普作品，甚至是少儿读物。这种观念极大地妨碍了我们从科幻作品中获取思想资源。事实上，真正的科幻是给成年人看的。而科幻主要的任务，是思考一些我们平常在生活中不容易或不方便思考的问题。所以在过去的一个多世纪，国际上科幻作品的主流，是对科学技术进行反思。
　　具体到人工智能问题，几乎所有的西方科幻作品里的人工智能都是负面的和有害的。科幻作品中极少会像我们许多人想象的那样，对未来高科技社会中的人工智能进行讴歌。很多人以为科幻作品会想象未来的世界如何美好，其实一个多世纪以来，这样的作品已经是不入流的了，入流的作品都是有反思的。大量科幻作品对人工智能已经做过深入反思，我们今天能够想象到的所有人工智能的负面作用，在科幻作品中几乎都已经表现过了。
　　1.人工智能的失控和反叛
　　前些时候人工智能“阿尔法狗”下围棋赢了李世石，我和几位人工智能专家以及年轻人的偶像柯洁九段一起做电视节目时，柯洁还表示李世石虽然败了，他还是能赢的，后来他跟“阿尔法狗”下了一次也输了，他也没信心了，说“感觉在跟上帝下棋一样”。稍后的阿尔法zero，面对全世界60名围棋高手，下成60比0，人类全输了。据说“阿尔法狗”是从人类先前的棋谱中学习的，但阿尔法zero完全没有借鉴人类的任何棋谱，只是告诉它围棋规则，它自行研究后就一举打败了人类60名高手。这表明人工智能一旦有了学习能力，你不知道它会变成什么样子。
　　还要考虑人工智能和互联网结合后的极大危险。以前在阿西莫夫写关于人工智能的科幻作品时，还没有互联网，分立的个体人工智能毕竟还有一个物理极限，一个机器人哪怕全身都是芯片，它的存储和运算能力也是有物理极限的。但是今天任何与互联网结合在一起的人工智能都能够轻易超越这个极限，这样它的学习能力，它的进化速度，都是无法预测的，因而也就很可能是无法控制的。
　　影片《超体》充分展示了人工智能一旦具有学习能力之后，它的潜能发挥和迅速进化可以达到什么程度。人工智能专家经常安慰我们说：人工智能还很弱小，你们担心的事情离现在还很远。但是知识增长是有加速度的，从弱人工智能到强人工智能，到底要多少年？20年？再从强人工智能到超人工智能，也许一小时都不用，在《超体》的故事中，人工智能最后迅速变成一个超能的神，这就意味着失控。
　　影片《超体》中，这个成神的人工智能还没有对人类表现出恶意，如果它对人类有了恶意，那还有更可怕的前景。传统概念中的机器人，它们身体的大部分其实都是伺服机构，但是和互联网结合的人工智能，就不再需要这样的伺服机构了。比如一个邪恶的人工智能想实施一次恐怖爆炸，它怎么做？它只需在网上合法订购各类可以构成爆炸装置的民用原料和器件，然后订购组装服务，再利用物流服务送往指定地点，由它引爆。这样的人工智能不再需要任何伺服机构，它只是互联网上的一个幽灵。反映这种前景的作品已经有很多了。
　　剧集《疑犯追踪》迄今已有五季，第一季看着像探案故事，但是越来越科幻，到了最后一季已经完全变成一个超级的科幻作品。那里面的人工智能就是躲在网络上的幽灵。现在人工智能专家还经常安慰公众说，人工智能如果真的出了问题，我们把电源拔掉就行了，但是对于和互联网结合的人工智能，如果它想作恶，到哪里去“拔掉电源”？
　　影片《机械姬》也相当有代表性，那个女机器人最后突然作恶，把她的创造者囚禁起来，自己出去了。这个结尾为拍第二部准备好了接口。这个反社会人格的女机器人出去后会在社会上做什么坏事，有很大的想象空间。
　　至于著名的影片《未来战士》系列（Terminator，又名《终结者》，1984～2015），已有五部，讲人工智能反叛人类后对人类的剿杀，以及人类的殊死反抗，已成经典。
　　2.人工智能的人权问题
　　人工智能发展进化之后，我们早晚要面临人工智能的人权问题。即使人工智能自己不提出来，我们人类自己从伦理道德的角度出发，也会提出这个问题。事实上科幻作品很早就提出了这个问题。
　　较早的影片《变人》直接提出了这个问题。家里买来了一个机器人，这个机器人对主人家的小姐产生了感情。小姐当然不能和一个家用电器谈恋爱，所以虽然对它也挺好，但是没办法拍拖。于是机器人不断让自己升级，最终把自己进化成跟人完全一模一样，但是故事里的人类社会拒不承认它的人权，不批准它和人类的婚姻。
　　要讨论人工智能的人权问题，就必须为取得人权给出条件。在影片《变人》中，最后给出的条件居然是死亡——有生老病死，是获得人权的必要条件。最后这个机器人为了让自己和人类小姐的婚姻有效，它把自己的永生能力取消了，人类社会才承认了他们的婚姻。
　　当然还有作品给出了别的条件。比如影片《银翼杀手2049》中设想的界限是“生育”——只有被母亲生出来的孩子才有人权。在《银翼杀手2049》的世界里，复制人是没有人权的，人们不必尊重他们。银翼杀手K虽然身怀绝技，仍被同事们鄙视为“假货”。
　　第三个，在很多作品里都给出过的，是文化。这是一个相对合理的想法，一个人工智能（或者机器人、仿生人、克隆人等等），如果他拥有人类的文化，我们就同意给他人权。前不久沙特阿拉伯最先尝试了世界上最激进的做法——给一个机器人授予了公民权，这当然就是承认了她的人权。该机器人叫索菲娅，是一个女性形象，如今她会出席各种各样的会议。虽然索菲娅早先说过“要灭亡人类”这样的话，现在她在社会上活动，有人翻出她当年的话来，她改口说愿意和人类友好相处。最近又傳出她打算结婚，当然也可能只是炒作。在索菲娅的个案里，人权主要是靠文化来获得的。
　　人工智能的人权问题之所以非常重要，是因为人工智能一旦被我们大量应用之后，我们的很多法律和伦理问题都和人工智能的人权直接有关。 　　影片《机械公敌》就强调了这一点。那个机器人杀了人之后，警方认为这是谋杀。生产机器人的公司说，法律对“谋杀”的定义是一个人蓄谋杀害另一个人，机器人没有人权，所以它杀人只是机器故障。类似的问题现在已经出现在我们眼前了，我们已经让自动驾驶汽车上路了，如果自动驾驶汽车撞死了人，怎么追责？这个责任到底是车主来负还是生产汽车的厂家来负？
　　又如剧集《真实的人类》，已经有三季，故事中家里买了一个女性机器人，结果引发了各种各样的问题。比如男主人有一次和这个女性机器人上了床，他这个行为的定性，直接与机器人的人权有关：如果机器人没有人权，他就是自慰；如果机器人有人权，他就是出轨。
　　类似的问题还可以设想很多，现有的法律对这些问题都缺乏相应的规定，我们的伦理观念也没有准备好适应这些现象。
　　3.军用人工智能的伦理问题
　　阿西莫夫著名的“机器人三定律”，第一定律就是“机器人不得伤害人类，也不得见人类受到伤害而袖手旁观”，这个第一定律意味着什么？意味着我们人类不能把杀人的权力让渡给机器人，而这就排除了将机器人或人工智能应用于军事用途的一切合法性。比如有一个罪犯被判了死刑，我们可以让机器人去对他执行枪决吗？不可以。因为机器人不得伤害人类，不管这个人类是一个罪犯还是一个功臣。
　　但是如果研发军事用途的人工智能，那當然就是把杀人的权力交给机器人。比如现在很热的无人机，即使是在人类下达命令之后让无人机执行攻击，也违背了第一定律，更不用说研发自主识别目标执行攻击的无人机了。
　　所以军事用途的人工智能这个事情本身就是从根本上违背“机器人三定律”的。但是因为三定律并不是什么法律，只是一个科幻小说家在他的小说里提出来的，虽然搞人工智能的不少人表示愿意尊重这三个定律，但这毕竟不是法律，如果研发者不遵守别人也拿他没办法。很多研发军事用途人工智能的人当然都没有遵守这三个定律，他们通常可以有两个路径来为自己辩护。
　　第一个路径就是宣称“三定律”只是小说家言，我们为了崇高目标不必把它当真。第二个路径是利用“人工智能”划界的困难，什么叫“人工智能”？你口袋里的手机是不是人工智能？你通过适当的定义就可以把手机定义为人工智能。既然如此，那么现代战争中的指挥通讯系统为何不能定义为人工智能？这样的人工智能不是早就在战争中应用了吗？反过来，对另一些武器，比如无人驾驶的坦克、无人机，你可以说这只是一种自动武器，你也可以说这是人工智能。到底算不算？这没有明确的边界。
　　最近美国拍了一系列以无人机为主题的科幻电影，在这些作品里面，伦理道德问题往往是很突出的。
　　前些时候，埃隆·马斯克、史蒂芬·霍金、比尔·盖茨联合了很多名流，发表了一个公开的宣言，要求停止军事用途的人工智能研发。认为这有可能产生比原子弹更可怕的武器。一方面，军用人工智能直接操控武器或自身就是武器，一旦失控后果难以设想；另一方面，即使没有失控，研发出这类更新颖更高效的杀人武器，从根本上来说也绝非人类之福。媒体对此有过一些报道，但并不被重视。学者当中提出了类似这三个人的观点的也不少，但这些都还没有达到国家政策的层面，都只是民间的呼吁。
　　马斯克自己就是人工智能的大力支持者和使用者，他自己的工厂里使用了大量的工业人工智能，但是他一面自己在使用和研发人工智能，一面却不断警告说人工智能是非常危险的。他这样做看上去有点伪善，但是他提出警告毕竟也有好处。
　　比如说，我肯定在马斯克他们的上述宣言之前就有人发表文章提出过警告了，但人们会说，你又不研究人工智能，你的警告我们用不着重视。但是马斯克提出警告，人们至少不会说他不研究人工智能吧，至少对他的警告要更重视一些吧。从这个意义上说，他的警告的作用就可能比较大，所以他的警告我都赞成。
　　所以今天我们只能、而且必须抱着和当年搞“两弹一星”类似的心态来进行军事用途的人工智能研发。军用人工智能就是今天的“两弹一星”。比较理想的局面，是各大国坐下来谈判，签署限制或禁止人工智能研发的国际协议。但谈判需要手中有筹码，只有当中国手中握有足够的实力筹码时，才有可能推动人工智能方面的国际裁军谈判。
　　4.人工智能的终极威胁
　　科幻作家、科普作家阿西莫夫，因为在小说中提出了“机器人三定律”，所以人们在谈论人工智能时总会提到他。其实他的科幻作品中最著名的是小说《基地》系列，共11卷，是一部科幻史诗作品，前后时间跨度以千年万年为单位，讨论整个银河帝国的兴衰。在这部科幻史诗中，阿西莫夫提出了一个重要观点——所有依赖人工智能的文明都必将衰亡。所以在他的书里能够持久发展的文明，比如银河帝国，是立法禁止人工智能的。
　　为什么？当然有道理。因为人工智能会让文明衰亡。前面我们讨论了人工智能的失控和反叛，但这些还未必是人工智能对于人类的终极威胁。假定这些问题都没有发生，人工智能既不失控也不反叛，它把我们的一切工作都做了，全心全意为人民服务，阿西莫夫指出，恰恰是这样至善全能的人工智能，对人类的威胁是致命的，因为这样的人工智能将消解我们人类生存的意义。
　　有人会说，所有的事情都让机器人做了，但是我们可以创造，我们可以搞艺术，可以过精神生活呀！问题是人工智能也可以替你去创造，甚至精神生活也可以替你去过——比如芯片植入人机结合之后，那些所谓的“精神生活”还是你的吗？这么经历一两代人之后，人类的智能和体能都将急剧衰退，很快就将成为行尸走肉，我们的人生就将毫无意义。
　　另一方面，在这样的世界里，我们肯定会把我们所有的社会管理都交给人工智能，人工智能就将在实际上统治这个星球。用不了多久，人工智能必然会得出一个合理的结论：人类这帮寄生虫，活在这个世界上纯粹是对环境的污染，它完全可以清除人类来优化环境。这时不管人类自己的生存意义丧失与否，都必然是人类的末日。
　　还有一些人这样想：我们为什么要害怕人工智能推翻人类社会呢？如果人工智能推翻了人类社会，那人工智能必将是一个比人类更好的存在模式，我们为何不能接受呢？其实这里有一个是否“以人为本”的问题。即使人工智能发展得比我们人类更优越了，我们也没有理由听任人工智能将我们人类清除掉。我们人类站在自己这个物种的立场上，我们当然不可能接受被别的物种征服或灭亡。
　　所以警惕人工智能，比无条件地拥抱人工智能更合情合理。
　　【来源】本文为江晓原2017年8月28日在由上海市社联《探索与争鸣》杂志社和华东政法大学政治学研究院共同主办的“人工智能与未来社会：趋势、风险与挑战”学术研讨会上的主题发言，首发于公众号：tansuoyuzhengming，澎湃新闻经授权刊发。
　　【作者简介】江晓原（1955年-），毕业于中国科学院自然科学史研究所，教授、博士生导师，曾任上海交通大学科学史系主任。其研究工作分为古代中西方天文学交流、运用古代天文学资料解决当代天文学课题等方面，著有《科学史十五讲》《天学真原》等。
　　【阅读导引】1950年阿兰·图灵出版《计算机与智能》，那时候的人们可能并不了解什么是智能。甚至对机器智能这一概念还处于模糊的阶段。直到六年后约翰·麦卡锡在美国达特茅斯电脑大会上“创造”“人工智能”一词，人们才第一次知道人工智能的概念，这也是全球人类第一次靠近人工智能的开端。而在我们现在的生活中，人工智能技术已无处不在。经过了半个多世纪的发展，人工智能已经不仅仅是一个概念，更是引领未来发展的重要技术之一。新技术总会带来新的担忧和挑战。一份由第三方机构发布的《人工智能影响力报告》显示，目前用户最为关注的三个与人工智能有关的话题是：自己的工作是否会被取代，AI发展带来的危害，AI发展带来的法律、道德问题，几乎都有负面倾向。这些担忧并非“空穴来风”。人工智能在技术上快速成长，但真正与人类社会良性互动，还要解决诸如规范、监管、安全、伦理等诸多问题。