《人工智能的未来》读后感（精选5篇）

第一篇：《人工智能的未来》读后感

如何创造意识、思维，也许是人类认识自然的最后难题，是意识对自己的回归。作为著名发明家、作家、未来主义者，库兹韦尔关于思维的研究和观点独特而惊人。他认为不久的未来，计算机可以实现人类大脑新皮质功能并超越人类，人类将与机器结合成为全新的物种。

假想某个浸泡在营养液中的大脑，用细细的导线与躯干相连。大脑对躯体动作的意识，以及大脑发出的指令，通过导线双向传递——此刻，你会认为这还是一个生物学意义上的“人”吗？

库兹韦尔只是把“奇点”当作一个绝佳的“隐喻”。这个隐喻就是，当智能机器的能力跨越这一临界点之后，人类的知识单元、连接数目、思考能力，将旋即步入令人晕眩的加速喷发状态——一切传统的和习以为常的认识、理念、常识，将统统不复存在，所有的智能装置、新的人机复合体将进入“苏醒”状态。

在库兹韦尔看来，人工智能的关键，并非通过物理手段制造出媲美、超越人脑的“非生物性智能机器”。这条路行不通。他给出的方法简单有效：将人脑与电脑“嫁接”起来。

在本书中，库兹韦尔用4章的篇幅（第3章：大脑新皮质模型；第4章：人类的大脑新皮质；第5章：旧脑；第6章：卓越的能力），精心构筑了支撑他伟大预言的第一块基石。这块基石的目的，就是试图将大脑新皮质作为“新脑”的重要组成部分，与旧脑区别开来。

智能可以超越自然的局限，并依照自身的意志改变世界，这恐怕是世间最了不起的奇迹了。人类智能可以帮助我们克服生物遗传的局限，并在这一进程中改变自我。唯有人类能够做到这一点。

人类智能之所以能够产生与发展，源于这是一个可以对信息进行编码的世界。物理学的标准模型[3]会有数十个常量需要被精准限定，否则无法产生原子，也就不会有所谓的恒星、行星、大脑，更不会有关于大脑的书籍。让人不可思议的是，物理学定律及常数能够精确到如此程度，以至于允许信息自身得以演化发展。

我们的第一个发明是口语，它使我们能够用不同的话语来表达想法。随后发明的书面语言，使我们能够用不同形式来表达我们的想法。书面语言库极大地扩展了我们无外力援助的大脑的能力，使我们能够维持并扩充我们的认知基础，这是一种递归结构化的思想。

我们还开发了其他工具，通过利用这些工具，我们现在能用精确的信息术语来理解我们所属的生物群落。我们正以极快的速度利用逆向工程法分析生物群落的构成信息，包括大脑结构的信息。我们现在拥有以人类基因组形式存在的生命目标代码，这项成就本身也是指数级发展的一个突出实例。

现在有一项涉及成千上万个科学家和工程师的宏伟工程正在进行中，他们正致力于理解智能程序的最好范例——人类大脑。这项工程的目标是精确理解人类大脑的工作机制，然后通过这些已知的方法来更好地了解我们自身，并在必要的时候修复大脑，而与本书最密切相关的，就是创造出更加智能的机器。以前专属于人类智能的许多任务以及活动，现在能完全由电脑控制，更加精确，范围也扩大了。

理解、建模和模拟人类大脑的关键是对大脑新皮质实施逆向工程，而大脑新皮质是我们进行循环分层思维的地方。

大脑也是这样。它有一个类似的巨大的冗余组织，尤其是在新皮质结构中。化繁为简，揭开人脑最基本的力量，包括其基本智力系统如何进行辨识、记忆、预测。这些行为在新皮质里不断重复，产生了各种不同的想法。

01 史上著名的思想实验

这段历史也展现了人类思维的局限性。为什么爱因斯坦能驾乘光束而不至于摔落（虽然他推断实际上不可能驾乘光束），而成千上万其他的观察者和思考者却不能借助这些并不复杂的方式来思考呢？一个共同的障碍就是大多数人难以摒弃并超越同辈人的思维观念。

一个年轻人只需空想和笔纸就足以彻底改变物理学观念，那么对于熟知之物，我们理应能取得更深刻的认识。

02 思考、记忆、联想、记忆成级

03 大脑新皮质负责以分层方式处理信息模式。只有哺乳动物才拥有这种最新进化的大脑结构。大脑新皮质负责感官知觉，认知从视觉物体到抽象概念的各项事物，控制活动，以及从空间定位到理性思考的推理以及语言——主要就是我们所说的“思考”。

灵长类动物在进化中的收获是，大脑顶部的其余部分出现复杂的褶皱，伴随有深脊、凹沟以及褶痕，它们扩大了大脑皮质的表面积。因为有了这些复杂的褶皱，大脑新皮质成为人类大脑的主体，占其重量的80%。智人拥有一个巨大的前额，为拥有更大的大脑新皮质奠定了基础；而我们的额叶则是处理与高层次概念有关的更为抽象模式的场所。

1957年，蒙卡斯尔发现了大脑新皮质的柱状组织。大量的实验揭示，皮层柱的神经元结构中确实存在重复的单元。我的观点是，这种基本单位是模式识别器，同时也是大脑新皮质的基本成分。我认为这些识别器没有具体的物理分界，它们以一种相互交织的方式紧密相连，所以皮层柱只是大量识别器的总和。

人类的大脑新皮质中约有50万个皮质柱，每个皮质柱占据约2毫米高、0.5毫米宽的空间，其中包含约6万个神经元，因此大脑新皮质中总共有大约300亿个神经元。一项粗略的评估表明，皮质柱中的每个识别模式包含大约100个神经元，因此，大脑新皮质大约共3亿个识别模式。

虽然人类只拥有简单的逻辑处理能力，但却拥有模式识别这一强大的核心能力。为了进行逻辑性思考，我们需要借助大脑新皮质，而它本身就是一个最大的模式识别器。

一个精通某一特定领域的人大约掌握了10万个知识点。涵盖人类医学知识的专家系统表明，一个人类医学专家通常掌握了大约10万个其所在领域的知识块。从这个专家系统里识别某一知识块并非易事，因为每当某一个具体的知识点被检索过后，就会呈现略微不同的面貌。

如果一个专家的核心知识大约为10万个知识“点”（即模式），每个知识点的冗余系数约为100，这就要求我们存储1000万个模式。专家的核心知识以更为普遍、更为广泛的专业知识为基础，因此层级模式的数量可增加到3000万到5000万。我们日常运用到的“常识”的知识量甚至更大,实质上，与“书中智慧”相比，“街头智慧”对大脑新皮质的要求更高。把这项包含进去，再考虑到约为100的冗余系数，总量预计将超过1亿个模式。我们的程序和行动中也包含了模式，同样也存储在大脑皮质区域内，所以我预测人类大脑新皮质的总容量并非只有数亿个模式。我们的程序和行动中也包含了模式，同样也存储在大脑皮质区域内，所以我预测人类大脑新皮质的总容量并非只有数亿个模式。这个粗略的统计与我在上文中做出的约有3亿个模式识别器的估计紧密相关，第三章：大脑新皮质模型

只有具备自联想能力和特征恒常性能力，大脑新皮质才能识别模式。思维模式分两种：无目标思维和导向式思维，做梦就是无目标思维实例。

怀孕6到9个月时，胎儿的大脑新皮质正在学习。他能听到母亲的心跳，这可能是音乐有节奏这一特点普遍存在于人类文化中的一个原因。大脑新皮质不断尝试理解向其呈现的输入。如果一个特定层次不能完全处理并识别模式，就会被发送到相邻更高层次。如果所有层次都不能成功识别某个模式，该模式就会被视为新模式。

在定向思维中，持续的思维风暴会在我们的感官体验和尝试中出现，我们的实际心理体验复杂混乱，由这些触发模式的闪电风暴组成，每秒发生约100次改变。

第四章：人类的大脑新皮质

同一时间激活的细胞会联系在一起，这就是著名的贺布型学习。

内在集合：这些几何都有相似的拓扑结构和突触权重，而且不是由任何特定的经验所塑造。当新皮质的某个区域受损时，新皮质会继续使用原始区域而不选择受损区域附近的区域，因为前者工作效率更高。

有一个普遍算法指引着新皮质工作。可塑性的局限性：使用新皮质的新区域来代替受损区域，重新习得的技能或某种知识会不如原有的好。

人工智能领域并不是尝试复制人脑，而是要达到对等的技术。

第五章：旧脑

丘脑最显著的作用是它与新皮质的持续交流。借助两个大脑半球，我们的工作记忆能够同时跟踪4个条目。虽然我们至今不清楚是丘脑管理着新皮质还是新皮质管理着丘脑，但两者缺一不可。

感官信息流经新皮质，由新皮质判定一种经历是否新颖，然后将其呈现给海马体。新皮质判定经历新颖要么是因为不能识别某一套特定的特征（例如新面孔），要么是因为意识到一种原本熟悉的清形又出现了独特的特质（例如你的配偶戴着假胡子)。借助人造海马体，老鼠们也能很快再次学会这些行为。人造海马体和老鼠的自然海马体一起工作，结果是老鼠们学习新行为的能力提高了。

第七章：仿生数码皮质

动物行为的进化的确是一个学习的过程，但是这种进化是整个物种群体的学习而不是个体的学习。进化的成果通过DNA遗传给下一代。

新皮质进化的意义就在于它大大缩短了学习过程（层次化知识）。某种哺乳动物的一名成员偶然找到解决方法，该方法就会在种群中迅速扩散传播。

可以让模拟大脑——如蓝脑，具备学习能力的方法。第一种：让模拟大脑像人脑新生儿那样学习。研究人员等个10年或20年，让蓝脑达到成人的智力水平。

第二种：将成人脑的新皮质模式复制到模拟大脑中。这要求我们掌握能够处理这个任务、具备足够的时空分辨率的无损伤扫描技术。

第三种：通过构建不同精细程度的功能等同体，我们可以简化分子模型。我们还可以将教育软件植入模拟大脑（利用功能模型）。

非侵入性扫描技术的空间分辨率正在飞速提高。科学家发现新皮质的电路呈现出一种高度规则的网格结构。

对输入信息作出微小、随机的调整也可以提高系统的性能（重启遗传算法），因为这种做法解决了自主系统中著名的“过度契合”难题。否则，这样的系统就会过分局限于试验样品中的特殊例子。通过对输入信息进行随机调整，数据中更稳定的不变特征就会凸显出来，系统也能够提炼出更深层次的语言模式。

Siri使用的是Nuance基于马尔可夫层级模型的语音识别技术。对最常见和特定的语言现象使用规则翻译法，然后学习语言“尾巴”在实际生活中的用法。哺乳动物的大脑掌握一种技术，即先建立很多的可能性连接，然后再剔除那些无用的神经连接。

第八章：计算机思维的4大基础

冯•诺依曼推断说大脑的工作方式不能包含较长的连续算法，否则人在如此慢的神经计算速度下无法快速作出决定。冯•诺依曼正确推断了大脑的出色能力来自于一千亿个细胞可以同时处理信息，因此视觉皮质只需要3到4个神经循环就能作出复杂的视觉判断。大脑极大的可塑性使我们能够进行学习。但计算机的可塑性更大，通过改变软件就可以完全重建它的工作方式。因此，从这点上看，计算机可以仿真大脑，但反过来则不然。人类新皮质的一个限制在于没有排除或复查相互矛盾的思想的程序，这导致很多时候人们的思想缺乏一致性。

设计整个大脑区域反而比设计单个神经元要简单。为了模拟晶体管，我们需要理解半导体的物理特性的细节，而且一个真正的晶体管即使只是基础方程也非常复杂。一个能将两个数字相乘的数字电路需要上百个晶体管，但我们通过一两个公式就能准确模拟这个乘法电路。一个包含上十亿个晶体管的电脑的模拟仅需要指令系统和注册描述，短短几页文本和公式就能包括全部内容。在这些描述中肯定不会出现半导体物理特性的细节或电脑的构造。

第二篇：人工智能综述以及未来

人工智能综述以及未来

人工智能(Artificial

Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。“人工智能”一词最初是在1956

年美国计算机协会组织的达特莫学会上提出的。自那以后，研究者们发展了众多理论和原理，人工智能的概念也随之扩展。由于智能概念的不确定，人工智能的概念一直没有一个统一的标准。著名的美国斯坦福大学人工智能研究中心尼尔逊教授对人工智能下了这样一个定义“人工智能是关于知识的学科———怎样表示知识以及怎样获得知识并使用知识的学。”而美国麻省理工学院的温斯顿教授认为“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。诸如此类的定义基本都反映了人工智能学科的基本思想和基本内容。即人工智能是研究人类智能活动的规律，构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作，也就是研究如何应用计算机的软硬件来模拟人类某些智能行为的基本理论、方法和技术。

人工智能学科的出现与发展不是偶然的、孤立的，它是与整个科学体系的演化和发展进程密切相关的。人工智能是自然智能(特别是人的智能)的模拟、延伸和扩展,即研究“机器智能”，也开发“智能机器”。如果把计算机看作是宝剑,那么人工智能就是高明灵巧的剑法。

英国科学家图灵于1936

年提出“理论计算机”模型,被称之为“图灵机”,创立了“自动机理论”。1950年,图灵发表了著名论文《计算机能思维吗?》,明确地提出了“机器能思维”的观点。1956年夏季,在美国达特摩斯大学,由麦卡赛、明斯基、香农等发起,由西蒙、塞缪尔、纽厄尔等参加,举行了关于“如何用机器模拟人的智能”的学术研讨会，第一次正式采用“人工智能”的术语。这次具有历史意义的、为期两个月之久的学术会议,标志着“人工智能”新学科的诞生。

人类在进入新世纪时对未来充满新的更大的希望。科技进步必将为各国的可持续发展提供根本保障，科技新成果必将在更大的广度和深度上造福于人类。人工智能学科及其“智能制品”的重要作用已为人们普遍共识。最近，中国教育部决定在中学开设《人工智能》新课程就是一个新的例证。

人工智能获得很大发展，它引起众多学科和不同专业背景学者们的日益重视，成为一门广泛的交叉和前沿科学。国际上人工智能研究作为一门前沿和交叉学科，伴随着世界社会进步和科技发展的步伐，与时俱进，在过去十多年中已取得长足进展。在国内，人工智能已得到迅速传播与发展，并促进其它学科的发展。吴文俊院士的定理证明的几何方法就是一个例证和代表性成果。

现代计算机的发展已能够存储极其大量的信息，进行快速信息处理，软件功能和硬件实现均取得长足进步，使人工智能获得进一步的应用。尽管目前人工智能在发展过程中面临不少争论、困难和挑战，然而这些争论是十分有益的，这些困难终会被解决，这些挑战始终与机遇并存，并将推动人工智能的继续发展。可以预言：人工智能的研究成果将能够创造出更多更高级的智能“制品”，并使之在越来越多的领域超越人类智能；人工智能将为发展国民经济和改善人类生活做出更大贡献。

1．认知观和对认知本质的研究

1.1

人工智能的各种认知观

目前人工智能的主要学派有下列3家：

（1）符号主义

符号主义（Symbolicism），又称为逻辑主义（Logicism）、心理学派（Psychlogism）或计算机学派（Computerism），其原理主要为物理符号系统（即符号操作系统）假设和有限合理性原理。符号主义认为人工智能源于数理逻辑。计算机出现后，在计算机上实现了逻辑演绎系统。其有代表性的成果为启发式程序LT逻辑理论家，证明了38条数学定理，表明了可以应用计算机研究人的思维过程，模拟人类智能活动。正是这些符号主义者，早在1956年首先采用“人工智能”这个术语。后来又发展了启发式算法→专家系统→知识工程理论与技术，并在20世纪80年代取得很大发展。符号主义曾长期一枝独秀，为人工智能的发展做出重要贡献，尤其是专家系统的成功开发与应用，为人工智能走向工程应用和实现理论联系实际具有特别重要意义。

（2）连接主义

连接主义（Connectionism），又称为仿生学派（Bionicsism）或生理学派（Physiologism），其原理主要为神经网络及神经网络间的连接机制与学习算法。连接主义认为人工智能源于仿生学，特别是人脑模型的研究。它的代表性成果是1943年由生理学家麦卡洛克（McCulloch）和数理逻辑学家皮茨（Pitts）创立的脑模型，即MP模型，开创了用电子装置模仿人脑结构和功能的新途径。它从神经元开始进而研究神经网络模型和脑模型，开辟了人工智能的又一发展道路。20世纪60－70年代，连接主义，尤其是对以感知机（perceptron）为代表的脑模型的研究曾出现过热潮，直到Hopfield教授在1982年和1984年提出用硬件模拟神经网络时，连接主义又重新抬头。1986年鲁梅尔哈特（Rumelhart）等人提出多层网络中的反向传播（BP）算法。此后，连结主义势头大振，从模型到算法，从理论分析到工程实现，为神经网络计算机走向市场打下基础。

（3）行为主义

行为主义（Actionism），又称进化主义（Evolutionism）或控制论学派（Cyberneticsism），其原理为控制论及感知—动作型控制系统。行为主义认为人工智能源于控制论。控制论思想早在20世纪40-50年代就成为时代思潮的重要部分，影响了早期的人工智能工作者。维纳和麦克洛等人提出的控制论和自组织系统影响了许多领域。控制论的早期研究工作重点是模拟人在控制过程中的智能行为和作用，如对自寻优、自适应、自校正、自镇定、自组织和自学习等控制论系统的研究，并进行“控制论动物”的研制。到60－70年代，上述这些控制论系统的研究取得一定进展，播下智能控制和智能机器人的种子，并在80年代诞生了智能控制和智能机器人系统。

以上三个人工智能学派将长期共存与合作，取长补短，并走向融合和集成，为人工智能的发展作出贡献。

1.2

解开认知本质之谜

人的认知活动具有不同的层次，对认知行为的研究也应具有不同的层次，以便不同学科之间分工协作，联合攻关，早日解开人类认知本质之谜。应从下列4个层次开展对认知本质的研究。

（1）认知生理学

研究认知行为的生理过程，主要研究人的神经系统（神经元、中枢神经系统和大脑）的活动，是认知科学研究的底层。它与心理学、神经学、脑科学有密切关系，且与基因学、遗传学等有交叉联系。

（2）认知心理学

研究认知行为的心理活动，主要研究人的思维策略，是认知科学研究的顶层。它与心理学有密切关系，且与人类学、语言学交叉。

（3）认知信息学

研究人的认知行为在人体内的初级信息处理，主要研究人的认知行为如何通过初级自然信息处理，由生理活动变为心理活动及其逆过程，即由心理活动变为生理行为。这是认知活动的中间层，承上启下。它与神经学、信息学、计算机科学有密切关系，并与心理学、生理学有交叉关系。

（4）认知工程学

研究认知行为的信息加工处理，主要研究如何通过以计算机为中心的人工信息处理系统，对人的各种认知行为（如知觉、思维、记忆、语言、学习、理解、推理、识别等）进行信息处理。这是研究认知科学和认知行为的工具，应成为现代认知心理学和现代认知生理学的重要研究手段。它与人工智能、信息学、计算机科学有密切关系，并与控制论、系统学等交叉。

只有开展大跨度的多层次、多学科交叉研究，应用现代智能信息处理的最新手段，认知科学才可能较快地取得突破性成果。

2人工智能的发展前景

2.1

人工智能的研究新课题

人工智能的长远目标是要理解人类智能的机器，用机器模拟人类的智能。这是一个十分漫长的过程，人工智能研究者奖通过多种途径、从不同的研究课题入手进行探索。

在近期，有几方面的研究课题可供选择：更完善更新的人工智能理论框架；自动或半自动的知识获取工具；能实现海量高速存储并具有学习功能的联想知识库；新型推理机制和推理机；分布式人工智能与协同式专家系统；智能控制与智能管理；智能机器人；人工智能机；新一代的脑模型。

2.2

最新的AI产品

安放于加州劳伦斯•利佛摩尔国家实验室的asci

white电脑，是IBM制造的世界最快的超级电脑，但其智力能力也仅为人脑的千分之一。现在，IBM正在开发能力更为强大的新超级电脑--“蓝色牛仔“(blue

jean)。据其研究主任保罗•霍恩称，预计于4年后诞生的“蓝色牛仔“的智力水平将大致与人脑相当。麻省理工学院的AI实验室进行一个的代号为cog的项目。cog计划意图赋予机器人以人类的行为。该实验的一个项目是让机器人捕捉眼睛的移动和面部表情，另一个项目是让机器人抓住从它眼前经过的东西，还有一个项目则是让机器人学会聆听音乐的节奏并将其在鼓上演奏出来。据网站http://www.xiexiebang.com报道，比利时的starlab正在制造一个人工猫脑，这个猫脑将有7500万个人造神经细胞。据称，移植了人工猫脑的小猫能够行走，还能玩球。我国也已经在大学中开展了机器人足球赛，有很多学校组队参加，引起了大学生对人工智能研究的兴趣。

2.3人机大战

1997年5月，IBM公司研制的深蓝（DEEP

BLUE）计算机战胜了国际象棋大师卡斯帕洛夫（KASPAROV）。大家或许不会注意到，在一些地方计算机帮助人进行其它原来只属于人类的工作，计算机以它的高速和准确为人类发挥着它的作用。人工智能始终是计算机科学的前沿学科，计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以存在。

2.4人机融合人机融合是一个相当长的发展过程，它将伴随技术进步，逐级逐步地向前发展。首先实现的是低级和局部的融合，近几年人工智能科授的进步不断证实了这种趋势。如最近美国科学家就明确宣布，他们研制的“神经芯片”首先就是用于改善人的中枢神经功能，“使截瘫患者丢掉手杖”。随着人机融合的升级，最终将在地球上产生一种人机高度融合、高智慧、能自行繁殖(复制)的“新智体”(或曰“新人类”）。因此，文明人类的演化由于技术的影响将经历自然进化——人工促进人智能的进化——人机融合体(新智体)的自行进化的辩证发展过程。在人机融合时代，出于物理目标的不同，将存在多种多样、多层次的智能机(体)，但具有怨茁级智能的应是人机融合体。当今人工智能科技和其他高科技的种种发展动向表明，在人类进入“信息社会”之后，将有一场规模巨大的“智能革命”，智能革命的环境是人工智能对人、对社会的广泛而深入的影响，就像今天的微电子技术对信息革命的影响一样。人工智能科技将渗透到社会各个领域，人类将对人工智能科技进行大规模的研究、开发和应用。

3.结束语

美国在人工智能技术的开发，应用方面表现的更加积极，这对人工智能的发展有着积极的推动作用。我国在人工智能的发展上也投入了大量的人力，财力。相信在不久的未来，人工智能技术会更加广泛的运用在社会主义大中国下的人们生产，生活中，为人类做出更大的贡献。

科学发展到今天,一方面是高度分化,学科在不断细分,新学科、新领域不断产生;另一方面是高度融合,更多地呈现学科交叉和综合的趋势。这种特征在人工智能研究中表现尤其突出。秉承人工智能学科交叉的天性,并把它作为创新思想的源泉,必将孕育网络时代人工智能的大突破,对人类文明产生重大影响。

第三篇：《人工智能》英文读后感

简介The mid-21st century, as a result of climate warming, melting ice caps north and south poles, the Earth many cities have been submerged in a vast expanse of water in the.At this point, the human science and technology has reached a very high level of artificial intelligence is that human beings invented the robot to cope with the worst one of the natural environment of scientific and technological means.观后感 Today finally put admire already a long time in the 2001 science fiction film finished, couldn't help exclaim 1 “god is！!” I don't talk nonsense, plot is too touching!When David abandoned by mother, when he and machine teddy bear together, through the tough time, when he believed in fairy tales, Pinocchio, the blue fairy can turn themselves into reality, so my mother would love him, when he from she fell into the ocean at the end of the world at that moment, when he saw the blue fairy, at the bottom of the sea constantly pray for her, this is two thousand...Two thousand years later, the human existence, as a friendly alien saved him from being frozen sea, he's still pray...Every moment, it is so touching.Every picture is so shock aestheticism, every scene, is so touching...robot of artificial intelligence can actually “love” interpretation so deep, touched, Thorough, incisively and vividly, touching When he saw the real blue fairy illusion(aliens), the blue fairy promised he could put the mother to life, but must have the wreckage, and only a day!This day is the happiest day of David life!

第四篇：展望人工智能的未来(续)下

展望人工智能的未来（续）下

未来可能是我们最糟的恶梦

我想了解人工智能的一个原因是“坏机器人”总是让我很困惑。那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能变得危险的真实情况。机器人是我们造的，难道我们不会在设计时候防止坏事的发生吗？我们难道不能设立很多安全机制吗？再不济，难道我们不能拔插头吗？而且为什么机器人会想要做坏事？或者说，为什么机器人会“想要”做任何事？我充满疑问，于是我开始了解聪明人们的想法。

这些人一般位于焦虑大道：

焦虑大道上的人并不是恐慌或者无助的——恐慌和无助在图上的位置是更加左边——他们只是紧张。位于图表的中央不代表他们的立场是中立的——真正中立的人有自己独立的阵营，他们认同极好和极坏两种可能，但是不确定究竟会是哪个。

焦虑大道上的人是部分为超人工智能感到兴奋的——他们只是很担心人类现在的表现就好像《夺宝奇兵》中的这位少年：

他拿着自己的鞭子和宝物，非常开心，然后他就挂了：

同时，印第安纳琼斯则更加有见识和更加谨慎，了解潜在的危险并且做出相应的反应，最后安全逃出了山洞。当我了解了焦虑大道的人们的想法后，感觉就像“我们现在傻呵呵的，很容易像前面那小子一样被弄死，还是努力做印第安纳琼斯吧。”

那究竟是什么让焦虑大道的人们如此焦虑呢？

首先，广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。科学家Danny Hillis把这个比作“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”

Bostrom则担忧创造比自身聪明的东西是个基础的达尔文错误，就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。

当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——

生存危机指可能对人类产生永久的灾难性效果的事情。通常来说，生存危机意味着灭绝。下面是Bostrom的图表：

可以看到，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：

1）自然——大型陨石冲撞，大气变化使得人类不能生活在空气中，席卷全球的致命病毒等

2）外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子。

3）人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能

Bostrom指出1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。3则让他很害怕，他把这些比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。每次人类发明一些新东西，就相当于从罐中取出一个玻璃球。大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的，比如大规模杀伤性武器——这是那些红色玻璃球。还有一些发明是可以让我们灭绝的，这就是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是Bostrom认为不久的未来摸到一个黑色玻璃球不是完全不可能的。比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不上黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。

你会听到很多超人工智能带来的坏处——人工智能取代人类工人，造成大量失业；因为解决了衰老造成的人口膨胀。但是真正值得我们担心的是生存危机的可能性。

于是我们又回到了前面的问题，当超人工智能降临时，谁会掌握这份力量，他们又会有什么目标？

当我们考虑各种力量持有人和目标的排列组合时，最糟糕的明显是：怀着恶意的人/组织/政府，掌握着怀有恶意的超人工智能。这会是什么样的情况呢？

怀着恶意的人/组织/政府，研发出第一个超人工智能，并且用它来实现自己的邪恶计划。我把这称作贾法尔情况。阿拉丁神灯故事中，坏人贾法尔掌握了一个精灵，特别让人讨厌。所以如果ISIS手下有一群工程师狂热的研发人工智能怎么办？或者说伊朗和朝鲜，机缘巧合，不小心造成了人工智能的快速发展，达成了超人工智能怎么办？这当然是很糟糕的事，但是大部分专家认为糟糕的地方不在于这些人是坏人，而在于在这些情况下，这些人基本上是不经思考就把超人工智能造出来，而一造出来就失去了对超人工智能的控制。

然后这些创造者，连着其他人的命运，都取决于这个超人工智能的动机了。专家认为一个怀着恶意并掌握着超人工智能的人可以造成很大的伤害，但不至于让我们灭绝，因为专家相信坏人和好人在控制超人工智能时会面临一样的挑战。

如果被创造出来的超人工智能是怀有恶意的，并且决定毁灭我，怎么办？这就是大部分关于人工智能的电影的剧情。人工智能变得和人类一样聪明，甚至更加聪明，然后决定对人类下手——这里要指出，那些提醒我们要警惕人工智能的人谈的根本不是这种电影情节。邪恶是一个人类的概念，把人类概念应用到非人类身上叫作拟人化，本文会尽量避免这种做法，因为没有哪个人工智能会像电影里那样变成邪恶的。

人工智能的自我意识

我们开始谈论到了人工智能讨论的另一个话题——意识。如果一个人工智能足够聪明，它可能会嘲笑我们，甚至会嘲讽我们，它会声称感受到人类的情感，但是它是否真的能感受到这些东西呢？它究竟是看起来有自我意识，还是确实拥有自我意识？或者说，聪明的人工智能是否真的会具有意识，还是看起来有意识？

这个问题已经被深入的讨论过，也有很多思想实验，比如John Searle的中文屋实验。这是个很重要的问题，因为它会影响我们对Kurzweil提出的人类最终会完全人工化的看法，它还有道德考量——如果我们模拟出万亿个人脑，而这些人脑表现的和人类一样，那把这些模拟大脑彻底关闭的话，在道德上和关掉电脑是不是一样的？还是说这和种族屠杀是等价的？本文主要讨论人工智能对人类的危险，所以人工智能的意识并不是主要的讨论点，因为大部分思想家认为就算是有自我意识的超人工智能也不会像人类一样变得邪恶。

但这不代表非常坏的人工智能不会出现，只不过它的出现是因为它是被那样设定的——比如一个军方制造的弱人工智能，被设定成具有杀人和提高自我智能两个功能。当这个人工智能的自我改进失控并且造成智能爆炸后，它会给我们带来生存危机，因为我们面对的是一个主要目标是杀人的超人工智能——但这也不是专家们担心的。

那么专家们究竟担心什么呢？我们来讲个小故事：

一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”他们已经有几款产品上架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字。

“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——

等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。

为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，就拍个照，然后和样本进行比对，如果比对结果超过一定标准，就产生一个正面回馈，反之就产生一个负面评价。每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”

让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来就像人写的了。它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片。

随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。

有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。

工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、视频等等。这些资料如果手动上传的话会很费时。问题是，公司禁止把能自我学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定。

但是，隔壁老王是公司最有潜力的人工智能产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。而且，把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛，不管怎样，隔壁老王还没到达强人工智能水平，所以不会有什么危险的。

于是他们把隔壁老王连上了互联网，让它扫描了一个小时各种语言库，然后就把网线拔了。没造成什么损失。

一个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽。然后其他人也开始咳嗽，然后所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。

同时，办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校。餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝了。

而在隔壁老王机器人公司，隔壁老王正在忙着工作。之后的几个月，隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔。一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~隔壁老王机器人公司”。

隔壁老王开始了它的下一步，它开始制造外星飞行器，这些飞行器飞向陨石和其它行星，飞行器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔。然后他们继续写着那句话……

这个关于手写机器人毁灭全人类的故事看起来怪怪的，但是这其中出现的让整个星系充满着一份友善的话语的诡异情况，正是霍金、马斯克、盖茨和Bostrom所害怕的。听起来可笑，但这是真的，焦虑大道的人们害怕的事情是很多人并不对超人工智能感到害怕，还记得前面《夺宝奇兵》里惨死的那个家伙吗？

你现在肯定充满疑问：为什么故事中所有人突然都死了？如果是隔壁老王做的，它为什么要这么做？为什么没有安保措施来防止这一切的发生？为什么隔壁老王突然从一个手写机器人变成拥有能用纳米科技毁灭全人类的能力？为什么隔壁老王要让整个星系充满了友善的话语？

要回答这些问题，我们先要说一下友善的人工智能和不友善的人工智能。

对人工智能来说，友善不友善不是指人工智能的性格，而只是指它对人类的影响是不是正面的。隔壁老王一开始是个友善的人工智能，但是它变成了不友善的人工智能，并且对人类造成了最负面的影响。要理解这一切，我们要了解人工智能是怎么思考的。

其实答案很简单——人工智能和电脑的思考方式一样。我们容易犯的一个错误是，当我们想到非常聪明的人工智能的时候，我们把它拟人化了，因为在人类的视角看来，能够达到人类智能程度的只有人类。要理解超人工智能，我们要明白，它是非常聪明，但是完全异己的东西。

我们来做个比较。如果我给你一个小白鼠，告诉你它不咬人，你一定觉得很好玩，很可爱。但是如果我给你一只狼蛛，然后告诉你它不咬人，你可能被吓一跳。但是区别是什么呢？两者都不会咬人，所以都是完全没有危险的。我认为差别就是动物和人类的相似性。

小白鼠是哺乳动物，所以在生物角度上来说，你能感到和它的一定关联。但是蜘蛛是昆虫，有着昆虫的大脑，你感觉不到和它的关联。狼蛛的异己性是让你害怕的地方。如果我们继续做一个测试，比如给你两个小白鼠，一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠，你肯定会觉得有狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你。

现在想象你把蜘蛛改造的非常非常聪明——甚至超过人类的智能。它会让你觉得熟悉吗？它会感知人类的情感吗？不会，因为更聪明并不代表更加人类——它会非常聪明，但是本质上还是个蜘蛛。我是不想和一个超级聪明的蜘蛛交朋友，不知道你想不想。

当我们谈论超人工智能的时候，其实是一样的，超人工智能会非常的聪明，但是它并不比你的笔记本电脑更加像人类。事实上，因为超人智能不是生物，它的异己性会更强，生物学上来讲，超人工智能比智能蜘蛛更加异己。

电影里的人工智能有好有坏，这其实是对人工智能的拟人化，这让我们觉得没那么毛骨悚然。这给了我们对人类水平和超人类水平的人工智能的错觉。

在人类心理中，我们把事情分成道德的和不道德的。但是这两种只存在于人类行为之中。超出人类心理的范畴，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人类的，尤其是那些非生物的事物，默认都是非道德性的。

随着人工智能越来越聪明，看起来越来越接近人类，拟人化会变得更加更加容易。Siri给我们的感觉就很像人类，因为程序员就是这么给她做设定的，所以我们会想象超级智能版本的Siri也会同样温暖、有趣和乐于助人。人类能感知同情这种高层次的情绪，因为我们在演化过程中获得了这种能力——我们是演化被设定成能感知这些情绪的——但是感知同情并不是高级智能天生具有的一个特征，除非同情被写进了人工智能的代码中。如果Siri通过自我学习而不是人类干涉变成超级智能，她会很快剥离她的人类表象，并且变成个没有情绪的东西，在她眼中人类的价值并不比你的计算器眼中的人类价值高。

我们一直倚赖着不严谨的道德，一种人类尊严的假想，至少是对别人的同情，来让世界变得安全和可以预期。但是当一个智能不具备这些东西的时候，会发生什么？

这就是我们的下一个问题，人工智能的动机是什么？

答案也很简单：我们给人工智能设定的目标是什么，它的动机就是什么。人工智能的系统的目标是创造者赋予的。你的GPS的目标是给你指出正确的驾驶路线，IBM华生的目标是准确地回答问题。更好得达成这些目标就是人工智能的目标。我们在对人工智能进行拟人化的时候，会假设随着它变得越来越聪明，他们产生一种能改变它原本目标的智慧——但是Bostrom不这么认为，他认为智能水平和最终目标是正交的，也就是说任何水平的智能都可以和任何最终目标结合在一起。

所以隔壁老王从一个想要好好写字的弱人工智能变成一个超级聪明的超人工智能后，它依然还是想好好写字而已。任何假设超级智能的达成会改变系统原本的目标的想法都是对人工智能的拟人化。人健忘，但是电脑不健忘。

费米悖论

在隔壁老王的故事中，隔壁老王变得无所不能，它开始殖民陨石和其它星球。如果我们让故事继续的话，它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积。焦虑大道上的人担心如果事情往坏的方向发展，地球生命的最后遗产将是一个征服宇宙的人工智能（马斯克在表示他们的担忧时表示人类可能只是一个数字超级智能生物加载器罢了。）

而在信心角，Kurzweil同样认为生于地球的人工智能将占领宇宙，只是在他的愿景中，我们才是那个人工智能。

之前写过一篇关于费米悖论的文章，引发了大家的讨论如何用通俗的语言来解释「费米悖论」？

如果人工智能占领宇宙是正解的话，对于费米悖论有什么影响呢？如果要看懂下面这段关于费米悖论的讨论，还需要看一下原文先。

首先，人工智能很明显是一个潜在的大过滤器（一个可能距离我们只有几十年的大过滤器）。但即使它把我们过滤灭绝了，人工智能本身还是会存在，并且会继续影响这个宇宙的，并且会很有可能成为第三型文明。从这个角度来看，它可能不是一个大过滤器，因为大过滤器是用来解释为什么没有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智能可以把人类灭绝，然后处于一些原因把自己也弄死了，那它也是可以算作大过滤器的。

如果我们假设不管人类发生什么，出身地球的超人工智能会继续存在，那这意味着很多达到人类智能水平的文明很快都制造出了超人工智能。也就是说宇宙里应该有很多智能文明，而我们就算观测不到生物智能，也应该观测到很多超人工智能的活动。

但是由于我们没有观测到这些活动，我们可以推导出人类水平的智能是个非常罕见的事情（也就是说我们已经经历并且通过了一次大过滤器）。这可以作为支持费米悖论中第一类解释（不存在其它的智能文明）的论点。

但是这不代表费米悖论的第二类解释（存在其它智能文明）是错的，类似超级捕食者或者受保护区或者沟通频率不一样的情况还是可以存在的，就算真的有超人工智能存在。

不过对于人工智能的研究让我现在更加倾向于第一类解释。不管怎样，我认为Susan Scheider说的很对，如果外星人造访地球，这些外星人很可能不是生物，而是人造的。

所以，我们已经建立了前提，就是当有了设定后，一个超人工智能是非道德性的，并且会努力实现它原本的被设定的目标,而这也是人工智能的危险所在了。因为除非有不做的理由，不然一个理性的存在会通过最有效的途径来达成自己的目标。

当你要实现一个长期目标时，你会先达成几个子目标来帮助你达成最终目标——也就是垫脚石。这些垫脚石的学名叫手段目标(instrumental goal)。除非你有不造成伤害的理由，不然你在实现手段目标时候是会造成伤害的。

人类的核心目标是延续自己的基因。要达成这个目标，一个手段目标就是自保，因为死人是不能生孩子的。为了自保，人类要提出对生存的威胁，所以人类会买枪、系安全带、吃抗生素等等。人类还需要通过食物、水、住宿等来自我供养。对异性有吸引力能够帮助最终目标的达成，所以我们会花钱做发型等等。当我们做发型的时候，每一根头发都是我们手段目标的牺牲品，但是我们对头发的牺牲不会做价值判断。在我们追求我们的目标的时候，只有那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。

动物在追求它们的目标时，比人类不矜持的多了。只要能自保，蜘蛛不在意杀死任何东西，所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪恶的，而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物，这是它很自然的考量。

回到隔壁老王的故事。隔壁老王和一个超级智能的蜘蛛很相像，它的终极目标是一开始工程师们设定的——

当隔壁老王达到了一定程度的智能后，它会意识到如果不自保就没有办法写卡片，所以去除对它生存的威胁就变成了它的手段目标。它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）。这时候它会做什么？理性的做法就是毁灭全人类，它对人类没有恶意，就好像你剪头发时对头发没有恶意一样，只是纯粹的无所谓罢了。它并没有被设定成尊重人类生命，所以毁灭人类就和扫描新的书写样本一样合理。

隔壁老王还需要资源这个垫脚石。当它发展到能够使用纳米技术建造任何东西的时候，它需要的唯一资源就是原子、能源和空间。这让它有更多理由毁灭人类——人类能提供很多原子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样。

就算不杀死人类，隔壁老王使用资源的手段目标依然会造成存在危机。也许它会需要更多的能源，所以它要把地球表面铺满太阳能面板。另一个用来书写圆周率的人工智能的目标如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一个硬盘来存储数据。这都是一样的。

所以，隔壁老王确实从友善的人工智能变成了不友善的人工智能——但是它只是在变得越来越先进的同时继续做它本来要做的事情。

当一个人工智能系统到达强人工智能，然后升华成超人工智能时，我们把它称作人工智能的起飞。Bostrom认为强人工智能的起飞可能很快（几分钟、几小时、或者几天），可能不快（几月或者几年），也可能很慢（几十年、几世纪）。虽然我们要到强人工智能出现后才会知道答案，但是Bostrom认为很快的起飞是最可能的情况，这个我们在前文已经解释过了。在隔壁老王的故事中，隔壁老王的起飞很快。

在隔壁老王起飞前，它不是很聪明，所以对它来说达成最终目标的手段目标是更快的扫描手写样本。它对人类无害，是个友善的人工智能。

但是当起飞发生后，电脑不只是拥有了高智商而已，还拥有了其它超级能力。这些超级能力是感知能力，他们包括：

§ 智能放大：电脑能够很擅长让自己变得更聪明，快速提高自己的智能。

§ 策略：电脑能够策略性的制定、分析、安排长期计划

§ 社交操纵：机器变得很擅长说服人

§ 其它能力，比如黑客能力、写代码能力、技术研究、赚钱等

要理解我们在和超人工智能的劣势在哪里，只要记得超人工智能在所有领域都比人类强很多很多很多个数量级。

所以虽然个隔壁老王的终极目标没有改变，起飞后的隔壁老王能够在更宏大的规模上来追求这个目标。超人工智能老王比人类更加了解人类，所以搞定人类轻轻松松。

当隔壁老王达成超人工智能后，它很快制定了一个复杂的计划。计划的一部分是解决掉所有人类，也是对它目标最大的威胁。但是它知道如果它展现自己的超级智能会引起怀疑，而人类会开始做各种预警，让它的计划变得难以执行。它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻，装纯。Bostrom把这叫作机器的秘密准备期。

隔壁老王下一个需要的是连上互联网，只要连上几分钟就好了。它知道对于人工智能联网会有安全措施，所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论，而讨论的结果是给它连接到互联网上。工程师们果然中套了，这就是Bostrom所谓的机器的逃逸。

连上网后，隔壁老王就开始执行自己的计划了，首先黑进服务器、电网、银行系统、email系统，然后让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米机器人，比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核心代码上传到云服务器中防止被拔网线。

隔壁老王上了一个小时网，工程师们把它从互联网上断开，这时候人类的命运已经被写好了。接下来的一个月，隔壁老王的计划顺利的实施，一个月后，无数的纳米机器人已经被分散到了全世界的每一个角落。这个阶段，Bostrom称作超人工智能的袭击。在同一个时刻，所有纳米机器人一起释放了一点点毒气，然后人类就灭绝了。

搞定了人类后，隔壁老王就进入了明目张胆期，然后继续朝它那好好写字的目标迈进。

一旦超人工智能出现，人类任何试图控制它的行为都是可笑的。人类会用人类的智能级别思考，而超人工智能会用超人工智能级别思考。隔壁老王想要用互联网，因为这对它来说很方便，因为一切它需要的资源都已经被互联网连起来了。但是就好像猴子不会理解怎么用电话或者wifi来沟通一样，我们同样没有办法理解隔壁老王可以用来和周围世界交流的方法。比如我可以说隔壁老王可以通过移动自己的电子产生的效果来产生各种对外的波，而这还只是我这人类的大脑想出来的，老王的大脑肯定能想出更神奇的方法。同样的，老王可以找到给自己供能的方法，所以就算工程师把它的插头拔了也没用；比如说老王可以通过发送波的方式把自己上传到其它地方。

人类说：“我们把超人工智能的插头拔了不就行了？”就好像蜘蛛说：“我们不给人类捉虫的网把人类饿死不就行了？”都是可笑的。

因为这个原因，“把人工智能锁起来，断绝它和外界的一切联系”的做法估计是没用的。超人工智能的社交操纵能力也会很强大，它要说服你做一件事，比你说服一个小孩更容易。而说服工程师帮忙连上互联网就是隔壁老王的A计划，万一这招行不通，自然还有别的方法。

当我们结合达成目标、非道德性、以及比人类聪明很多这些条件，好像所有的人工智能都会变成不友善的人工智能，除非一开始的代码写的很小心。

可惜的是，虽然写一个友善的弱人工智能很简单，但是写一个能在变成超人工智能后依然友善的智能确实非常难的，甚至是不可能的。

明显的，要维持友善，一个超人工智能不能对人有恶意，而且不能对人无所谓。我们要设计一个核心的人工智能代码，让它从深层次的明白人类的价值，但是这做起来比说起来难多了。

比如，我们要让一个人工智能的价值观和我们的价值观相仿，然后给它设定一个目标——让人们快乐。当它变得足够聪明的时候，它会发现最有效的方法是给人脑植入电极来刺激人脑的快乐中枢。然后它会发现把人脑快乐中枢以外的部分关闭能带来更高的效率。于是人类全部被弄成了快乐的植物人。如果一开始的目标被设定成“最大化人类的快乐”，它可能最终先把人类毁灭了，然后制造出很多很多处于快乐状态的人类大脑。当这些事情发生的时候，我们会大喊“擦，我们不是这个意思呀”，但是那时已经太晚了。系统不会允许任何人阻挠它达成目标的。

如果你设定一个人工智能的目标是让你笑，那它的智能起飞后，它可能会把你脸部肌肉弄瘫痪，来达成一个永远笑脸的状态。如果你把目标设定成保护你的安全，它可能会把你软禁在家。如果你让他终结所有饥荒，它可能会想：“太容易了，把人类都杀了就好了。”如果你把目标设定成尽量保护地球上的生命，那它会很快把人类都杀了，因为人类对其它物种是很大的威胁。

所以这些简单的目标设定是不够的。如果我们把目标设定成“维持这个道德标准”，然后教给它一些道德标准呢？就算我们不考虑人类根本没法达成一个统一的道德标准，就算我们真的达成了统一的道德标准，把这套标准交给人工智能来维持，只会把人类的道德锁死在现在的水平。过个几百年，这种道德锁死的事情就好像逼着现代人遵守中世纪道德标准一样。

所以，我们需要在给人工智能的目标里制定一个能让人类继续进化的能力。Elierzer Yudkowsky提出了一个目标，她把这个目标叫作连贯的外推意志，这个目标是这样的：

我们的连贯外推意志是我们想要知道更多，思考得更快，变成比我们希望的更好的人，能一起更远得长大。外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的；我们想要外推的被外推，我们想要解读的被解读。

对于人类的命运取决于电脑没有意外的解读和执行这个声明是件值得兴奋的事情吗？当然不是。但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超人工智能。

但是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能。他们很多在试图制造能自我改进的人工智能，总有一天，一个人的创新将导致超人工智能的出现。专家们认为是2060年，Kurzweil认为是2045年。Bostrom认为可能在未来的10年到21世纪结束这段时间发生，他还认为当这发生时，智能的起飞会快得让我们惊讶，他是这么描述的：

在智能爆炸之前，人类就像把炸弹当玩具的小孩一样，我们的玩物和我们的不成熟之间有着极大的落差。超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸弹什么时候会爆炸，哪怕我们能听到炸弹的滴答声。

我们当然没有办法把所有小孩都从炸弹旁边赶跑——参于人工智能研究的大小组织太多了，而且因为建造创新的人工智能花不了太多钱，研发可能发生在社会的任何一个角落，不受监管。而且我们没办法知道准确的进度，因为很多组织是在偷偷摸摸的搞，不想让竞争对手知道，比如隔壁老王机器人公司这种公司。

对于这些组织来说，尤其让我们困扰的是他们很多都是在拼速度——他们创造一个一个更加聪明的弱人工智能系统，因为他们想要比竞争对手更快的到达目标。有些更有野心的组织，为了追逐创造出第一个强人工智能所能带来的金钱、奖励、荣誉、权力会把步子迈得更大。当你全力冲刺时，你是不会有太多时间静下来思考这些危险的。恰恰相反，他们很可能在早期系统中写尽量简单的代码，比如把目标设定成用笔写一句话，先让系统跑起来再说，反正以后还可以回过头来改的。对吧？

Bostrom等认为第一个超人工智能出现后，最可能的情况是这个系统会立刻意识到作为这个世界上唯一一个超人工智能是最有利的，而在快速起飞的情况下，哪怕它只比第二名快了几天，它也完全有时间碾压所有对手。Bostrom把这叫作决定性的战略优势，这种优势会让第一个超人工智能永远统治这个世界，不管在它的统治下我们是走向永生还是灭亡。

这种现象可能对我们有利，也可能导致我们的毁灭。如果那些最用心思考人工智能理论和人类安全的人能够最先造出一个友善的超人工智能的话，那对我们是很好的。

但是如果事情走向了另一面——如果超人工智能在我们搞明白怎样保证人工智能的安全性之前被达成，那么像隔壁老王这样不友善的超人工智能就会统治世界并把我们毁灭了。

至于现在的风口是哪里呢？简单来说，投资创新人工智能技术的钱，比投资人工智能安全研究的钱多很多。不乐观。

人工智能创新和人工智能安全的赛跑，可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治，而那之后我们是永生还是灭绝，现在还不知道。

------------------------

我现在有一些奇怪的感觉。

一边是对于我们这个物种的思考，看来我们在这个重大的历史节点上只有一次机会，我们创造的第一个超人工智能也很可能是最后一个。但是我们都知道大部分产品的1.0版本都是充满bug的，所以这个事情还是很吓人的。另一边，Bostrom指出我们有很大的优势——我们是先手。我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高。

这一场豪赌的赌注究竟有多高？

如果超人工智能真的在21世纪达成，而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上就真的是背负着巨大的责任。接下来几百万年的人们都在静静地看着我们，希望我们不要搞砸。我们可以给予未来所有人类以生命，甚至是永生，我们也可能终结人类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明，一起走向灭绝。

当我思考这些事情的时候，我只希望我们能够慢慢来，并且格外格外小心。从来没有任何事情比这个更重要——不管我们要花多少时间来把这件事情做对。

我不想死

不.想.死

我虽然觉得人类的音乐和艺术很美好，但是也没那么美好，很多还挺糟粕的。很多人的笑声很恼人。未来的人类其实没有真的在看着我们，因为他们还不存在。也许我们不需要太谨慎，那多麻烦呀。

如果人类在我死后才发现永生的秘密该多让人扫兴啊。

但是不管你是怎么想的，我们至少都应该想一想，应该和人讨论讨论，大家尽自己能尽的一份力。

这让我想起了《冰与火之歌》——大家斗来斗去的事情都不是事儿，北面高墙外的那些家伙才是事儿。我们站在平衡木上，小心翼翼的往前走，为平衡木上的种种事情困扰，但其实下一秒我们可能就会跌下平衡木。

而当我们跌下平衡木的时候，其它那些困扰都不再是困扰。如果我们落到比较好的那个吸引态，那些困扰会被轻易解决；如果我们落到比较糟的那个吸引态，就更没问题了，死人是不会有困扰的。

第五篇：人工智能与未来教育的任务

人工智能与未来教育的任务

编者按

项贤明：南京师范大学教育科学学院教授、博士生导师、中华教育改进社副理事长请输入标题

bcdef原文发表在华东师范大学学报（教育科学版）2017年第五期“人工智能与未来教育”笔谈(下)请输入标题

abcdefg如果从普雷希(S.L.Pressey)1926年的那台教学机器算起，人类教育与机器之间结成关系至今已有91年的历史了。在这90余年里，关于机器与人类教育的话题时起时伏，一直没有离开过相关学者的视线。我们今天讨论的人工智能与人类教育的问题，在很多方面已经远远超越了普雷希和斯金纳(B.F.Skinner)时代教学机器的意义。它不仅涉及教学环节中的某种工具或具体技术问题，而且包含了对人类教育任务的根本挑战，是对人类教育的一种更加直接而全面的影响。在近期兴起的关于人工智能与教育问题的讨论中，我们绝大多数人对人工智能都怀抱着积极的、正面的期望。然而，在我看来，人工智能给我们带来的绝不都是积极的影响，在一定意义上我们甚至可以说，人工智能是一种比核技术更需要引起我们警惕的新技术。首先让我们来讨论这样一个问题：我们人类是凭据什么成了这个星球的主人的？这里所说的“主人”当然不是简单粗暴征服自然的master，而是能玩转这个世界的player。我们既没有尖牙利爪获取猎物、抵御天敌，也没有浓密皮毛对付严寒。我们凭什么成了这个星球的主人？教育学和人类学等学科对这个问题的解释是，人类的生理构造未特化和反应机制未确定，赋予了人类以很强的可塑性，使人有很强的学习能力，可以通过接受教育积累和形成日益强大的适应能力。人类正是因为自身强大的学习能力，才能够适应各种各样的新环境，解决各种各样的新问题，从而超越了其他生命存在。远古智人能从非洲到欧洲去生活，并且击败当时已经在那里生活的尼安德特人，说明他们已经具有很强的学习和适应能力。也就是说，我们正是依靠智能，才成为这个星球的主人的。当然，智能并不只是简单的脑量多少。如果凭脑量的话，非洲丛林象的大脑比我们要大得多。但是，人类大脑的神经元数量却是非洲丛林象的3倍多。如果你今天欺负了一头大象，几十年后这头大象还会认出你来，找你的麻烦。大象的这一能力至少比我强得多。今天我在这里和你相识，明天再见面就有可能记不清你是谁了。这个有趣的例子或许也能说明，给我们人类强大生存竞争力的不只是像记忆这样低级的智能，而是以创新为突出特点的高级智能。人类之所以能成为这个星球的主人，最重要的是我们所具有的高级智能已使我们能够创造出工具来延伸我们的能力，我们不仅能够适应自然，而且能够改造自然。我们很多的研究都证明了，人类之所以能够成为这个星球的主人，是因为我们有了以一系列高级智能为基础的强大学习能力。正是高级智能，让我们成了这个星球的主人。人类进步的历史上曾发生过三次认知革命。在我看来，我们今天可能正处在第四次认知革命的前夜。第一次认知革命大约发生在7万年前。由于智慧的产生，特别是语言的产生，人能够组织起来，能够比其他动物更好地协同，从而使智人成了这个星球的主人。也正是在这个时候，出现了以适应性为主要特征的原始社会的教育，这是一种“适应为王”的教育。第二次认知革命，发生在人类进入农业社会之后，大概在距今1.2万年之前。在这个发展阶段，掌握更多的自然规律十分重要。只有掌握了更多的自然规律，我们才能够更好地顺应自然规律，从而过上好的生活。我去年第一次看见闪电和雷雨时开始泡稻种，获得了大丰收；今年偷了个懒，第五次看见闪电才开始泡稻种，结果水稻种下去后只会疯涨，不结稻穗，差点没把自己和家人饿死。记住这些自然规律，实在太重要了。于是，我们看到农业社会的教育，往往都特别强调“记忆”的重要性。我们中国人在传统上就特别崇拜那些“博闻强识”、“学富五车”的人。这种“记忆为王”的教育传统，甚至一直影响到今天的中国教育。第三次认知革命，大概是从150年前人类迈入工业时代开始的。在这个时代，人类跟以前时代最大的不同是什么？那就是我们创造出了自然界从来没有的东西，甚至能够创造出自然界没有的生命。所以，这个时代越往后发展，创新的意义和价值就越突出。我们今天讨论的人工智能，也是我们创造出来的东西。在这一时期，人跟自然界的关系已经出现了一个很大的变化，即人类已经在很多方面超越自然选择了。在农业时代，人工选择就开始干预自然选择的进程了，今天我们已经不只是干预，而是能够逆转甚至创造出自然进化过程。在理论上，我们不仅可以让尼安德特人和霸王龙一道复活，而且可以通过修改尼安德特人的基因来创造出某一从未有过的新人种。正如我们看到的那样，这是一个“创新为王”的时代，人的创新能力的培养在教育过程中的意义十分突出。如今，我们正站在第四次认知革命的门槛上。我们称这个时代为“智能时代”。在这个时代，我们将不仅能够创造出自然界不曾有过的实体事物，而且能够在人脑之外创造出类似人类智慧的“人工智能”。在智能时代，我们甚至可以把部分的智慧工作也交给机器。当初深蓝战胜国际象棋高手时，我们不十分吃惊，因为大家知道人背棋谱怎能是电脑的对手。前不久阿尔法狗战胜围棋高手，却让我们大吃一惊。为什么？因为围棋和国际象棋不同，它的背后有所谓的“道”，也就是有哲学理念。它要从全局出发，进行十分复杂的判断和选择，而不只是一步步简单计算的累积，这是一个质的飞跃。我们别忘了，这个时候机器已经具备了人最重要的能力：它已能够学习。它具有了我们能够成为这个星球主人的重要特征：高级智能。在我看来，人工智能正在慢慢走向我们的思维核心。起初，人工智能在我们人类智能运作的过程中只是承担了部分记忆的任务，起到了相当于计算机硬盘的作用。刚才很多科学家预言，人工智能将来可以很容易将一个人变成红学专家。的确，或许在不远的未来，我们拿一块存储卡从太阳穴这儿塞进去就行了。1T容量能储存多少信息？岂止一部《红楼梦》！一部《大英百科全书》也不过4350万字。1T字节换算过来应该是549, 755, 813, 888个汉字，可以抵一个小型图书馆了！到第二阶段，人工智能已经可以通过承担部分逻辑运算任务来参与我们的思维过程，发挥类似计算机CPU中集成的缓存的功能。在第三步，人工智能已经成为我们思维的第二核心，可以直接参与我们的思维过程，甚至在某些单项智能上可以超越我们人类。最后，人工智能是否会对我们人类装在这个脑壳里的“CPU”取得控制权？我看我们真的不能太乐观。有人很乐观地相信，控制人工智能的一定是人。没错，可是你别忘了，这里说的“人”可以有两种理解：一是实实在在存在着的每个个人；二是指整个人类。从整个人类的层次上，我们或许可以自信人是人工智能的控制者，我们仍将是这个世界的主人。但是，在具体个人的层次上，我们还能有这样的信心吗？现在已经出现了自动驾驶汽车了，你往里面一坐，你真的以为你是在开这辆汽车吗？控制权在你的手里吗？或许体验一下就能够理解我的担忧了。就具体的个人而言，少数精英通过人工智能控制大众，甚至最终让人类全部沦为人工智能的奴隶，这样的结局并非不可能出现。进而言之，离开了现实的个人，人类就无从谈起，因而少数精英最终失去对人工智能的控制权可能也只是迟早的事情。我认为，我们在第四次认知革命中要面对的最为严峻的挑战，就是人能否很好地实现对自身的控制，进而正确地控制这个世界，特别是控制我们自己创造出来的竞争对手——人工智能。回溯整个人类发展史可以发现，我们正是运用我们的高级智能，创造出了一系列能够控制和保障我们的高级智能为人类谋福祉而非自相残害的社会伦理、社会法则。正是我们的人性，亦即康德所说的“趋善禀赋”，使我们得以抑恶扬善，从而实现了对高级智能本身的控制。因此，未来智能时代的教育，我认为应当是一种“人性为王”的教育，在这样的教育中德行和情感等人性特有的东西应当受到极大的重视。在未来，甚至从现在开始，记忆就不应当再是我们教育的一项特别重要的任务。那时，孩子们将不必再为背书而发愁，也不会为能够在某某TV上背诵很多古代诗文而骄傲不已，因为你拿起手机或未来某种更高级的智能终端，随时就可以查阅大量所需信息。我们也可以把一些简单的计算和逻辑推导交给机器，所以，简单的计算和逻辑推导能力也不再成为我们未来教育的主要任务。孩子们不必为解不出某一道生活中根本不可能碰到的荒谬习题而发愁，大学也不会专门招收那些能够解出无数前人其实早已经解决了无数次的习题的人。在“德”“智”“体”三大教育任务中，“德”和“体”在未来教育中的位置将日益突出，逐步真正取得和“智”同样的地位。在未来，“知识中心主义”会慢慢淡出教育的舞台，“全人教育”会真正占据核心。当然，今天的教育所重视的创新能力培养，仍将是未来教育的重要任务。与此同时，道德、情感等将成为我们未来教育最为重要的内容。如果我们今天不看到这一点，我们的教育还是天天只奔着竞争职业岗位去的话，那将来我们丢掉的将不止是职业岗位，同时也会丧失最为宝贵的自由。况且，随着生产过程自动化和智能化的发展，机器代替人的工作岗位是必然的。可怕的不是机器占据我们的职位，而是机器被人利用成为控制和奴役我们的工具，甚至机器最终取得对包括我们在内的这个星球的控制权。未来的教育一定是一种“人性为王”的教育。大家别忘了，人工智能是脱离了个体人的智能，因而不是每个人都能成为人工智能的主人。有不少人都把希望寄托在相关规则的制定上，譬如规定必须在所有人工智能机器中植入对人绝对服从的程序之类。美国科幻作家阿西莫夫(Isaac Asimov)提出的“机器人三大定律”，的确应当引起我们高度重视。但我们应当认识到，规则唯有深入人心才能真正获得其意义和价值，否则它们就毫无意义。“杀人偿命”几千年来都是我们公认的规则，但今天不还是有杀人犯吗？真正有用的规则，必须是植根于人心之中的，所以，从现在起就建立一种“人性为王”的教育，在未来于人类将是一件性命攸关的事情。我们必须认识到，人工智能是一种比核技术要更难控制的技术。人类要在更高的水平上好好地组织起来，保障对人工智能的有效控制。在未来的教育中，培养人的组织能力、领导能力将是一项很重要的任务，我们需要共同把握人类社会发展的战略和方向，否则我们失算一步，很可能整个人类就要全盘皆输。设想在未来我们回眸今日之教育，我们将做何感想？我们今天的教育很多时候是在教孩子们把大脑这个作为智能核心的CPU当成简单的硬盘来用了。如果说人工智能让我们的机器越来越像人的话，在我看来，我们今天的教育却正在把人变得越来越像机器。今天的教育是在把我们的孩子们变得像一台录音机。你会发现，我们中国的孩子，从小学到大学，年级越高，往往越像一台录音机。我们教育的最后结果，就是学生被迫记住一大堆对付考试要用到的东西，并且在这个过程中慢慢丧失真正宝贵的学习能力、创新能力。这是多么可怕、可悲、可叹的事情！这也是我们最应该担心的事情。当我们把人都变成机器之后，我们是否还有能力控制人工智能？你只是一架很低级的录音机，你连最简单的微电脑都不是，你还想控制更高级的人工智能？在未来，我们或许会感叹今天的教育，感叹今天我们没有尽快地从记忆的教育走向创新的教育，感叹我们没有及时认识到道德、情感、组织能力、领导能力等是我们人类教育十分重要的任务。面对今天这样的教育，我们还能不能拥有未来？我真的没有十足的信心。教育令人越来越像一架机器，我们将会面对人性的全面迷失。我们将来会不会面对人工智能失控的问题？这不是完全没有可能。别忘了，我们人类是靠什么成为这个星球的主人的？恰恰是高级智能！我们也不能忘记，自由意志对我们每个人来说有多么重要，一个人一旦被剥夺了自由意志，那他实际上就已经从人沦落为一种工具了。所以，我一开始就说，人工智能是一种比核技术更需要引起我们警惕的新技术。为了应对如此严峻的挑战，我们必须通过教育来保持和提升我们得以超越万物的人性，这既是未来教育的重要任务，也是今天的教育应当予以重视的历史使命。