1956年的达特茅斯会议（Dartmouth Conference）常常被公认为人工智能的起源。2006年，会议五十年后，当事人重聚达特茅斯。
从中期来看，人工智能可以使我们的工作自动化，带来巨大繁荣和平等。更长远地看，我们对于可以实现的事情没有根本的限制。没有任何物理定律可以排除比以人脑中的粒子排列更高级的计算方式组织粒子的方法。爆炸式过渡是可能的，但它的结局可能与电影不同。正如数学家欧文·约翰·古德在1965年意识到的那样，在科幻作家维纳尔·维格称之为技术奇点之处，具有超人智慧的机器甚至可以进一步重复改进他们的设计。人们可以想象这样的技术胜过金融市场，发明超过人类研究人员，操纵超过人类领导者，并甚至可能用我们无法理解的武器制服我们。而AI短期对我们的影响取决于谁控制它，长期影响取决于它究竟是否可能被控制。
总之，对于人类，超级智能的问世是有史以来要么最好要么最坏的事。人工智能的真正风险不是恶意，而是能力。一个超级聪明的AI会非常擅长实现目标，如果这些目标和我们的不一致，我们就遇到了麻烦。你可能不是蚂蚁邪恶的仇敌，会去恶意踩踏它们，但如果你负责水力发电的绿色能源项目，而在该地区有一个蚁丘要被淹掉，对于蚂蚁那就太糟糕了。不要将人类置于那些蚂蚁的境地。我们应该提前计划。如果一个先进的外星人文明给我们发短信说，“我们几十年后到达”，我们会不会就回复“行，当你到了这里给我们打电话，我们会开灯欢迎”呢？大概不会，但这或多或少正是我们在对付AI时所做的。除了一些小的非营利性机构之外，很少有人致力于这些严肃的研究。
当我们发明火时，我们反复被火搞砸了一些事情，然后发明了灭火器。鉴于拥有更强大的技术譬如核武器、合成生物学和强人工智能，我们应该改为预先计划未来，并希望第一次就把事情弄妥，因为这可能是我们仅有的机会。我们的未来是一个技术日益增长的力量和使用它的智慧之间的竞争。让我们确保智慧胜利。
《十问：霍金沉思录》；作者：（英）史蒂芬·霍金；译者：吴忠超；版本：湖南科学技术出版社 2019年3月
本文问答部分整理自《十问:霍金沉思录》，较原文有删节，由湖南科技出版社授权使用。
整合：小盐
编辑：西西 榕小崧 ； 校对：翟永军
,
