马斯克等千名科技人士发公开信：暂停训练比GPT-4更强大的AI系统

　　这封信号令，所有人工智能尝试室当即暂停练习比GPT-4更强大的人工智能系统至少6个月。这种暂停应该是果真的和可验证的，而且包罗所有要害参加者。假如不能迅速实施这种暂停，当局应参与并实行暂停。

　　“我此刻并不担忧‘AGI风险’(我们无法控制的超等智能呆板的风险)，在短期内我担忧的是‘MAI风险’——平庸人工智能(Mediocre AI)是不行靠的(好比必应和GPT-4)但被遍及陈设。”

　　最近几天，人工智能风险激发了多位科技首脑的深切担心。

　　首先是被称为“人工智能教父”的杰弗里·辛顿(Geoffrey Hinton)，他上周在接管哥伦比亚广播公司采访时暗示，人工智能大概成长到对人类组成威胁“并非不行想象”的境地。

　　随后，AI“大牛”盖瑞·马库斯(Gary Marcus)3月27日发推响应辛顿，28日又颁发题为“人工智能风险≠通用人工智能风险”的文章，称超等智能大概会也大概不会迫在眉睫，但在短期内，需要担忧“MAI(平庸人工智能)风险”。

　　27日，推特CEO伊隆·马斯克也插手进来，表达对辛顿和马库斯的附和。

　　马斯克在社交网络上与杰弗里·辛顿和盖瑞·马库斯互动。

　　29日，将来生命研究所(Future of Life Institute)发布一封果真信，号令所有AI尝试室当即暂停练习比GPT-4更强大的AI系统至少6个月。辛顿、马库斯和马斯克均签署了这封果真信。

　　“加速开拓强大的AI管理系统”

　　将来生命研究所的这封果真信题为“暂停巨型AI尝试：一封果真信”，于29日解封。

将来生命研究所的果真信已有1079人签署。

　　信中写道：遍及的研究表白，具有与人类竞争智能的人工智能系统大概对社会和人类组成深远的风险，这一概念获得了顶级人工智能尝试室的认可。正如遍及承认的阿西洛马人工智能原则(Asilomar AI Principles，阿西莫夫的呆板人三大法例的扩展版本，于2017年由近千名流工智能和呆板人专家签署)中所述，高级AI大概代表地球生命史上的深刻变革，应该以相应的看护和资源举办筹划和打点。不幸的是，这种级此外筹划和打点并没有产生，尽量最近几个月人工智能尝试室陷入了一场失控的比赛，以开拓和陈设更强大的数字思维，没有人——甚至他们的缔造者——能领略、预测或靠得住地控制。

　　“今世人工智能系统此刻在一般任务上变得与人类具有竞争力，我们必需抚心自问：我们是否应该让呆板用宣传和谎话充斥我们的信息渠道？我们是否应该自动化所有事情，包罗令人满足的事情？我们是否应该成长最终大概比我们更多、更智慧，裁减并代替我们的非人类思维？我们应该冒险失去对我们文明的控制吗？”这封信写道，“只有当我们确信它们的影响是努力的而且风险是可控的时候，才应该开拓强大的人工智能系统。这种信心必需有充实的来由，并跟着系统潜在影响的局限而增加。OpenAI最近关于通用人工智能的声明指出，‘在某些时候，在开始练习将来的系统之前举办独立审查大概很重要，而且对付最先进的事情来说，应该同意限制用于建设新模子的计较劲增长。’我们同意。谁人某些时候就是此刻。”

　　这封信号令，所有人工智能尝试室当即暂停练习比GPT-4更强大的人工智能系统至少6个月。这种暂停应该是果真的和可验证的，而且包罗所有要害参加者。假如不能迅速实施这种暂停，当局应参与并实行暂停。人工智能尝试室和独立专家应该操作这次暂停，配合开拓和实施一套用于高级人工智能设计和开拓的共享安详协议，并由独立的外部专家举办严格审计和监视。这些协议应确保遵守它们的系统是安详的，而且无可置疑。这并不料味着总体上暂停AI开拓，只是紧张从奔向不行预测的大型黑盒模子的危险比赛中收回脚步。