中国科学院院士何积丰：AI 让隐私泄露多样化，要用对齐技术为大模型设好“紧箍咒”

2023-09-08 08:46:12来源：界面新闻

文章导读: 界面新闻记者 | 程璐 9月7日，2023Inclusion·外滩大会在上海黄浦世博园正式开幕，未来三天里近20位“两院”院士、诺贝尔奖和图灵奖得主，以及全球超500位的科技领军企业和专家学者，将在此带来思想碰撞。中国科学院院士何积丰看到，当前模型的通用能力正在“无孔不入”地应用到人类生产生活的各个场景中，但由此带来的安全隐私问题也在显现。如何解决这一隐患，何积丰认为，应当利用对齐技术为大模型戴上紧箍咒。大模型的安全问题主要是在...

界面新闻记者 | 程璐

9月7日，2023Inclusion·外滩大会在上海黄浦世博园正式开幕，未来三天里近20位“两院”院士、诺贝尔奖和图灵奖得主，以及全球超500位的科技领军企业和专家学者，将在此带来思想碰撞。

中国科学院院士何积丰看到，当前模型的通用能力正在“无孔不入”地应用到人类生产生活的各个场景中，但由此带来的安全隐私问题也在显现。

如何解决这一隐患，何积丰认为，应当利用对齐技术为大模型戴上紧箍咒。

中国科学院院士何积丰：AI 让隐私泄露多样化，要用对齐技术为大模型设好“紧箍咒”

大模型的安全问题主要是在未经同意的情况下，收集、使用和泄露个人信息。何积丰院士表示，隐私问题既可能发生在训练过程，也可能发生在使用过程中，而大模型的生成能力则让“隐私泄露”的方式变得多样化，造成隐私保护更加困难。

“为了应对这些问题，融易新媒体消息，我们需要大模型对齐技术。”何积丰说，“对齐（alignment）”是指系统的目标和人类价值观一致，使其符合设计者的利益和预期，不会产生意外的有害后果。如果把人工智能看作西游记里的孙悟空，“对齐”就是唐僧的紧箍咒。有了紧箍咒，就可以保证技术不会任意使用能力胡作非为。

不过，要想应用对齐技术，同样面临着多重挑战。

首先，是对齐的基础，人类的价值观是多元且动态变化的，需要保证大模型为人服务、与人为善；其次，大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正，设好大模型的“紧箍咒”也是挑战。

因此对齐技术已经成为了一项令人眼花缭乱的跨学科研究，不仅考验技术，也审视文化。

何积丰介绍，反馈强化学习是实现对齐的技术途径，目前有两种方式，一种方式是通过人工反馈给模型不同的奖励信号，引导模型的高质量输出；另一种方式，事先给大模型提供明确的原则，系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着，不仅智能系统需要向人类价值观对齐，人类的训练方法也要向价值观对齐。”何积丰说。