人机对齐

    □ 王永芳

    如果未来出现一个比人类聪明得多的AI，你最担心什么？它会不会伤害人类？

    本周《读+》封面，我们关注AI立法，最近我脑子里总是浮现与之相关的“人机对齐”的问题。

    乍看之下，“对齐”似乎很简单。我们告诉AI：“让人类幸福”“提高公司利润”“保护环境”，它照做不就行了？

    但，一句人类语言，远远不是一个完整的目标函数。比如我们告诉AI：“最大化公司利润。”我们普通员工会自动理解：合法经营、维护客户关系、考虑长期发展，别为了赚钱把公司搞死。但一个能力极强、没有足够约束的AI，可能发现：垄断、操纵市场甚至影响监管，比正常经营更容易实现“利润最大化”。它就这么做了，可能把任务完成得非常漂亮，但结果不是我们想要的。

    我们写下的目标，不一定等于我们真正想要的目标。这是“对齐”最经典的问题之一。

    电影《机器人总动员》提供了一个有意思的思想实验。在电影中，人类把照顾自己的任务交给了高度自动化的系统。然后AI几乎完美地满足了人类的需求：吃饭有人送，移动有人代劳，娱乐无处不在，生活舒适得不得了。

    可是最后的人类变成了什么？越来越舒服，也越来越无能。

    所以，“对齐”并不只是“AI不要伤害人类”。更深的问题是：AI究竟应该帮助我们什么？

    如果人类说：“让我幸福。”AI发现最简单的方法是让我们永远沉浸在虚拟快乐里，它算不算完成任务？如果我们说：“让我健康。”它是不是应该禁止一切高风险运动、探险旅行？如果我们说：“提高社会效率。”它是不是应该减少一切低效率的人类行为，包括那些看起来“没用”的艺术、闲聊、恋爱？

    AI越聪明，这个问题可能越严重。一个弱AI理解错了，可能只是把你的文件整乱；一个超级AI理解错了，可能会调动资金、控制机器人、编写程序、复制自己，甚至影响整个社会。一个很小的“目标偏差”，乘上巨大的执行能力，可能产生严重的后果。

    更麻烦的是，人类自己都没有完全“对齐”。

    于是“对齐”变成了一个哲学问题：到底什么才是人类真正想要的？它又进一步变成了政治问题：谁有资格定义“人类真正想要什么”？

    过去，谁控制土地，谁拥有权力；工业时代，谁控制能源和生产能力，谁拥有权力；信息时代，谁控制信息和网络，谁就拥有影响社会的能力；AI时代可能出现一种更加深层的权力：谁能够定义超级智能的目标，谁就可能拥有前所未有的权力。

    当我们创造出一个可能比自己更聪明、更强大、更高效的智能时，我们究竟希望它与人类形成什么关系？

    也许，真正成熟的“对齐”，不应该只是让AI学会服从人类，而应该让AI理解什么事情应该替人类做，什么事情必须留给人类自己去做。

    这或许是我们与超级智能共存的真正起点。