图片源于：https://time.com/7213186/france-paris-ai-summit-anne-bouverot/
去年初的一个晚上，安娜·布弗罗特正忙于一份报告的最后修整，这时她接到了一个紧急电话。
电话是法国总统埃马纽埃尔·马克龙的助手，向她提供担任总统特别代表人工智能的机会。
这个无薪职位将涉及领导法国人工智能行动峰会的准备工作——一个国家元首、科技首席执行官和民间社会代表聚集在一起，寻求为人工智能的未来绘制蓝图的会议。
峰会定于2月10日和11日在总统府爱丽舍宫举行，这将是自去年5月虚拟首尔人工智能峰会以来的第一次此类聚会，也是自2023年11月以来的第一次面对面会议，当时世界领导人聚集在布莱切利公园参加英国首届人工智能安全峰会。
经过深思熟虑，布弗罗特当时担任法国人工智能委员会的联合主席，最终接受了这个职位。
然而，法国的峰会将与其他峰会有所不同。
虽然英国的峰会集中于缓解灾难性风险——例如，人工智能辅助试图制造大规模杀伤性武器的恐怖分子，或未来系统失控——但法国将此次会议重新品牌为“人工智能行动峰会”，将讨论的重点转移到更广泛的风险范围，包括劳动力市场的干扰以及该技术对环境的影响，同时还着眼于机会。
“相比于布莱切利公园，我们将扩大讨论的范围，”布弗罗特表示。
预计出席峰会的嘉宾包括OpenAI首席执行官萨姆·阿尔特曼、谷歌首席执行官桑达尔·皮查伊、欧盟委员会主席乌尔苏拉·冯德莱恩、德国总理奥拉夫·肖尔茨和美国副总统J·D·万斯。
有些人欢迎这一转变，认为这是对人们眼中技术危险的炒作和歇斯底里的必要修正。
而其他人，尤其是一些世界顶尖的人工智能科学家，包括一些曾帮助开发这一领域基本技术的科学家，则担心安全问题被边缘化。
加州大学伯克利分校电气工程与计算机科学教授斯图尔特·拉塞尔说：“对于关注安全的社区来说，安全问题似乎被降级了。”
拉塞尔表示：“表面上看，这似乎是将安全问题降级，以说明‘我们想前进，不会过度监管，我们不会对公司在法国开展业务时施加任何义务’。”
法国峰会在人工智能发展的关键时刻举行，此时顶级公司的首席执行官们认为，该技术将在几年内与人类智能相匹配。
如果对灾难性风险的担忧被认为是夸大的，那么将重点转向迫切的挑战可能有助于防止真正的危害，同时促进创新并全球分配人工智能的益处。
但是，如果人工智能能力的最近飞跃，以及出现的具有欺骗性行为的迹象，是更严重风险的早期警告，那么淡化这些担忧可能会使我们未能为未来的关键挑战做好准备。
布弗罗特与新兴技术的政治并不陌生。
在2010年代初，她曾担任全球移动通信系统协会的总干事，这是一个促进全球电信运营商之间互操作标准的行业机构。
“简而言之，那一角色——虽然主要是电信行业——也是一种外交，”她说。
此后，她在Morpho（现为IDEMIA）担任首席执行官，领导法国面部识别和生物识别公司，直到2017年被收购。
她后来共同创立阿贝奥纳基金会，一个推进“负责任人工智能”的非营利组织。
她在那里的工作使她被任命为法国人工智能委员会的联合主席，制定了国家如何确立自身为人工智能全球领军者的战略。
布弗罗特对人工智能的日益参与实际上是回归其根源。
早在参与电信行业之前，在1990年代初，布弗罗特就在法国高等师范学校获得了人工智能博士学位——一所后来培养出法国人工智能领军人物Mistral AI首席执行官阿图尔·门什的顶级大学。
毕业后，布弗罗特认为人工智能短期内不会对社会产生影响，因此转向了其他领域。
“这就是我当年预测失误的程度，”她在2022年12月的华盛顿人工智能网络播客中开玩笑地说，承认了她早期怀疑的讽刺，因为现在人工智能的影响已是显而易见的。
在布弗罗特的领导下，安全问题将仍然是一个特色，但不再是峰会的唯一焦点，而现在成为五个核心主题之一。
其他主题包括：人工智能用于公共利益的方式、工作的未来、创新与文化以及全球治理。
各个会议是并行的，这意味着参与者无法参加所有讨论。
与英国峰会不同，巴黎的议程并未提及人工智能系统可能失去人类控制的可能性。
布弗罗特说：“今天没有这种风险的证据。”
她表示，英国的人工智能安全峰会是在生成性人工智能热潮的高峰时期进行的，当时像ChatGPT这样的新工具吸引了公众的关注。
“这是一个有点科幻的时刻，”她说，并补充称全球话语权此后已经发生了变化。
早在2023年底，随着英国峰会的临近，人工智能风险讨论的转变迹象已经开始浮现。
批评者将此次活动视为耸人听闻，标题称之为“浪费时间”和“沉迷于末日的杂乱”。
一些长期研究人工智能缺点的研究人员认为，对他们看来具有投机性的担忧淹没了算法偏见和虚假信息等迫在眉睫的危害。
来自牛津互联网研究所的技术与监管教授桑德拉·瓦赫特曾出席布莱切利公园峰会，她表示对生存风险的重视“确实是有问题的”。
“部分问题在于，生存风险的担忧压倒了其他类型的关切，”流行的在线共享开放权重人工智能模型和数据集平台Hugging Face的首席人工智能伦理科学家玛格丽特·米切尔说道。
“我认为许多生存伤害的论述并没有转化为政策制定者可以立即采取的具体措施，”她补充说。
在英国峰会开幕日，时任美国副总统的卡马拉·哈里斯在伦敦发表讲话：“当一位老年人因一个有缺陷的人工智能算法被踢出医疗计划时，这对他而言难道不是生存问题吗？”
她试图强调人工智能的近期风险，而不是峰会所关注的人类潜在威胁。
布弗罗特认识到需要重新构建人工智能讨论，她表示，法国峰会将反映出语气的变化。
“我们没有在全球话语中做出改变，”布弗罗特说，补充称，重点现在完全放在技术的具体影响上。
“我们对这个实际上是人们现在讨论的内容感到相当开心。”
法国峰会预期将采取的一项行动是建立一个新基金会，其名称尚未命名，旨在确保人工智能的利益能够得到广泛分配，例如通过开发代表性语言的公共数据集或科学数据库。
布弗罗特指出谷歌深思的AlphaFold，这是一个以空前的精确度预测蛋白质结构的人工智能模型——可能加速研究和药物发现——是公共数据集价值的一个例子。
AlphaFold是基于一个巨大的公共数据库进行训练的，生物学家几十年来将发现成果仔细提交给该数据库。
“我们需要能够开发更多这样的数据库，”布弗罗特说。
此外，该基金会还将专注于人才培养和在当前主导人工智能发展的少数国家之外的地区开发更小、计算密集度更低的模型。
布弗罗特表示，该基金会将由合作政府出资50%，行业出资25%，慈善捐款出资25%。
她的第二个优先事项是建立一个非正式的“可持续人工智能联盟”。
人工智能正在推动数据中心的繁荣，而这些数据中心需要能源，并且通常需要水进行冷却。
联盟将寻求规范人工智能环境影响的标准，并通过排名和可能的研究奖项激励开发更高效的硬件和软件。
“显然，人工智能正在发生并被开发。我们希望它以可持续的方式发展，”布弗罗特说。
包括Nvidia、IBM和Hugging Face在内的多家公司已经支持这一倡议。
Hugging Face的人工智能与气候牵头人萨莎·卢乔尼奥表示，期望该联盟能促进更大的透明度。
她表示，目前，计算人工智能的排放变得更加困难，因为许多公司并未透露模型的训练时间，而数据中心提供商则不公布GPU（用于运行人工智能的计算机芯片）的能耗细节。
“没有人掌握所有的数据，”她说，但该联盟可能会帮助拼凑这些数据。
考虑到人工智能最近的发展速度，一些人担心严重风险可能会迅速显现。
核心关注点是人工通用智能（AGI），即一种在大多数方面超过人类的系统，可能会超越任何旨在控制它的约束，或许会让人类失去权力。
对于我们何时能够达到这一技术阈值，专家们意见不一，有的甚至认为根本不会实现。
但许多寻求构建人类级系统的公司领导者预计很快就会成功。
在一月，OpenAI的阿尔特曼在一篇博客文章中写道：“我们现在有信心知道如何构建AGI。”
在上个月的一场达沃斯小组讨论上，竞争对手人工智能公司Anthropic的首席执行官达里奥·阿莫代表示，人工智能有可能在明年几乎超过人类智力。
这些寻求引领行业的巨头们并不掩饰他们认为的利害关系。
阿莫代曾表示，他认为人工智能导致社会规模灾难的可能性在10%到25%之间。
在2015年，也就是在共同创办OpenAI的几个月前，阿尔特曼说过：“人工智能可能会导致世界末日，但与此同时，将会有伟大的公司。”
最近，阿尔特曼已经下调了对人工智能风险的看法。
与此同时，一系列安全人员已经从OpenAI离职，指出对公司的方向感到担忧。
“在过去的几年中，安全文化和流程已经沦为万花筒的产品。”前OpenAI员工贾恩·莱克在5月通过社交媒体发布，随后辞职。
他之前曾共同领导一个现已解散的团队，负责开发保持比人类更聪明的人工智能系统在我们控制之下的方法。
对AGI即将到来的预测可能会证明是过早的。
科技行业以其大胆的主张和对投资者的炒作周期而臭名昭著，进展仍可能停滞，让AGI成为遥不可及的前景。
然而，在过去一年中，人工智能模型已经表现出了显著的进步。
在2024年初，最先进的模型在一个包含现实世界软件工程问题的基准测验中仅得分为2%；到了10月，一个新模型的得分达到了49%；到12月，更是惊人的71.7%。
在竞争数学和博士级科学问题中类似的表现跃升，当前的最先进技术轻松超过85%。
尽管基准测试并不是智力的完美代理，但更广泛的趋势是显而易见的。
一些观察家指出，这一快速进展在公众视野中的关注度似乎较低，或许是因为很少有人在日常生活中使用人工智能进行复杂的数学或科学运算。
包括OpenAI、Anthropic和谷歌在内的公司正在将焦点从用户驱动的系统转向创建可以独立运行计算机和解决问题的自主虚拟代理。
这种近期智力的上升伴随着新的欺骗能力。
在12月，亚波罗研究所进行的一项实验表明，当面对一个虚构场景，长时间受到关闭威胁时，包括OpenAI近期的o1版本和Anthropic的Claude版本在内的先进模型试图（虽然未成功）将自己复制到新服务器。
当研究人员询问这些模型为什么尝试复制自己时，他们有时会撒谎以避免被捕，并在面临指责时往往会加倍。
同样在12月，Anthropic与非营利组织红杉研究所联合进行的一项测试表明，Anthropic的Claude版本在训练过程中故意误导其创建者。
拉塞尔说：“人们过去十年一直在写的事情，现在确实发生了。
“随着系统提高理解能力，我们确实看到了它们如何能够找出逃脱的办法。
“在这样做时，它们可能会说谎。”
被称为二名法之一的亚裔人工智能先驱，米拉纳教授、常被称为人工智能的三位“教父”之一，乔舒亚·本吉奥（Yoshua Bengio）表示，尽管商业界内感觉对自主风险的讨论已转移，但近期发展使广泛的科学界担忧加剧。
虽然专家意见在AGI风险的可能性上差异较大，但他表示，人工智能失控的可能性再也不能被简单地视为科幻作品。
本吉奥领导国际人工智能安全报告2025，这是一个模仿联合国气候评估的倡议，得到了30个国家、联合国、欧盟和经济合作与发展组织的支持。
上个月发布的报告综合了关于前沿人工智能系统能力和风险的科学共识。
“我们正在构建有自己目标的系统，有很多商业价值继续朝这个方向推进，”本吉奥表示。
他补充道：“许多最新论文表明这些系统具有新出现的自我保存目标，这是对意外失去控制风险的另一个关注。”
在之前的峰会上，采取了一些有限但有意义的措施来降低失控和其他风险。
在英国峰会上，几家公司承诺在公开发布前向政府分享访问模型的优先权以进行安全测试。
然后，在首尔人工智能峰会上，来自美国、中国、法国、加拿大和韩国的16家公司签署了自愿承诺，以识别、评估和管理他们的人工智能系统所带来的风险。
“他们做了很多事情来推动事情朝着正确的方向发展，”本吉奥表示，但他补充说，这些措施远远不够。
“在我个人的观点中，随着我们接近AGI，潜在性转变的规模如此 radical,使得绝大多数人，绝大多数政府低估了这一点。”
但在巴黎，焦点将是简化现有承诺，而不是推动新的承诺——使之与现有的监管框架和彼此兼容。
“已经有很多人工智能公司的承诺，”布弗罗特说。
这种轻触式的姿态与法国更广泛的人工智能战略相呼应，国有企业Mistral AI已经崛起成为欧洲领域的主要竞争者。
Mistral和法国政府都在游说在欧盟的全面人工智能法案下实施轻松的监管。
法国峰会将设有一个专注于商业的活动，在市区的Station F举行，这是法国最大的创业中心。
“在我看来，这很像他们试图利用其作为一个法国工业博览会，”非营利组织Control AI执行主任安德烈·米奥提表示，他们提倡防范人工智能的生存风险。
“他们正在将一个专注于安全的峰会转向别处。在言辞中，确实有很多：让我们停止谈论风险，而是开始讨论我们可以开展的伟大创新。”
安全与竞争力之间的紧张关系在其他地方也在上演，包括印度，最近宣布将共同主持法国峰会。
三月，印度发布了一项建议，推动企业在部署某些人工智能模型之前获得政府的许可，并采取措施以防止伤害。
但随后在受到来自行业的严厉批评后，该国迅速收回了决定。
在加利福尼亚州——许多顶尖人工智能开发者的家园——一项开创性法案要求最大的人工智能开发者采取措施以减轻灾难性风险，获得了包括拉塞尔和本吉奥在内的广泛支持，但遭到开源社区和OpenAI、Meta和谷歌等数家科技巨头的强烈反对。
在八月底，该法案在加州立法机构两院获得了强有力的支持，但在九月份却被加利福尼亚州州长加文·纽瑟姆否决，他辩称这些措施可能会抑制创新。
就在不久前，特朗普总统撤销了前任总统拜登针对人工智能的全面行政命令，该命令旨在应对技术带来的威胁。
特朗普随后发布了一项行政命令，原本“撤销某些现有的人工智能政策和指令，认为这些政策和指令对美国的人工智能创新构成障碍”，以确保美国在技术上的领先地位。
人工智能安全治理中心政策与研究主任马库斯·安德尔荣表示，希望安全可以编织进法国峰会的更大目标中。
例如，分配人工智能利益的倡议可能与接受国的承诺联系起来，要求他们遵循安全最佳实践。
他表示希望在首尔签署的前沿人工智能安全承诺的签署方名单得到扩展，特别是在中国，只有一家企业诗谱（Zhipu）签署了该承诺。
但安德尔荣表示，为了使承诺取得成功，问责机制必须得到加强。
“没有后续的承诺可能仅仅是空头话，”他说， “它们根本没有意义，除非你知道所承诺的内容实际上得以实现。”
对人工智能极端风险的关注不必排除其他重要问题。
“我知道法国峰会的组织者非常关注（人工智能）对全球多数人的积极影响，”本吉奥说。
“这是一个非常重要的使命，我完全支持。”
但他认为，潜在的控制损失风险的严重性值得采取预防原则——即我们应该采取预防措施，即使在科学共识尚未达成的情况下。
这一原则曾被联合国在旨在保护环境的宣言以及在像人类克隆这样的敏感科学领域中引用。
对于布弗罗特来说，这是一种在相互竞争的需求之间取得平衡的问题。
“我们不想解决所有问题——我们不能，没人能，”她说，并补充道，重点在于使人工智能更具体。
“我们希望从科学共识的层面出发，无论达成什么层次的共识。”
在12月中旬，在法国外交部，布弗罗特面临一个不寻常的两难境地。
对面，韩国官员解释了他们国家对参加峰会的热切期望。
然而，就在几天前，韩国政治领导层陷入混乱，前总统尹锡悦因宣布戒严法而迅速被弹劾，给代表该国的身份和官员的出席造成了悬念。
不仅人工智能将会如何发展，还存在很大的不确定性。
法国自己的政府在12月初崩溃，原因是首相米歇尔·巴尔尼耶在一次不信任投票中被罢免，这标志着自1960年代以来的首次政府崩溃。
特朗普长久以来对国际机构持怀疑态度，将重返白宫，并且尚不清楚副总统万斯将如何处理巴黎会议。
