智东西
作者 陈骏达
编辑 Panken
智东西8月16日报道，就在刚刚，饱受争议的加州《前沿AI模型安全创新法案》（后称加州AI安全法案）在大幅度削弱后，顺利通过加州众议院拨款委员会的审核。在国家层面监管法律难产的困局中，这成为了美国在AI监管上迈出的重要一步，然而科技界部分人士认为这最终将会损害加州乃至美国在AI领域的领先地位。
修正后的法案最大的调整是，不再允许加州总检察长在灾难性事件发生前起诉AI企业忽视安全问题的行为。原有法案规定，只要审计员发现AI企业在日常运营中存在违法行为，企业就有可能被起诉。这标志着法案的监管重点转变为实际危害，也将减轻企业的合规压力。
多数美国科技企业和AI创企都在加州运营，将受该法案约束。具体来看，这一法案主要关注“前沿AI模型”，只有训练模型算力成本超1亿美元的开发商才会面临监管要求，现有模型均不在监管范围内。未来Llama 4和GPT-5或许会是其主要监管对象。
对国内企业来说，如果只是在开源基础上进行微调等操作，大概率不会被纳入监管范围。然而，法案要求云服务提供商收集客户信息、IP地址、支付方式等信息，这便利了监管部门的溯源工作。若后续管制进一步收紧，这可能会成为部分使用海外算力进行训练的中国AI企业面临的监管风险。
监管范围内的企业应主动采取措施避免模型滥用，还需要拥有紧急关闭模型的能力。此外，他们还需要提交公开声明，概述他们的安全实践。法案引入了“年检”制度，开发商需要聘请独立审计员每年评估合规情况。
一旦出现违法行为，企业可能面临1000万-3000万美元不等的罚款，这一金额还将随着模型训练成本的增加水涨船高。
AI圈分裂为2个阵营，激烈论战。
2018年图灵奖得主杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio）表态支持，认为加州AI安全法案是有效监管AI技术的“最低要求”。
数百名创业者签署了孵化器YC撰写的反对信，加州的100多位学界人士也发文反对。风投机构a16z专门建立网站细数法案六宗罪，斯坦福大学教授李飞飞专门发推谴责，主要观点是，这一法案将阻碍加州的AI投资与发展，显著危害开源生态，并未解决AI带来的实质性风险等。
然而，加州AI监管法案主笔、加州州参议院威善高（Scott Wiener）驳斥了对法案的部分批评，称a16z和YC刻意歪曲事实，该法案是在现有法律框架内的优化，提升了监管的针对性，不会让大量开发者锒铛入狱，也不会对创新和开源AI产生危害。
智东西整理了大量资料，将这一法案的具体内容和相关讨论归纳为以下5个问答：
一、适用范围究竟有多大？现有大部分模型并不适用，Llama 4和GPT-5可能被纳入监管范围
为实现有效监管，这一法案原计划创办“前沿模型部门（FMD）”来执行相关规定。在今天的修订后，这一部门转变为加州政府下属管理局中的一个9人委员会，其中包括来自AI行业、开源社区和学术界的代表，由加州州长和立法机构任命。前沿模型委员会仍将为所涵盖的模型设置计算阈值，发布安全指南并为审计员发布法规。
加州作为美国乃至世界AI发展的中心之一，吸纳了大量AI企业，《福布斯》杂志2024年AI企业50强中的30余家都在加州运营。根据这一法案，他们都需要遵守加州AI安全法案的相关规定。但这一法案的实际适用范围会显著地受到模型能力的限制，或许只有大模型领域的头部玩家会在未来几年里受到这一法案的监管。
▲加州AI监管法案部分截图（图源：加州参议院官网）
这一法案将从模型训练所使用的算力量和算力成本来评估一个模型是否应该被列入监管范围，也就是被列为“范围内模型（Covered model）”。相关规定可主要概括为以下2点：
1、2027年1月1日前，使用10^26及更多整数或浮点运算数量的算力进行训练的模型（按市场平均算力价格计算为1亿美元）或者使用3*10^25的算力对范围内模型进行微调后获得的模型，将被列为范围内模型。
2、2027年1月1日后，上述标准将会由加州的前沿模型监管部门进行评估。若该部门修改算力门槛，则以新标准为准；若该部门决定不需要修改，则继续沿用原标准。此外，2026年后原标准中的1亿美元应该考虑通胀情况进行相应调整。
那么现在已经发布的模型中，有哪些会被列入这一范围呢？模型训练时所使用的算力有多种计算方式，OpenAI曾在一篇论文中大致估计：
FLOPS=6ND
（其中N是参数数量，D是token数量）
借用这一计算方式和开源模型的数据，我们可以大致估计出目前模型们所使用的算力大致处于什么水平：
Llama 3 70B
具备700亿参数，训练时使用15T tokens训练数据，因此所使用算力大致为：
6*70B*15T= 6.3*10^24 FLOPS
Llama 3.1 405B
具备4050亿参数，训练时使用15.6T tokens训练数据，因此所使用算力大致为：
6*405B*15.6T=3.79*10^25 FLOPS
▲Llama 3.1 405B相关信息（图源：Hugging Face）
这种计算方式比较粗略，和实际情况可能会有较大出入，但仍具有参考意义。根据这一结果，Llama 3.1 405B这一开源模型之王目前并不会被列为法案定义的范围内模型，模型只有在用掉Llama 3.1 405B的整整2.6倍算力时，才会被列为范围内模型。
这一法案主笔、加州州参议员威善高在一封回应法案争议的公开信中的表述也能佐证这一数据，他在信中写道，“目前公开发布的模型中，没有任何模型达到了10^26FLOP的算力门槛”。
未来很长一段时间里，绝大部分中小型模型开发企业和独立开发者或许都不需要担忧这一法案对他们的监管。按照法案的算力门槛和资金门槛来看，其主要监管对象是诸如OpenAI、Meta、Google这样的AI领域主要玩家和得到大量投资的头部创企。
根据OpenAI CEO萨姆·阿尔特曼（Sam Altman）在公开场合的表述，GPT-4的训练成本大致为1亿美元，尚不清楚这一成本是否包含算力之外的投入。如果GPT-5或OpenAI其它后续模型发布，它们有可能会受到该法案监管。Meta CEO马克·扎克伯格（Mark Zuckerburg）曾预计Llama 4所需要的算力大约是Llama 3.1的10倍，这意味着Llama 4应该会是未来少数几款会被列为范围内模型的开源模型。
二、企业有何责任？开发商需要“年检”，主动防止滥用并配备“终止开关”
根据这一法案的相关规定，范围内模型的开发商主要需要承担以下几项责任：
1、实施管理、技术和物理三方面的安全保护，防止对范围内模型和开发商所控制的范围内模型衍生品进行未经授权的访问、滥用或后训练修改。
2、实现及时全面关闭模型的能力。
3、原法案中规定，模型开发商需要签署独立的安全协议，确保不会开发出具有造成严重伤害（如造成5亿美元以上损失的网络攻击、导致死亡或重大人身伤害等）风险的模型及衍生品。若协议中有不实信息，将按照伪证罪处罚。
修订后的法案大大地削弱了这份协议的法律效益，目前，模型开发者只需要提交公开的声明，概述他们的安全实践，但该条款不再追究任何刑事责任，仅在出现灾难性危害后才会起诉相关实体。
4、若范围内模型及其衍生品可能导致或辅助造成严重伤害，开发商不得自行将其用于商业或公开用途，也不得提供给他人进行商业或公开用途。
5、2028年1月1日起，范围内模型开发者应该每年聘请1名第三方审计员，详细并客观地评估开发商遵守法案要求的情况、汇报违规情况和修改意见。
6、修订后的法案加入了对开源模型微调的保护。法案明确规定，如果开发者用于微调范围内模型花费的资金少于1000万美元，就不会被认定为微调后模型的开发者，责任仍然由原模型的开发者承担。
此外，这一法案规定了诸如亚马逊云服务（AWS）、微软Azure这一类的云服务提供商的义务。在向客户提供足以训练范围内模型的算力时，云服务提供商应做好以下准备：
1、获取客户的基本身份信息和业务目的，包括客户身份、IP地址、支付方式和来源等等。相关合规操作应该留痕，记录保留7年。
2、评估客户是否确实计划使用这些算力来训练范围内模型。
3、具备关闭用户训练或操作模型时所使用的计算资源的能力。
范围内模型的开发者和云服务提供商还应该提供透明、统一、公开的价格表，并确保在定价和准入过程中不存在歧视和反竞争行为。但公共实体、学术机构和非商业研究者可以享受免费或优惠的使用权限。部分云服务提供商会用价格优惠来吸引或支持特定AI开发企业，这种行为在法案正式生效后或将无可遁形。
法案规定，当开发者得知模型出现安全事件时，应在72小时内向监管部门汇报相关事件。此外，开发者还应该在一款模型或其衍生品在用于商业或公共用途后的30天内，提交这一模型的合规声明。此外，举报不当行为的“吹哨者”将受到法律保护，公司或组织不得阻止或报复披露不当行为的员工。
三、违法行为如何惩罚？罚款1000万美元起，可判决关闭或删除模型
若模型开发商和计算集群运营者无法遵守上述规定，并造成巨大危害，加州的总检察长和劳工委员会将有权起诉相关实体。若判定确实存在违法行为，法院可能会判处下类处罚：
1、针对2026年及之后的违法行为，首次违法的实体将被处以云计算市场训练范围内模型平均成本10%以内的罚款，对于后续违法行为，罚款金额不超过这一成本的30%（按法案中对范围内模型定义的1亿美元门槛计算，首次违法的罚款至少为1000万美元）。
2、法院还可宣布采取禁令，包括但不限于修改、全面关闭或删除范围内模型及其开发商所控制的所有衍生品。
不过，修改、关闭和删除范围内模型的处罚，仅在其造成他人死亡、严重人身伤害、财产损失或严重的公共安全威胁时才可使用。
四、谁反对法案？a16z与YC带头开展宣传攻势，李飞飞杨立昆发推质疑
硅谷的科技巨头、大量创企和投资机构对加州AI安全法案表达的强烈的质疑和不满，其中最响亮的声音是硅谷知名风投机构a16z。a16z在AI领域的投资组合十分丰富，既包括OpenAI、Mistral AI这类成熟的头部AI企业，也有诸如斯坦福大学教授李飞飞新成立的World Labs这类的后起之秀。这些企业的规模和融资金额较大，他们开发和微调的模型可能被列入监管范围内。
▲a16z的部分反对意见（图源：stopsb1047.com）
a16z主动付费建立了一个网站，为访问者提供了反对信模板，只需在网站上简单编辑即可直接发送。a16z还在这一网站上列出了他们眼中加州AI安全法案的“6宗罪”：
1、该法案将对加州的AI投资和发展带来寒蝉效应。
2、该法案依照并不明确的结果对开发者/开发商进行处罚。相关测试尚不存在。
3、该法案模糊的定义加上严格的法律责任，给AI开发商和企业主带来了巨大的不确定性和经济风险。
4、该法案可能迫使AI研究转入地下，无意中降低AI系统的安全性。
5、该法案对开源和初创企业开发者们造成了系统性的不利，而他们是加州创新和小微企业的核心。
6、该法案抑制了美国的AI研究与创新，给中国等国家在AI方面超过美国提供了机会。
多家a16z所投企业的创始人也对加州AI安全法案表达了反对态度。李飞飞在《财富》杂志网站上发文详细解释反对理由，认为这一法案的主要问题有4点：
1、过度惩罚开发者，因此有可能扼杀创新。
2、“终止开关”将束缚开源开发工作，摧毁开源社区。
3、削弱学术界和公共部门的AI研究，还有可能阻碍学术界获得更多资金。
4、并未解决AI进步带来的潜在危害，如偏见或深度伪造问题。
▲李飞飞反对加州AI安全法案（图源：X平台）
不过，评论区的许多网友对这一表态并不买账，他们纷纷呼吁李飞飞披露自己与a16z的利益关系。
▲部分网友质疑李飞飞的中立性（图源：X平台）
YC作为美国最知名、影响力最大的孵化器，是不少AI创企的摇篮，他们目前主要运营地点就在加州。2024年YC冬季批次的260家创企中，超过一半都与AI相关。YC也认为这一法案可能会对行业和开发者生态带来负面影响：
1、法案应惩罚滥用工具者，而非开发者。开发者往往难以预测模型的可能应用，伪证罪的设定让开发者可能因此入狱。
2、监管门槛无法充分捕捉技术发展的动态。非加州公司将能更自由地发展AI技术，这可能影响加州的创新。
3、“Kill Switch（指开发商关闭模型的能力）”可能会禁止开源AI的开发，抑制了开源的协作性和透明度。
4、法案的表述较为模糊，很可能被法官随意解释。
YC的表态得到数百家创企的联名支持。YC还在加州举办了多场AI监管相关的会议，让正反双方得以沟通。
Meta首席科学家、2018年图灵奖得主杨立昆（Yann LeCun）也反对这一法案，他尤其关注到其中的连带责任条款。他担忧如果未能准确评估范围内模型的风险，开源平台可能需要承担责任。
作为当今开源AI模型领域最主要的玩家，Meta公司在一封反对信中写道，这一法案让开源开发者不得不在开源时承担极大的法律风险，因为确保模型安全性的要求是不切实际的。他们建议加州立法者参考其它国家和地区的相关法律，如《欧盟AI法案》中关于透明度与“红队测试”的要求。微软、谷歌和OpenAI也对这一法案发表了负面评价。
拥有独特的“共益公司架构”的AI创企Anthropic是反对这一法案的许多声音之一，但与其它企业不同的是，他们并不试图阻止法案通过，而是参与了法案的修正工作，给立法机构写信详细阐明了他们的改进意见。总体来看，Anthropic认为法案应从“伤害前执法”转向“基于结果的威慑”。他们还希望能更严格地制定法规，关注前沿AI安全，避免与联邦要求重复。
五、谁支持法案？辛顿本吉奥写信力挺，参议员指责a16z散播谣言
虽然加州AI安全法案一经提出就面临争议，但也有不少学者和业界人士支持这样的监管。8月7日，就在这一法案再度面临一波批评时，图灵奖得主、“AI教父”杰弗里·辛顿（Geoffrey Hinton）、知名AI学者、图灵奖得主约书亚·本吉奥（Yoshua Bengio）、网络空间法专家、哈佛大学法学院教授劳伦斯·莱西格（Lawrence Lessig）和广受欢迎的AI教科书《人工智能：现代方法》作者、加州大学伯克利分校教授斯图亚特·拉塞尔（Stuart Russell）联名写信给加州立法机构，表达他们对加州AI安全法案的“强力支持”。
▲4位知名学者写信支持加州AI安全法案（图源：safesecureai）
这4位学者称他们对AI风险深感担忧，而加州的AI安全法案是有效监管该技术的最低要求，他们写道：
法案没有许可证制度，不要求公司在培训或部署模型之前获得政府机构的许可。它依赖于公司对风险的自我评估，甚至在发生灾难时也不要求公司承担严格的责任。
相对于我们面临的风险，这是一项非常宽松的立法。目前监管AI的法律还没有监管三明治店的严格，取消该法案的基本性措施将是一个历史性的错误——1年后，当下一代更为强大的AI系统发布时，这一错误将变得更加明显。
他们还强调，不论这些风险是杞人忧天还是真实存在，相关方都有必要承担减轻风险的责任。而“作为最了解这些系统的一群专家”，他们认为这些风险是可能存在并且足够重大的，我们有必要对此进行安全测试和常识性的预防措施。
4位专家还引用了波音公司最近的安全丑闻。他们认为目前飞机、药物等其它各种复杂的技术已经变得非常安全和可靠，这是业界和政府共同努力的结果。当监管机构放松规定并允许自我监管时，就出现了像波音公司这类的问题，这对公众和行业来说都是极为可怕的。
这封支持信受到不少网友的支持，但也有人认为，辛顿和本吉奥目前已经不太参与一线工作了，因此对相关问题没有发言权。
多名OpenAI前员工也支持这一法案，包括主动放弃OpenAI期权从而换取自由批评OpenAI公司权利的丹尼尔·科科塔约洛（Daniel Kokotajlo）。他认为，法案批评者称AI进步会停滞的说法大概率不会发生。
▲科科塔约洛相关言论（图源：X平台）
估值百亿美金的AI生产力工具独角兽Notion的创始人西蒙·拉斯特（Simon Last）是业内少数几位支持加州AI安全法案的人士。他在加州本地最有影响力的媒体之一《洛杉矶时报》上撰文支持法案，称在联邦级AI法律难产的情况下，加州作为全美乃至全球的科技中心，背负着重要的责任。他认为对模型的监管，在提升其安全性的同时也便利了在基础模型上构建产品的AI创企，这将减轻中小企业的负担。
此外他还认为，强调“监管应该关注AI的有害用途和使用者的不当行为，而非底层技术”的看法是错误的。因为前者已经在各级法律中被列为违法行为，而加州的新法案提供了目前监管所缺失的方面：预防潜在的伤害。
在YC和a16z发起宣传攻势后，加州AI安全法案主笔、加州州参议员威善高发长信正面回应了相关控诉，称这2家机构关于加州AI安全法案的许多表述都是不准确的，有些说法“极具煽动性地歪曲了事实”，如法案将把未能准确估计模型风险的开发人员送进监狱，或是禁止开源发布。
▲威善高对YC和a16z的回应（图源：safesecureai）
2023年初，威善高与开始与YC接触，但他称自己目前仍然没有收到YC对如何改进法案的详细反馈。而a16z在立法过程中的参与较晚，到目前也没有提出任何实质性修改意见。
威善高在这封信中一一回应了法案反对者的几个核心关切：
1、开发者不会因无法预测模型风险而入狱。首先，初创企业开发者和学界不必担心，因为法案不适用于他们。其次，法案中的伪证罪条款仅仅在开发者“故意”做出虚假陈述时才会生效，对模型能力无心的错误评判不会触发伪证罪条款（该条款已在今天修正案中被删除）。
2、法案并未带来全新的责任。在现有的法律下，如果模型造成伤害，模型开发商和个人开发者都有可能被起诉，并且适用于所有能力的模型，所有受伤害的个体都可起诉。加州的新法案不仅限制了监管范围，还将起诉的权利限制在加州总检察长和劳工委员会两个实体上。
3、法案不会扼杀加州创新。该法案适用于所有在加州开展业务的企业，即便他们将总部挪出加州，也应该遵守相关规定（智东西注：加州按GDP计算是世界第5大经济体，具备完整的科技生态，科技企业很难与加州脱钩）。当加州通过数据隐私法、环境保护法时，有许多人宣称这将阻碍创新，但事实是加州目前仍然在引领创新。
4、终止开关与安全评估要求不会阻碍开源AI的开发。法案目前已经修改并加强了对开源AI的保护。法案中对模型紧急停机的要求仅仅适用于开发人员控制范围内的模型，不包括不受控制的开源模型。法案还建立了一个新的咨询委员会，以倡导和支持安全可靠的开源AI开发工作。
威善高还为关心这一法案的人士提供了“懒人包”，总结出法案的6个要点（参见下图）。
结语：加州迈出重要一步，法案未来破朔迷离
虽然加州AI安全法案遭到大量业内人士反对，但部分民调机构的结果显示加州居民对这一法案总体持积极态度。
当其正式闯关成功后，可能会面临a16z等坚决反对者在法庭上的挑战。这将暂停法案施行，直到美国最高法院做出裁决后才有定论。
最近，美国最高法院推翻持续近40年的支持监管机构话语权的“雪佛龙原则”。这一原则让要求法官在法律条文不清晰时，听从政府监管机构对法条的解释。这一原则的废除，体现出如今的美国最高法院，对科技监管总体持保守态度。
