欧盟通过 AI 监管草案后，斯坦福研究显示：全球主流 AI 模型均不达标

2023-06-28 00:51:04 来源 : 36氪

作者 | 黄金琼

编辑 | 邓咏仪

【资料图】

以 ChatGPT 为代表的 AI 大模型技术席卷全球的同时，也引起了广泛争议。如今，监管脚步正在快速迫近。

6 月中旬，斯坦福大学 AI 研究实验室发布了一项对 AI 大模型的研究的结果。研究以十个 AI 大模型为研究对象，评估他们是否达到欧盟 AI 法案的标准。结果显示，这些顶尖的 AI 模型均没有达标。

斯坦福研究团队在报告中表示：" 主要基础模型提供商目前基本上没有遵守这些草案要求。他们很少披露有关其模型的数据、计算和部署以及模型本身的关键特征的足够信息。尤其是，他们不遵守草案要求来描述受版权保护的训练数据的使用、训练中使用的硬件和产生的排放，也不披露如何评估和测试模型的方式。"

欧盟 AI 法案是世界上第一个 AI 监管相关法案，从被提出开始即引起全球广泛关注，也会影响大多数 AI 大模型在欧洲的发展前景。

6 月 14 日，欧洲议会以 299 票赞成、28 票反对、93 票弃权的表决结果通过了关于人工智能法案的草案。人工智能草案的内容中，包括明确了关于 Open AI 和谷歌等模型的义务。法规旨在确保人工智能技术对用户能够保持透明、公平和安全，计划将于 2024 年生效。

来源：斯坦福

在斯坦福大学的研究中，研究团队先从监管草案选取出 22 项要求，再以是否有意义地使用公众信息作为标准，最终选择出 12 项评估要求，为每个评估要求配备了5 点评分标准。在此基础上，研究人员将这 12 项要求进行维度划分为四个层次，分别是数据来源、数据处理、模型本身和实践应用。

各大 AI 模型的得分与满分仍有很大差距。主要的问题集中在：版权责任不明确；能源使用报告不均衡；风险缓解方面披露不充分；缺乏评估标准或审计生态系统等等问题。

各家大模型提供商的合规性差异也很大。一些 AI 大模型公司的得分低于 25%（AI21 Labs、Aleph Alpha、Anthropic）。目前综合得分最高的，是 AI 大模型开源社区 Hugging Face。

最近几个月，大公司的 AI 发布会同样是证明。在 Open AI 的 GPT-4 和谷歌的 PaLM2 的发布会上，他们也都没有披露关于数据、评估方式等相关内容。

斯坦福团队表示，欧盟所出台的法规具备可行性，目前的 AI 模型遵守法规要求并非难题。他们在报告对政策制定者、全球政策制定者、模型提供商数方提供建议。比如，AI 模型的政策制定者需要在欧盟 AI 法规的要求下，优先考虑模型的透明度，对于基础模型的开发、使用和性能有关的披露等，这都会提高整个人工智能生态系统的透明度。

而对于模型提供商而言，行业标准是比较大的挑战。在 AI 大模型领域尚没有成型标准前，斯坦福团队也提出了一些实用的建议——比如改善为大模型开发人员提供的文档。" 提供商可以而且应该通过模仿最合规的大模型提供商，来提高自身的合规性。"

标签：