【财富密码】什么是 OpenAI红队＆Sora 内测账号申请0-1级教程 - VICOINDAO

下面这张图是Sam发的推特，招募Sora红队网络人员进行内测。

之前给大家讲了申请流程，废话不多说了，我们先解释一下什么是红队。

什么是 OpenAI 红队网络？

红队一词已被用来涵盖人工智能系统的广泛风险评估方法，包括定性能力发现、缓解措施的压力测试、使用语言模型的自动化红队、提供特定漏洞风险规模的反馈等为了减少与“红队”一词相关的混淆，帮助那些阅读我们的方法的人更好地结合上下文并理解它们，特别是为了避免错误的保证，我们正在努力采用更清晰的术语，正如 Khlaaf, 2023 中建议的那样，然而，为了简单起见，并且为了使用与我们与合作者使用的语言一致的语言，我们使用术语“红队”。

红队是我们迭代部署过程中不可或缺的一部分。在过去的几年里，我们的红队工作已经从专注于 OpenAI 的内部对抗性测试发展到与一群外部专家合作帮助开发特定领域的风险分类法并评估新系统中可能有害的功能。您可以详细了解我们之前的红队工作，包括我们过去与外部专家在 DALL·E 2 和 GPT-4 等模型上的合作。

今天，我们正在发起一项更正式的努力，以这些早期的基础为基础，加深和扩大我们与外部专家的合作，以使我们的模型更安全。与个别专家、研究机构和民间社会组织合作是我们流程的重要组成部分。我们认为这项工作是对外部指定治理实践（例如第三方审计）的补充。

OpenAI 红队网络是一个由值得信赖且经验丰富的专家组成的社区，可以帮助更广泛地为我们的风险评估和缓解工作提供信息，而不是在主要模型部署之前进行一次性参与和选择流程。该网络的成员将根据其专业知识被要求在模型和产品开发生命周期的各个阶段为红队提供帮助。并非每个成员都会参与每个新模型或产品，并且时间贡献将由每个成员决定，一年内可能只有 5-10 小时。

除了 OpenAI 委托的红队活动之外，成员还将有机会就一般红队实践和调查结果进行相互交流。目标是实现更加多样化和持续的输入，并使红队成为一个更加迭代的过程。该网络补充了其他协作人工智能安全机会，包括我们的研究人员访问计划和开源评估。