软件快讯
OpenAI推出Control Room系统,用于在检测到安全风险时快速停止AI模型输出
OpenAI推出名为Control Room的集中管理系统,旨在跟踪公司内部研究基础设施上运行的任务。
该系统通过为每个研究任务分配唯一标识符来运作。
OpenAI表示,由于预先存储的授权数据,即使Control Room发出关闭指令,实际阻止生效可能需要长达35秒。
来源:bloomingbit
OpenAI推出名为Control Room的集中管理系统,旨在跟踪公司内部研究基础设施上运行的任务。该系统用于在检测到异常行为或安全风险时快速停止实验,并在出现安全或安全问题时阻止模型生成输出。目前,Control Room已应用于内部研究工作,涵盖模型训练、性能评估和数据处理等场景。[1]
该系统通过为每个研究任务分配唯一标识符来运作。在AI模型生成输出前,推理引擎会检查该任务是否仍被批准。如果研究人员或自动监控系统下令停止,模型的输出授权将被撤销,从而阻止新的模型输出。[1]
OpenAI表示,由于预先存储的授权数据,即使Control Room发出关闭指令,实际阻止生效可能需要长达35秒。此外,该系统经过强化设计,即使管理系统本身故障,也会拒绝新的任务请求。[1]