10月13日,字节跳动Seed通过内部邮件宣布,成立一个专司模型对齐与安全准备的新部门,由其负责人严林带队,向Seed负责人吴永辉直接汇报。原有的负责任人工智能团队,连同部分对话模型研发团队,将整体划入这一新组织。
大模型能力快速攀升的当下,安全与对齐正从“配套事项”变成绕不开的硬约束。智能体越狱、提示注入等攻击手法不断翻新,模型一旦接入真实业务和工具链,潜在风险就被迅速放大。以往国内多数头部团队习惯把安全与对齐纳入企业级安全合规体系统筹,而把安全与对齐单列为一个独立部门,在国内前沿的人工智能实验室中尚无先例。

从职能看,新部门要让模型行为始终落在人类意图与既定安全边界之内,既推进对齐技术研发,也负责工程化落地,从而提升智能体模型的安全可靠性,并系统应对化学、生物、放射性乃至核等前沿领域可能出现的新型风险。
团队内部形成的共识是:安全与对齐已经超出传统风险管控的范畴,转而变成支撑模型规模化部署、深度进入产业的关键底座。接下来,资源会投向多个方向,包括模型行为规范的制定、多维度安全评估体系的搭建、对齐训练方法的创新、主动式防护机制的研发,以及覆盖全周期的风险监测与响应。
值得注意的是,字节也强调对外开放,计划联合外部研究力量和第三方评测机构,搭建一条覆盖设计、开发、部署到演进全流程的安全护栏,为模型在复杂现实场景里稳定运行兜底。对行业而言,把安全从事后合规前移到模型研发主线,意味着对齐能力正在成为衡量大模型企业工程实力的新标尺,也预示着相关人才与算力投入的进一步加码。
放在行业视角下,模型对齐与安全早已不是锦上添花。监管层面,各国对前沿人工智能的安全评估与披露要求持续收紧;技术层面,模型一旦接入搜索、代码、支付等真实工具,越权和误操作造成的后果会被迅速放大。字节把安全团队独立成部门,并让负责人直通研发一把手,等于把对齐从合规事项抬到了研发决策层,这类组织调整往往比单点技术突破更能影响一家大模型公司的长期走向。
文章与图片内容转载网络,如有侵权请联系平台删除

发表评论 取消回复