国产大模型最近整体显得安静,但水面之下并不平静。业内普遍预期,智谱的下一代模型会以 GLM 5.4 或 GLM 5.5 命名,相比当前版本有一次不小的跃升。

在新加坡的一次公开演讲中,智谱创始人唐杰,把这一代的研发重点拆成了三块。

第一块是预训练规模的扩张。训练数据规模升到数万亿 token,参数总量预计越过一万亿,对照现有的 7400 亿参数模型,是一次明显的跨档。更大规模的数据与参数,被视为抬高智能上限的地基。

第二块是后训练能力的加厚。智谱在强化学习后训练上积累较深,这次会继续打磨监督微调,以及人类反馈强化学习和验证反馈强化学习等环节,让模型在对齐与任务泛化上更稳。

第三块落在长程推理与智能体。新模型将面向更复杂的环境、更难的题目和更长的执行周期来做设计,给足思考纵深与操作自主度,加速向能持续规划、多步决策的长程智能体靠拢。

唐杰认为,通用大模型在对话和写代码这类基础能力上已经趋于成熟,GLM 5.4/5.5 会把重心转向两个更前沿的方向:一是递归式自我改进,让模型在训练全流程里逐步做到自我驱动、自我修正和自我优化;另一方面搭建延展性更强、更自主的智能体架构,能在不同时段、不同场景、不同任务之间保持连贯。

其实早在八月下旬的业绩说明上,唐杰就提过“完全自训练”的构想,其内涵与国际学界所说的递归自我改进高度一致,即模型能独立走完预训练、中间训练与后训练的全周期,并持续进化。难点在于让模型对训练进程有元认知——拿捏好收敛、纠偏与重启的时机,而不是单纯堆算力。

需要指出,这一构想的完整形态预计要到 GLM 6 代际才会出现,而 GLM 5.4/5.5 会先集成部分组件,迈出从人工主导走向人机协同的一步。

照这个节奏,国产大模型在参数规模上正快速向国际头部看齐,而真正的分水岭,会落在谁能先把智能体的可靠性做到可用。

文章与图片内容转载网络,如有侵权请联系平台删除

点赞(0)

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部