国内大模型赛道再传重磅消息。据英国《金融时报》援引三位行业知情人士的说法,字节跳动正在推进一款超大规模大模型的预训练工作,参数规模上限可达10万亿,综合体量直接对标Anthropic旗下的顶级Mythos系列模型。这也被视为中国AI企业加速缩小与美国头部实验室技术差距的又一信号。

知情人士透露,该超大模型目前仍处于预训练初期阶段,完整的预训练周期预计需要3至6个月,流程走完后才会进入微调环节。至于模型最终能否正式对外发布、定型后的参数体量究竟如何,目前均存在不确定性。

10万亿参数的预估规模意味着什么?作为参照,这已经是国内现已推出的最大模型——月之暗面Kimi K3的三倍以上。而在海外阵营,Anthropic从未对外披露旗下模型的精确参数量,但业内普遍判断其旗舰产品Mythos 5约为8万亿参数,Fable 5约为5万亿参数。若字节跳动的这一项目如期落地,其体量将明显超过目前已知的海外旗舰模型。

当然,参数规模并非衡量模型实力的唯一标尺。行业分析指出,参数量只决定了模型基础信息存储的上限,实际推理与创作表现还受到训练数据质量、训练框架、优化方案等多重条件的制约,不能单纯依靠参数数字评判一个模型的真实水平。

不过,字节跳动敢于启动10万亿级别的超大模型训练,本身就传递出一个明确信号:国内AI厂商的竞争重心,正从单纯追赶海外竞品,转向在前沿通用大模型赛道上寻求技术赶超。随着预训练的推进,这款神秘大模型的更多细节值得持续关注。

点赞(0)

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部