游客您好
第三方账号登陆
推荐阅读
天使羽毛1 新手上路
未知星球 | 未知职业
  • 关注0
  • 粉丝0
  • 帖子9
精选帖子

蚂蚁发布万亿参数Ling-1T模型,高效推理领先

[复制链接]
天使羽毛1 发表于 昨天 20:27 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
  蚂蚁发布万亿参数Ling-1T模型,高效推理领先,FP8训练与LPO创新成亮点

  蚂蚁百灵大模型Ling 2.0系列迎来重大突破,其首款万亿参数旗舰模型Ling-1T于近日正式亮相。作为非思考型大模型的巅峰之作,该模型在复杂推理、代码生成等高难度任务中展现出卓越性能,多项指标刷新开源模型纪录。

  在数学竞赛权威榜单AIME 25(美国数学邀请赛)测试中,Ling-1T以平均4000余Token消耗达成70.42%准确率,超越同期Gemini-2.5-Pro模型(5000+Token,70.10%准确率)。这一突破性成果验证了模型在推理精度与计算效率间的完美平衡,其通过演进式思维链(Evo-CoT)技术,实现了"中训练+后训练"的架构创新,显著提升复杂问题处理能力。

  技术架构层面,Ling-1T延续Ling 2.0核心框架,依托20万亿级高质量推理语料库完成预训练,支持长达128K的上下文窗口。该模型首创FP8混合精度训练体系,在保持万亿参数规模的同时,实现显存占用降低、并行策略优化及15%以上的训练加速。相关混合精度技术已部分开源,为行业提供重要参考。

  在强化学习阶段,研发团队提出LPO(语言单元策略优化)算法,以完整句子为优化单元,既避免词元级处理的碎片化缺陷,又克服序列级优化的笼统性。这种创新方法使奖励信号与模型输出在语义层面精准对齐,为超大规模模型训练提供稳定支撑。

  针对前端开发领域,团队构建"语法-功能-美学"三维奖励机制,在确保代码正确性的基础上,强化模型对视觉美学的理解能力。在ArtifactsBench前端能力基准测试中,Ling-1T以59.31分位居开源模型首位,仅略逊于Gemini-2.5-Pro-lowthink的60.28分,展现出强大的工程化落地潜力。

  据研发团队透露,除Ling-1T外,万亿参数级的深度思考大模型Ring-1T也在同步推进,其preview版本已于9月30日开源。目前开发者可通过Hugging Face平台及蚂蚁百宝箱等渠道体验Ling-1T模型,感受其在逻辑推理、代码生成等领域的突破性表现。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2025 A5sh.com ( 苏ICP备20011375号-3 )