游客您好
第三方账号登陆
推荐阅读
天使羽毛1 新手上路
未知星球 | 未知职业
  • 关注0
  • 粉丝0
  • 帖子9
精选帖子

蚂蚁万亿参数旗舰模型Ling-1T,开启百灵大模型2.0

[复制链接]
天使羽毛1 发表于 昨天 20:33 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
本帖最后由 天使羽毛1 于 2025-10-12 20:37 编辑

  10月9日凌晨,蚂蚁集团发布万亿参数的通用语言模型 Ling-1T。Ling-1T是蚂蚁百灵大模型Ling 2.0系列的第一款旗舰模型,也是蚂蚁百灵团队迄今为止推出的规模最大、能力最强的非思考大模型。

蚂蚁百灵大模型

蚂蚁百灵大模型


  据蚂蚁百灵团队透露,Ling-1T沿用Ling 2.0架构,在20T+ tokens高质量、高推理浓度的语料上完成预训练,支持最高128K上下文窗口,通过“中训练+后训练”的演进式思维链(Evo-CoT)极大地提升了模型的高效思考和精准推理能力。

  值得一提的是,Ling-1T 全程采用 FP8 混合精度训练(部分技术已开源),是目前已知规模最大的使用 FP8 训练的基座模型。这一设计为训练带来了显著的显存节省、更灵活的并行切分策略和 15%+ 的端到端加速。

  在强化学习阶段,蚂蚁百灵团队创新性地提出了LPO方法(Linguistics-Unit Policy Optimization,LingPO) ,这是一种以“句子”为粒度的策略优化算法,为万亿参数模型的稳定训练提供了关键支持。这种方法既避免了词元级别的破碎感,也克服了序列级别的笼统性,使得奖励信号与模型行为在语义层面实现了更精准的对齐。

  另外,蚂蚁百灵团队提出了“语法-功能-美学”的混合奖励机制,在确保代码正确、功能完善的同时持续提升这个万亿基座对视觉美学的认知。在ArtifactsBench前端能力基准上,Ling-1T得分59.31,在可视化和前端开发任务领域,仅次于Gemini-2.5-Pro-lowthink的得分60.28,以显著优势位居开源模型榜首。


蚂蚁百灵大模型

蚂蚁百灵大模型

  据了解,除了Ling-1T这款非思考模型,蚂蚁百灵团队还在训练万亿参数级的深度思考大模型Ring-1T,已在9月30日开源了preview版。目前,开发者通过Hugging Face和蚂蚁百宝箱等平台都可以体验Ling-1T模型。

新闻链接:


  10 月 9 日凌晨,蚂蚁百灵大模型团队奇袭般官宣了一款自家最新语言大模型 Ling-1T,参数量达到 1000B(即 1万亿参数)。然而,就在十天前,百灵团队才将自研 Ring-1T-preview 大模型开源。

  短短十天内,发布并开源两款万亿参数模型,如此密集的产品发布让蚂蚁百灵大模型成为了行业热议对象。

  据雷峰网了解,蚂蚁集团研发的基础大模型取名“百灵”,寓意“百试百灵”,也蕴含科技普惠之意,和阿里一样,蚂蚁也是独立团队独立研发,Ling-1T 和 Ring-1T-preview 分别是蚂蚁百灵团队研发的非思考模型和思考模型。

  蚂蚁集团研发的基础大模型取名“百灵”,寓意“百试百灵”,也蕴含科技普惠之意,和阿里一样,蚂蚁也是独立团队独立研发,Ling-1T 和 Ring-1T-preview 分别是蚂蚁百灵团队研发的非思考模型和思考模型。

  过去半年时间里,蚂蚁一直在对百灵大模型进行迭代优化,并且自上而下形成了三条技术探索路线:

  一条是以 MoE 架构为基础的非思考模型 Ling-Series,另一条是思考模型 Ring-Series,第三条是原生全模态大模型 Ming-Series 。

  如今,蚂蚁百灵团队在 Ling 和 Ring 两款模型路线上都已经将参数量扩大到万亿参数。

  万亿参数,几乎等同于人类大脑神经元数量,相当于让 AI 拥有等同于人脑的处理能力,但万亿参数非常难训。目前,国内能达到万亿参数规模的大模型也是凤毛麟角。

  除了刚才提到的百灵大模型 Ling-1T 和 Ring-1T-preview ,目前国内公开资料可查的万亿参数大模型只有 Kimi K2、阿里 Qwen3-Max 和腾讯混元大模型等少数几个模型,可见大模型领域“万亿俱乐部”的门槛之高。

  虽然今年以来盛行“数据撞墙论”和“预训练终结”的观点,但越来越多科学家也形成了一个新的共识:更大的参数,更多的数据,仍然能带来持续的性能提升。

  阿里的算法负责人林俊旸公开表态:Scaling Law 仍然没见顶,训练数据的增加,参数规模的扩大,都还能看到模型性能的提升。

  杨植麟的Kimi 团队更是克服万难闷头苦干,终于在两个月前,拿出了万亿参数的旗舰模型K2。通义千问团队直接提出了“大就是好”的暴论,并且让 Qwen3 坚定不移地沿着“Just Scale it”的扩展路径前进。

  由此可见,大家都还在朝着“探索智能上限”出发。


回复

使用道具 举报

精彩评论1

geek 发表于 昨天 21:15 | 显示全部楼层
不愧为阿里
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2025 A5sh.com ( 苏ICP备20011375号-3 )