关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3365人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

联大反击或剥夺美国重要资格 美恐难再与中同台论道

策略述 浏览 8845

近11战1胜10负!哈登缺阵快船惨败雷霆 近两战合计净负39分

Emily说个球 浏览 3884

9.79万起 2026款比亚迪海狮05压迫感有多强?

网易汽车 浏览 1730

将提升极端场景识别度 小米汽车召回超11万台SU7标准版

网易汽车 浏览 5433

北京大学联合多所知名高校突破机器人视角转换技术

科技行者 浏览 4354

京东互联网医院再发力,疾病标准化诊疗路径增至317种

海克财经 浏览 3774

太猛了!保险巨头炒股竟大赚300多亿

财通社 浏览 4642

俄乌“和平计划”又生变 欧洲“强有力”回应特朗普批评

环球网资讯 浏览 3956

蒋凡重启阿里:一场AI重构内核的千亿实验

博望财经 浏览 4574

港股无人矿卡第一股诞生!大疆教父李泽湘敲钟,红杉百度联手押注

车东西 浏览 3208

“这个风格”今年冬天又火了!谁穿谁高级

LinkFashion 浏览 3428

拉莫斯:可以接受战平浙江队的结果,球队走在正确的道路上

懂球帝 浏览 4483

迪士尼,10亿美元投资OpenAI

中国基金报 浏览 3926

奚梦瑶何猷君婚礼细节曝光:王嘉尔谷爱凌都来了,一双子女受瞩目

扒虾侃娱 浏览 617

华为研究团队突破代码修复瓶颈,8B模型击败32B巨型对手!

科技行者 浏览 3618

刘强东又要敲钟:京东工业冲刺港股,估值67亿美元

蓝鲸新闻 浏览 4920

章子怡近照脸部发肿,最具特色的骨相优势都没了

萌神木木 浏览 3450

一辆小米SU7 Ultra飞坡10多米翻滚多圈!车主发文:感谢雷军,下辆还买!

扬子晚报 浏览 3779

德国总理首次访华时间被指敲定 高级经济代表团将跟随

澎湃新闻 浏览 7876

纯电汉兰达?丰田发布新款SUV预告,向新时代低头?

正在说车 浏览 3412

岚图汽车卢放:必须啃下豪华轿车市场这块“硬骨头”

经济观察报 浏览 3989
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1