关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2425人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

冬天“半身裙”最丑的3种穿法!

Yuki女人故事 浏览 3209

媒体:俄乌战场“飞出”的无人机 为何让欧洲如此忧惧

极目新闻 浏览 5493

俄美乌首次三方会谈触及实质议题 领土问题仍有分歧

上观新闻 浏览 2581

美媒:中国近半年没买过美国一粒大豆 豆农心急如焚

CCTV4 浏览 17530

广东晋级决赛杜锋谈辽粤大战:广东后场接过接力棒,传承篮球使命

篮球资讯达人 浏览 3570

央视王炸定档!1月13日50集历史大剧开播

观察鉴娱 浏览 2718

斯帕莱蒂为跑轰尤文注入灵魂,奥彭达被重新“救活”

体坛周报 浏览 2969

X把伊朗国旗改成狮子太阳旗 哈梅内伊把"国旗"删了

澎湃新闻 浏览 13264

不计成本的超跑梦想:Ascari Ecosse的传奇往事

老爷车 浏览 3065

沙特被指已下单50架超30亿美金的ch7无人机 官方回应

澎湃新闻 浏览 8170

朝鲜空军庆祝活动 现场2名女飞行员示范飞行

看看新闻Knews 浏览 3153

全新宝马X5领衔 宝马2026巴黎车展阵容公布

车质网 浏览 2435

进博面对面|A2牛奶公司黎笑:借进博会“溢出效应”不断升级“全家营养解决方案”

中国商报 浏览 3533

50+女人听我一句劝,别穿得太花哨和超短裙,才能优雅到老

静儿时尚达人 浏览 3600

特朗普:希望对伊朗的军事打击快速且具决定性

界面新闻 浏览 2601

小米杠上奇瑞,争夺高强度钢第一!理想高管吐槽“都是键盘值”

明镜pro 浏览 2535

怼人上瘾?特斯拉官微把非智能车贬得一文不值,车主一点面子不给

小李车评李建红 浏览 2971

四川舰海试中方捷报频传 美破防咬定中国有8艘"航母"

空天力量 浏览 33378

斯基拉:马竞计划买断冈萨雷斯,费用为3200万欧+100万欧奖金

懂球帝 浏览 3868

2026年首月A股新开492万户,高于2025所有月份,如何看这个数据?

财联社 浏览 2403

网红抓银环蛇被咬伤疑因"嫌注射血清贵不打" 好友发声

潇湘晨报 浏览 14996
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1