关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2421人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

媒体:国足21年首进亚洲大赛四强 是触底反弹的信号弹

新民晚报 浏览 6812

千亿梯媒巨头25亿巨额计提背后,监管“导火索”已引燃半年之久

野马财经 浏览 2378

俄乌战场惊现"丐帮打法" 俄无人机绑棍子捅落乌无人机

鲁中晨报 浏览 9462

AI赋能体育教育新图景:构建中小学智慧体育新生态

南方都市报 浏览 3479

标普ESG得分跻身行业前20%,顺丰同城以ESG实践推动行业高质量发展

上观新闻 浏览 532

伊朗方面披露美军在伊南部海域兵力布防

新京报 浏览 2368

AI智库“智汇”珠海,助力大湾区学术与产业的“双向奔赴”

南方都市报 浏览 3676

锋寻生物完成近6000万元种子轮及天使轮融资,加速体内CAR-T疗法临床转化 | 融资首发

钛媒体APP 浏览 3480

美伊本周有望在土耳其开谈 伊朗或在核问题上松口

上观新闻 浏览 5029

张柏芝自曝被大儿子管很凶,教子有方连谢霆锋妈妈都称赞

扒虾侃娱 浏览 3644

“复古知识分子风”正流行,这5件单品谁穿谁时髦!

LinkFashion 浏览 2986

瑞银:中国出现AI泡沫的概率不高,变现靠云与广告

第一财经资讯 浏览 2636

女子98万买新房交付前感觉被坑了:设计师都"惊呆"了

1818黄金眼 浏览 15374

巨人网络80后CEO张栋辞职 前任刘伟再掌舵

中新经纬 浏览 14567

尚界H5成20万元内唯一超五星安全认证车型 余承东:这个有点厉害

快科技 浏览 1695

两中国游客穿泳衣失联 失联女生对父母说是与发小出游

红星新闻 浏览 19933

吉利汽车集团10月销量307133辆 同比增长35%

网易汽车 浏览 2852

今年秋天最流行的风衣,“短一点”才时髦!

LinkFashion 浏览 2954

钟欣潼前夫被曝婚变,第三任妻子删光合照

树娃 浏览 3521

刘强东又要敲钟:京东工业冲刺港股,估值67亿美元

蓝鲸新闻 浏览 4075

世体:马竞主场对阵巴萨门票早已售罄,并有望刷新上座纪录

懂球帝 浏览 1119
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1