关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2362人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

今年秋天最流行的风衣,“短一点”才时髦!

LinkFashion 浏览 2951

初三男生杀害女同学前检索会担什么责 出庭时变胖变白

红星新闻 浏览 7517

特雷·扬和老鹰正式协商分手 奇才有意围绕CJ报价

体坛周报 浏览 2677

中方再次致函古特雷斯阐明立场 严正批驳日方无理狡辩

环球网资讯 浏览 18327

岚图泰山将于11月上市 4颗激光雷达加持/还有后轮转向

网易汽车 浏览 3738

吉比特狂赚5.69亿!创始人卢竑岩分红独揽1.28亿!

包不同 浏览 2974

四门四座焕新升级 第五代宏光MINIEV内饰图曝光

网易汽车 浏览 2017

天空:曼城想在冬窗签下一名中卫,格伊对转会曼城持开放态度

懂球帝 浏览 2608

黄金有关税收新政落地首周,市场各方反应如何?

中国商报 浏览 3483

数据不会说谎!《向往8》收视0.3

手工制作阿歼 浏览 3125

斯坦福大学研究称AI能被“人气”冲昏头脑,会逐渐出现不道德行为

IT之家 浏览 3847

男子深夜抢走绍兴金店150多克黄金饰品 逃了5分钟落网

都市快报橙柿互动 浏览 4626

或告别燃油时代 丰田Supra将于明年停产

车质网 浏览 3543

朝鲜举行盛大阅兵式 高清大图来了

新华社 浏览 3582

美军在高速公路实弹军演 万斯安保车遭炮弹碎片击中

红星新闻 浏览 9176

18岁松岛握拳怒吼!2连冠后豪言洛奥成主力 张本一哥席位摇摇欲坠

颜小白的篮球梦 浏览 2558

拉齐奥女足称贝尼斯擅自离队,球员经纪人表示俱乐部不发钱

懂球帝 浏览 3697

西方媒体称中国对伊朗"见死不救" 官方回应来了

环球网资讯 浏览 117087

81岁冯淬帆去世,曾悼念许绍雄时自曝已病入膏肓,苟延残喘的活着

扒虾侃娱 浏览 3454

警方通报于朦胧坠亡,3位造谣者被处罚,调取监控排除刑事嫌疑

扒虾侃娱 浏览 4467

消息称vivo叫停AI眼镜项目,此前已秘密筹备半年时间

IT之家 浏览 2556
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1