关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2363人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

古美关系高度紧张 古巴启动"战争状态"

扬子晚报 浏览 2557

离婚4年,42岁佟丽娅高调官宣喜讯

刘森森 浏览 3430

北约秘书长吕特:理解特朗普对许多北约盟友感到失望

参考消息 浏览 59165

以军空袭也门首都萨那 以色列多地拉响防空警报

上观新闻 浏览 4152

茶里回应欠薪:大部分在职员工欠薪兑付已完成,离职员工欠薪问题正分批解决

红星资本局 浏览 2631

杭师大受助名单照搬网络人名 大额项目明细表被删除

中国新闻周刊 浏览 31844

泽连斯基称俄乌冲突正接近结束 克宫回应乌方矛盾表态

环球网资讯 浏览 3650

每体:奥尔莫将因伤错过加泰德比,预计在西超杯期间伤愈复出

懂球帝 浏览 2842

19.88万买原厂合规越野车 212 T01长风柴油版上市

网易汽车 浏览 2873

刘强东"10年1元年薪"到期 网友曾调侃章泽天离婚分5元

红星资本局 浏览 21250

美国已正式开始出售委内瑞拉石油

新京报 浏览 2706

奶茶冲泡巨头香飘飘“突围”:首家线下茶饮店将开业,曾多次试水快闪店

红星资本局 浏览 3728

护士上门采样、公立医院检测京东到家快检推出新服务缓解流感季就医难题

上观新闻 浏览 3214

悬了!仅剩80天!“西北酒王”进入倒计时

壹只灰鸽子 浏览 3802

今年春天最火的4双平底鞋,配裤子穿高级又松弛!

LinkFashion 浏览 1818

上新 || 降温了!几套实用保暖穿搭请收好

黎贝卡的异想世界 浏览 3615

欧豪骨子里的江湖气与角色浑然天成

呱田里的猹 浏览 3798

阿维塔赴港冲刺IPO:“国家队”新能源稀缺标的,115亿押注华为背后

第一财经资讯 浏览 2892

5名中国游客在巴厘岛车祸死亡 伤者:司机一点伤没有

扬子晚报 浏览 43618

安徽小伙辍学卖馒头,今年已赚13亿

创业家 浏览 2795

问界M6主打运动操控,正面对垒小米YU7

驾仕派 浏览 2403
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1