关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3315人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

从“白幼瘦”到“气血感”,审美标准终于“健康”了?

Yuki女人故事 浏览 3971

被判赔偿220万元 海底捞"小便门"当事人登报道歉

上观新闻 浏览 13865

让代旭来演霸总的人,真是一个天才!

娱乐圈笔娱君 浏览 3522

华为无线鼠标优享版开售:支持星闪技术,售价 59 元

IT之家 浏览 4589

初秋衣服不必准备太多,这几件单品提前买好,简单百搭不挑人

静儿时尚达人 浏览 6636

广汽华为启境任命刘嘉铭为CEO 合作进入实质阶段

太平洋汽车 浏览 5113

加沙停火协议生效后的48小时:人质释放、民众返乡

澎湃新闻 浏览 4667

日本自民党高官窜访台湾 外交部:"媚日谋独"令人不齿

澎湃新闻 浏览 9037

暗夜出击!南部空军全要素实兵演练超燃来袭

环球网资讯 浏览 3410

同样是星二代,为什么她路人缘那么好?

伊周潮流 浏览 4375

芬兰将举行多场联合军演 俄芬关系再度紧张

国际在线 浏览 4273

报告称机械硬盘价格触底反弹,平静2年后将迎新一轮涨价潮

IT之家 浏览 3900

法国将在格陵兰岛开设领事馆 法外长:这是个政治信号

鲁中晨报 浏览 8772

官方出手,这一次谁也救不了狂妄自大的张雪峰?

小娱乐悠悠 浏览 3904

委内瑞拉外长:感谢中方支持

环球网资讯 浏览 14663

巴特勒18+10勇士轻取鹈鹕3连胜,库里9+5穆迪单节7三分比肩传奇

湖人崛起 浏览 4244

委内瑞拉先发制人战斗机开火 美军进退两难特朗普难办

空天力量 浏览 47547

微创、高效、直达大脑!我国科学家开辟脑卒中病灶给药新路径

环球网资讯 浏览 3500

集微咨询发布《2025中国半导体后道设备行业上市公司研究报告》;

爱集微 浏览 3647

保时捷纯电卡宴即将首发,PPE平台打造

车评网 浏览 3484

或命名为T1T 奇瑞全尺寸SUV谍照曝光

车质网 浏览 3448
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1