关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3317人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

2026年新年首个工作日 中纪委连打4“虎”

南方都市报 浏览 10799

72岁唐僧迟重瑞卖房,580亿财产成了笑话?

胡一舸南游y 浏览 4351

2025 年最强太阳耀斑爆发,引发非洲和欧洲多地无线电中断

IT之家 浏览 4283

暗夜出击!南部空军全要素实兵演练超燃来袭

环球网资讯 浏览 3410

离婚4年,42岁佟丽娅高调官宣喜讯

刘森森 浏览 4273

颜骏凌:和范德萨交换了联系方式,在儿时偶像面前踢球是圆梦

懂球帝 浏览 4382

本田宣布将终止与通用汽车合资公司的燃料电池生产

IT之家 浏览 3386

维斯塔潘:赛车的驾驶感受很糟糕,不指望在周六雨战有明显提升

懂球帝 浏览 4391

上海业主花700万买精装修新房 刚到手就遇到糟心问题

极目新闻 浏览 43662

如何成为华为的“好”朋友?

汽车公社 浏览 4088

E句话|福原爱,再婚怀孕

仙女事件簿 浏览 3770

《骄阳似我》热度24000,这才是现偶剧该有的样子

娱乐圈笔娱君 浏览 3869

一路繁花2:刘嘉玲夸王家卫,何赛飞装都不装了

娱乐圈笔娱君 浏览 3532

【现场】球场简陋无碍“贴脸开大”,巴列卡诺闷平皇马

体坛周报 浏览 4233

华为登顶,吃了谁的蛋糕?

智东西 浏览 3508

娜扎被抢休息室,网友扒出疑似林允

萌神木木 浏览 4622

曝杨威与儿子失联!杨阳洋父母情绪崩溃

有趣的胡侃 浏览 4263

王千源16岁女儿近照曝光!父女俩现身F1

老黯谈娱 浏览 2546

山东通报3亿北斗工程现“脆皮”底座:组成联合调查组

中新经纬 浏览 115

司晓迪怒斥周奇脚踏两条船,近期还约她见面,网友喊话向涵之快跑

萌神木木 浏览 3319

许绍雄情况不乐观!黄宗泽低调现身,佘诗曼落泪取消行程前往医院

萌神木木 浏览 4423
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1