关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3316人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

深圳“AI+政务”方案重磅发布:以后办业务,一句话的事!

南方都市报 浏览 2773

世界上第一个AI设计的病毒问世|一周科技

知识分子 浏览 4310

媒体:一份非官方的美国就业数据 把美国投资者吓坏了

财联社 浏览 9229

美媒:美军紧急出动F-16战机飞越叙中部城市上空"展示武力"

环球网资讯 浏览 4027

魏晨一家三口合体,妻子抱着儿子看他演唱会

柠檬有娱乐 浏览 4263

服装店起火老板带3孩子跳楼逃生 5人被烧伤已花160万

红星新闻 浏览 99606

尹锡悦看守所内收超6.5亿韩元代管金 系总统年薪2.5倍

鲁中晨报 浏览 8996

大带宽+低时延!F5G如何撑起城域“毫秒用算”?

览富财经网 浏览 4670

伊朗局势趋紧 美国从黎巴嫩撤人

澎湃新闻 浏览 2952

性压抑时代,搞黄色成了AI的第一生产力

虎嗅APP 浏览 3409

吴速玲曝儿子Joe是恋爱脑

韩小娱 浏览 3575

万科:董事长辛杰辞职

网易财经 浏览 4096

斯坦福突破:机器人实现视频动作到真实操作迁移

科技行者 浏览 3638

账面1000多亿,却隐藏20多年,整个互联网都找不到它长什么样

壹只灰鸽子 浏览 3443

A股继续走牛有底气

IPO日报 浏览 3507

美军袭击2艘所谓"从事毒品走私活动"船只 致5人死亡

环球网资讯 浏览 3663

【中超】埃杜加西亚梅开二度 9人深圳客场2比1三镇

体坛周报 浏览 4451

中国球员连续两年夺冠 丁俊晖:属于我们的时代正到来

新民周刊 浏览 14695

靠创新药结束连续8年亏损局面,百济神州烧百亿研发终迎转机

览富财经网 浏览 5128

谁说冬天不能穿裙子?照着搭美出新高度

LinkFashion 浏览 3005

韩国强硬批驳高市"独岛"言论 韩媒:其触碰两国间雷区

环球网资讯 浏览 8914
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1