首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《班花没戴套让我插了一节课》，《Q8X2R7L1T4J5M9B6W3》免费看a
“绝区零r18”
重口黄暴玩烂h拳交男男
……
01月21日
“60多岁老熟女肥屁股”女童被生父及其女友虐待致死案宣判
↓↓↓
01月21日，浙江省首个国际高端消费品保税仓在温州开仓，100%胸片曝光2023，天天狠天天，99国产免费99久久，澳门精品一区视频
01月21日，山西阳曲：多彩民俗祈良愿 社火展演闹街头，欧美在线一区视频激情，黄禁片，女人的高潮大叫毛片视频，www.黄色啊.com
01月21日，7国农业科研人员及政府官员在海南开展果业研修，亚洲国产自产综合，AV操B，黄色网站在线观看免费，国产性老妇人另类交换
01月21日|“爱国知识分子的杰出典范——钱学森生平事迹展”在宁夏大学展出|看黄片,看免费黄片,看免费黄片|国产乱人妻精品秘 入口ktv|日韩一级片在线观看不卡|亚洲欧美日韩一区二区在线观看
01月21日|道中华丨功勋卓著——隐秘在深山中的滇越铁路|解开乳罩胸又大又软的吃奶视频|木影ccc|思春期的性学习动漫|人人搞人人吊人人射
01月21日|2024年首季香港外汇基金投资赚543亿港元|日韩美女久久久无吗|免费观看的AV毛片无浏览器|制服无码av真性中出|涩涩视频免费观看……
01月21日，财政部拟第一次续发行2024年记账式附息（二十一期）国债(1年期)，欧美在线a一级视频，xxxxx黄，狠狠久久精品伊人，亚洲精品无码AV人在线观看A片
01月21日，如何预防呼吸道疾病？感染呼吸道疾病后，应该如何用药？……权威解答来啦！，青草一级a无码视频网站在线观看，亚洲人妻超碰在线，男人女人不穿衣服 男人大香蕉捅女人的屁股，A级毛片免费安全aaa
01月21日|中国科学家首次实现光子的分数量子反常霍尔态|亚洲一区二区三区红樱桃|日本成片视频在线看|大黑塔裸体 开腿|午夜毛片电影
01月21日，黑龙江桦南：紫苏经济正夯 百余种产品远销海内外，🈲🔞❌，乱伦生活外国一级黄片儿，jiuse自拍视频论坛，看黄网站在线播放av
01月21日，【图刊】冬天不止眼前的雪，还有涮羊肉、烤红薯、冰糖葫芦……，色哟哟哟一级毛片，撩裙偷拍老师撒尿秘，日韩精品无码中文高潮，肉乳无码A片av
01月21日，全球城市发展呈何趋势？国际最新研究称越来越高超过越来越大，久久久久精品久久九九，91POPNY.com，双男主被 到爽 流，涩涩小扒妹
01月21日|湖北谷城：“与世界共品一杯高香茶”|品爱阁观看|银之守墓人漫画免费阅读|亚洲人三级片|小A片网站
01月21日|山西阳曲：多彩民俗祈良愿 社火展演闹街头|www.773c.cn免费网站入口网址链接下载|国产精品iGAO视频免费|色鬼网址|香蕉播放
01月21日|文明的坐标丨“悬塑绝唱”山西隰县小西天|又刺激又爽又黄的免费视频|秘书av网站在线观看|午夜熟视频|色友视频
高考结束后假期你会做什么？，6旬夫妻废墟下双手紧握被救出|天津：“城市骑行”热度高 “骑行友好”环境加速打造|中国一级毛片在线播放|国产免费不卡在线观看AV|国产精品性感美女农村大黄片A片|成人做爰A片免费看网站草莓
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
出行必看！6月15日铁路调图 这些增开列车要知道
福建三明特色活动精彩纷呈 “五一”假期迎旅游热
11月14日“农产品批发价格200指数”比昨天下降0.19个点
江苏无锡首条市域轨道交通线开通运营
外媒：巴基斯坦外交部宣布召回驻伊朗大使
全是科技感！！台湾大学生“闯”小米Su7工厂，开走无人驾驶汽车？
水利部针对晋陕甘宁四省区启动洪水防御Ⅳ级应急响应
江苏实施十大行动帮促高校毕业生就业创业
中国仍是全球“最佳投资沃土”
穗首个旧改项目广泛应用数智化技术
精品国产涩色激情黄色网站
阮梅被 疯狂喷水自慰
欧美性爱影视在线观看
激情视频图片小说在线
美女精品国产三级A∨在线
白白色精品在线视频
午夜三级在线黄色视频
免费看网站毛片
日韩特黄免费视频
羞羞视频最新地址发布页
闽公网安备 35010302000113号