首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点模块。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力模块MLA做一个全局“筛查”，找出哪些模块可以被刷新。
在原来的MLA架构中，每个MLA模块都是处置惩罚注重力的焦点单位，现在的新计划是给每个模块配一个可学习权重α。
α值越高，说明该模块额全注重力盘算越要害，一旦简化就容易丢性能；α值越低就意味着模块的可替换性强，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA模块，也就是后续的优化目的。
随后，将找出的50%低性能模块换成更轻盈的流式希罕注重力SSA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕模块提升效率，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《午夜操B视频》，《Q8X2R7L1T4J5M9B6W3》日韩毛片电影网
“掀起裙子从吊带伸进去揉她的小奶”
裸体动漫女大胸自慰
……
01月16日
“在被cao到爽网站”王鸥41岁状态
↓↓↓
01月16日，“山水工程”促进生态治理体系一体化发展，又大又黄又粗又爽又免费，亚洲 欧美 日韩 国产综合 在线，免费看黄色视频国产在线观看，圣域龙灵的大雷
01月16日，讲述民政榜样故事 2024“北京榜样·最美民政人”揭晓，阴户视频，馃崒馃崒馃尭馃尭馃崋馃崋馃憛馃憛馃崙馃崙，免费网站日本黄页免费观看，老司机色色色色色色色色色色色狼人射瑟瑟发
01月16日，第二届链博会将启 境外参展商美企居首，精品 yy-区二区三，露脸九色，我想看黄色一级中国男人操男人，JAVA101高清谜
01月16日|青海德令哈：猞猁悠闲漫步“巡山” 呆萌可爱|A级一级黄片久久A A片|欧美国产综合萌白酱白色旗袍会员版|日韩欧亚精品六区|日本 片免费毛
01月16日|天津警方今年已破获环食药和知识产权领域刑事案件545起|欧美体内she精视频在线观看|少妇捆绑被梱邦的女人|A片人人人人人人人人人人A片人人|www.国产av.插你b
01月16日|中新健康丨专家：中西医结合，是中医药现代化发展的重要路径|A片天堂av|18禁在线网址|深夜成人网站|国产精品无码AV天天爽软件……
01月16日，西安回民街人气十足迎来大量游客，麻豆视频免费，国产偷出轨精品免费视频，91性爱自拍，2012中文在线观看完整版在线播放
01月16日，世界针灸学会联合会主席：多种“语言” 多种形式 促进针灸全球化传播，性色精品视频在线观看，加勒比金8天国欧美一区久久，www.亚洲色图.com，欧美多人操
01月16日|叙利亚局势紧张，会走向内战吗？一文梳理|人人人人人人人人操人人人人搞|在线观看国产|无码啪啪网站|亚欧综合网
01月16日，西十高铁湖北段建设取得重大节点性进展，体育生Gay脱裤自慰喷水游戏，黄网站色视频网站免费下，欧美日韩国产中文在线第一区，草久久黄色视频
01月16日，第一观察 | 纪念邓小平同志，习近平总书记这样强调，欧美性妇视频，亚洲视插，成年人免费看，a一级作爱片在线播放
01月16日，广州中山纪念堂第三届木棉花文化节开幕舞龙“剃龙头” 13国青年在重庆感知中国传统“龙抬头”文化，流萤被困列车本子，A片/A√，色AⅤ色AV色AV偷拍，cos小草神裸体 开腿
01月16日|冬季进补喝药酒不是人人适宜|日本精品在线观看|中文字幕无码精品亚洲资源网久久|阿昂～阿昂够了太多了|经典国产精品第一页
01月16日|习近平致电祝贺丹麦国王腓特烈十世即位|玖玖草在线无码一区二区|欧美乱妇高清无乱码视频|美欧黄色网站|69开心色色网
01月16日|龙年将至 上海大世界上演“似曾相识”年|欧美与日本道性交XXXX|3344视频网免费毛片|欧美XX三级片免费在线观看|视频干干干干干
多国股市延长交易时间为哪般？，小巷人家片尾|“春之声·金梦想”春节文化交流系列活动走进尼泊尔孟加拉国|禁黄色网站在线观看地址|操人人人人人操|摸进她内裤里疯狂揉她的桃子视频|亚洲黑丝足交
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
腊八将至年味渐浓 江西南昌：花市销售旺 商家备足货源
北京亦庄出台“稳增长十条”促开门红 支持资金达6亿元
财政部拟第一次续发行2024年记账式附息(十四期)国债(5年期)
我国多地出现雨雪天气 各地采取多种措施积极应对
四川省甘孜州政协原党组书记、主席雷建平被开除党籍和公职
2024全国青年男子冰球锦标赛（U18）在威海开赛
（巴黎残奥会）探访巴黎残奥村：奥运村的完美“转身”
青海乌兰成功养殖高原“草膘”小龙虾 首批上市销售
“跨越万里·华岩寺非遗澳大利亚展”在悉尼开幕
2024春节“南北互换”旅游是热门 这些目的地值得反向游
男女动态视频一边摸一边做
狼友网站直接麻豆
欧美大屌插入逼
porin72HD😘
hentai
黄片大全视频,国产
国产免费男靠女网站
国产粉嫩在线观看
在线免费能直接看的黄色网站
717理伦午影院无码
闽公网安备 35010302000113号