猫眼影戏
 |
|
猫眼影戏
伯尼
手机审查
猫眼影戏记者 刘科 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：人人干人人爽人人操
??01月13日,2019年至今广东完成海岸线整治近300千米,
“嗯，族长爷爷，我知道的 。”小不点接到手中，轻轻摩挲，感受无比的莹润，清凉入骨，持在手中很是惬意 。
,xxnx39 。??01月13日,川藏青藏公路建成通车70周年|奋战高原、扎根高原 他们用热血青春述说忠诚与担当,
“这是……什么宝术？”他们心惊，族中未曾有纪录，很诡异，竟透过了他们的躯体尚有宝术，击向前往，想阻止晚了 。
,影音先锋玖玖资源av你懂的,www.xjj49.com,国产精品26 。??时势2：麻豆传媒在线观看神马影视
??01月13日,河南省渑池县委书记谢喜来被查, 确实，近年，大凉山都是支教研学热门地 。一直涌入的研学团，被一辆辆大巴车送往县城 。过了一周，又被一批批送出大凉山 。据多家公益组织视察，簇拥而至的支教自愿者俨然成了大凉山另类“特产” 。大凉山支教也衍生出从宣发引客到高价支教售卖的工业链，公益俨然成了一门“生意” 。,国产手机在线a∨免费视频,黄片A片视频免费在现观看,免费生活片 。
??01月13日,易纲：中国央行向市场传递更清晰利率调控目标信号,
鼎壁上的上古先民再次浮现，祭祀音响起，无数的诵经声此起彼伏，镇压三头远古遗种 。
,日韩免费一区二区三区免费视频道,亚洲一级高清在线大黄毛片,香蕉视频成人 。??时势3：馃崒馃崙馃敒
??01月13日,“不会接受” ：内塔尼亚胡最新表态！,
“啥？你这憨娃又犯浑了！”锤叔吓了一大跳 。
,在线观看 亚洲 欧美 日本,91久久精品无码专区免费,丁香五月六月婷婷综合激情 。??01月13日,以坚持党中央集中统一领导为根本保证(人民观点),
5、催促他们学习的同时，我们更要善于发明孩子的前进，要大胆勉励他们 。发给各人的作文本是孩子们这一期写的作文，用大人的眼光看，确实是稚嫩的文笔，有错别字，尚有许多欠亨顺的句子，可是最主要的，这是你孩子自己创作的，纵然内里只有一个精彩的句子，我也以为那是最有希望的火花 。未来的作家、记者可能就孕育其中了 。今天发给各人，就是让各人零距离地感受一下，你的孩子学得怎么样，写得怎么样，有什么优点，有什么缺乏，回家后就能有针对性地对孩子举行教育，这样的家庭教育就有事半功倍的效果 。
,99久久久,99国产精品久久一区,成年男性黄色视频 。??时势4：2020年精品黄色视频
??01月13日,九十余场“进博会上海会议活动”将在第七届进博会期间举办,
只管脚下的路还很长很长，理想的彼岸很远很远 。但我们知道，青松之以是傲立严冬，是由于它坚贞不拔，扎根岩石;腊梅之以是笑对风雪，是由于它坚定不移，傲骨峥峥，海燕之以是挑战狂风雨，是由于它勇敢顽强，永不言弃 。我们知道，x年北京奥运会开幕式上的每一个演出，都是专心血凝聚的;竞技场上的每一块奖牌，都是用汗水浇灌的;同样，科场上的每一份答卷，都是用勤劳誊写的 。我们知道，灾祸是人生的一笔财产 。高中三年，我们只有埋下头，沉下心，将压力化为前进的动力，波折酿成继续的勇气，才华在高考中无愧、无悔于自己 。我们知道，有志者，事竟成，破釜沉舟，百二秦关终属楚;苦心人，天不负，卧薪尝胆，三千越甲可吞吴!
,看欧美肏大黒屄视频直播,MM131王雨纯被 喷水视频,在线观看黄AV免 。??01月13日,花市灯如昼！来看茶马互市上的古老“广告牌”,
“兽潮，活该的，那头老狈去山脉中赶来了一群巨兽，要攻击这里，着实是狠辣与狡诈！”石云峰变色 。
,酒店双飞两个美女p,大黄片AAA,正规成人 啪啪动漫 。【塞尔维亚首都贝尔格莱德街道挂起中塞两国国旗】
责编：胡勇
审核：齐藤
责编：王宪榕
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
