猫眼影戏
 |
|
猫眼影戏
刘峙
手机审查
猫眼影戏记者 何红娜 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：91久久精品无码一区二区婷婷
??01月20日,强化中国式现代化人才支撑,
善待地球，作为学生，首先要从爱我校园做起 。我们应尽我们最大的起劲去呵护校园，敬重校园里的一草一木 。让飘扬在风中的纸屑和校园离别吧，让甜睡在地上的痰迹和马路离别吧，让摆设在墙上的涂痕和课堂离别吧，让我们用仔细的呵护唤起学校的整齐和漂亮吧!在；で樾蔚耐，我们也应该珍惜资源 。珍惜资源，就是要从节约一滴水，节约一度电，节约一粒米，节约一张纸做起 。
,骚母穿丝袜给我玩脚交 。??01月20日,国际货币基金组织批准再向阿根廷提供47亿美元贷款,
希望各人学会与同砚相助，特殊是独生子女许多，各人应该扬弃已往在家中以我为尊的头脑看法，与同砚和气相处，树立人人一律意识和相助意识，学会尊重他人，宽以待人,要学会忍让，“退一步天南地北”;学会做人做事,有事各人做，有难题一起分担，有用果配合分享 。那种不善于与人和气相处、不会与人相助、因一点小事就恶语相向、拳脚相加的人，是不会有什么作为的 。新课程刷新已将学会相助学习列为一种基本能力，希望每一位同砚能真正学会欣赏别人，求大通，存小异，与他人真诚相助，取长补短，配合提高 。
,曙光男科专业详解:前列腺炎的病因,触手伸进美女 里,另类小说 亚洲 。??时势2：欧美在线视频观看高潮
??01月20日,交易规则禁售“神药”，二手平台为何禁而不止, 6月13日、14日，河南多地宣布人工增雨通告 。提醒：任何组织和小我私家若发明未爆炸或爆炸不完全弹头、弹药碎片或火箭弹残骸，切勿私自移动、隐藏、拆解和损毁等，请连忙报告外地政府某人工影响天气有关部分，或者连忙拨打110向外地公安部分报警 。,斗罗玉转06玉转大意的比东,国产精品欧美三级片,++18馃埐鑹瑰畽 。
??01月20日,“五一”假期中老铁路磨憨口岸出入境旅客同比增长101%,
那一族强盛到无法想象，可是由于祖训，不得随意返回祖地，阻止将对头引到那里，故此漫长岁月已往，早已寻不到回路 。
,日韩uuu,18岁免费黄色片,YouJizz丰满熟妇日本白 。??时势3：男生 塞进女生 里视频
??01月20日,美联社：哈里斯正式获得美国民主党总统候选人提名,
三、实验新课程刷新工程，构建高效课堂 。
,免费无码A片在线看视频,黄色亚州视频久久,在线视频精品99 。??01月20日,中央军委主席习近平签署命令 发布新修订的《军事立法工作条例》,
缩小后，它只有巴掌大，通体金黄，炽盛醒目，无需多说，这定然是一件稀世至宝，价值难以权衡 。
,国产在线观看成永久视频,黄片啊啊啊青青在线,英语老师 开腿让我c一夜视频 。??时势4：GOGO全球最大胆高清人体
??01月20日,3000亿元国债资金落地！政策接力助企焕新，真金白银激发高质量发展活力,
人们接着向下读，当念道“击碎初始地通道”这一行字时，马上炸锅了 。
,黄站免费,鲁不死欧美,色网站免费 。??01月20日,外交部：美国遏制中国发展的真实意图越来越暴露无遗,
改装手机“偷拍神器”在网上销售牟利二被告人犯不法生产、销售窃照专用器材罪获刑 克日，人民法院审理一起生产偷拍器材案，以不法生产、销售窃照专用器材罪，划分判处吕某、徐某二人有期徒刑一年六个月和有期徒刑一年、缓刑一年，并各处分金 。 2020年9月至2022年8月，吕某为牟取利益，在未取得任何资质的情...
【福建泉州：世遗之城 书香氤氲】
责编：刘述礼
审核：黄菱
责编：王法前
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
