猫眼影戏
 |
|
猫眼影戏
杨从波
手机审查
猫眼影戏记者 赫尔岑 报道Q8X2R7L1T4J5M9B6W3
随着 LLM 向 1M 上下文演进，KV cache（键值缓存）已成为制约推理效劳效率的焦点瓶颈。自回归天生的特征使得模子必需存储历史 token 的 key-value 状态（即 KV cache）以阻止重复盘算，但 KV cache 的显存占用随着上下文长度的增添而膨胀，带来显著的内存瓶颈。
已往两年，关于 KV cache 的优化事情爆炸式增添，包括调理、迁徙、压缩等战略层出不穷。然而，现有综述主要聚焦于 LLM 推理或效劳的整体效率，大多仅将 KV cache 作为其中一个子？樽骷蛞致。
近期，来自墨尔本大学和华中科技大学的研究者们宣布了一篇深度综述，从MLSys 的头脑出发，用一套新颖的「时间 - 空间 - 结构」系统行为视角对 KV cache 优化要领举行了系统性梳理与深入剖析，并将相关资源整理成了一连维护的 Awesome 资源库，利便研究者与从业职员快速定位与落地。
论文地点: https://doi.org/10.36227/techrxiv.176046306.66521015/v3项目地点: https://github.com/jjiantong/Awesome-KV-Cache-Optimization
什么是「 sKis」？
为了提供更聚焦的视角和明确，作者们首先在综述中界说了sKis的界线：在推理效劳阶段，以 KV cache 为焦点优化工具，在不依赖模子重训或结构修改的条件下，提升吞吐、延迟等焦点系统指标。
从「系统行为」看 KV Cache
聚焦于 sKis，该综述立异性地提出以系统行为的视角来组织 KV cache 优化手艺：不是按详细流程、框架、算法来划分，而是按优化战略在系统中爆发的时间、空间、结构三个维度的行为来划分，从而更容易对齐工程实现与组合战略。
执行与调理（时间维度）：KV 什么时间被会见和盘算？该分类关注执行历程与调理。例如设计以 KV 为中心的调理战略，接纳流水线来掩饰延迟，或者凭证差别硬件的特征适配操作等。安排与迁徙（空间维度）：KV 放在那里、怎样迁徙？该分类关注数据的存储。例如在 GPU、CPU、SSD 组成的存储层级中怎样使热门 KV 留在 GPU 显存中，或者在漫衍式或异构的盘算装备中设计迁徙战略等。体现与留存（结构维度）：KV 长什么样？该分类关注数据体现。这是现在最拥挤的赛道，包括量化、驱逐等论文麋集的子领域，旨在直接镌汰 KV cache 的物理体积。
基于上述三个维度，该综述将现有事情归纳为 7 个二级种别，详细包括：以 KV 为中心的调理（KVS）、流水线与重叠（OVLP）、硬件感知的执行（HAE）、跨内存层级的 KV 编排（MHO）、跨盘算装备的 KV 编排（CDO）、KV cache 压缩（KVCC）、KV cache 留存治理（KVRM）。
该论文不但详细梳理了每个维度下的差别类型和手艺要领，还为每一类提炼了要害要点、局限与权衡，给出了可落地的适用指导。
深度洞察与开放挑战
这篇综述最有价值的部分之一，在于作者们对百余篇论文举行了全局交织剖析，从而归纳了7 大概害视察，并引发了6 大开放挑战。
首先，作者们对文献举行了跨行为共现剖析，以展现差别维度的 KV 行为之间的内在联系和协同模式；别的，作者们深入剖析了KV 行为和优化目的的作用关系，并统计了文献中对相关优化指标的现实关注情形。
基于以上两类交织剖析，作者们展现了目今领域的7 大概害视察，例如什么组合是最常见的协同模式？结构维度（如量化）虽然论文最多，为什么往往沦为系统中的「孤岛」？
基于要害视察，作者们进一步提炼了6 大开放挑战，例如在追求效率的同时，我们虽然常；峁刈⒌蕉云渲柿康挠跋，可是否往往忽视了可信度（trustworthiness）的隐形崩塌？该综述中对每一个视察和挑战都给出了详细的剖析和思绪，期待能引发社区向着越发高效与可信的 LLM 效劳系统的一连探索！
资源分享：Awesome-KV-Cache-Optimization 资源库
为了利便社区追踪这一飞速生长的领域的最新希望，论文作者同步维护了一个 Awesome 气概的资源库，收录并一连更新 sKis 领域的最新论文和代码实现。希望这个资源库能让你少走弯路！
地点：https://github.com/jjiantong/Awesome-KV-Cache-Optimization
若是你正在做 LLM Infra、模子压缩或者高性能盘算等相关偏向，接待在 GitHub 上 star 支持，或者来客栈一起补全与更新！
??时势1：黄色A片视频免费看
??01月19日,【一线调研】“自动挡”新农机为丰收添动力,
一是要把农民群众的利益放在首位。 “事情法”的焦点内容，就是把农民群众的利益放在首位，把党和政府的要求与黎民愿望很好地连系起来，通过科学治理、立异要领，有用提高下层政权的执政水平和群众知足度。“事情法”是把科学生长观落实到农村现实、使干部和群众面扑面心知心、使下层党组织联系效劳群众的事情法，是起劲应对农村社会治理挑战、化解农村社会矛盾、因地制宜求实效、解决问题出实招的事情法，是新时期州里党委的出路。在详细事情中学习和运用“事情法”， 就是要在事情中始终将农民群众的利益放在首位，切记一心一意为人民效劳的宗旨，清正清廉，起劲做到“为官一任，造福一方黎民”。作为州里党委向导干部，一定要做人民群众的知心人，要经常到村里去，到农民家里去，到田间地头去，相识农民群众的所思所想所忧所盼，交农民群众的知心朋侪。要从与群众生爆发涯亲近相关的详细事情做起，从群众最不知足的问题抓起，每年有妄想地干几件改善民生的实事，踏扎实实地为老黎民办实事、解难事、做好事。
,思思热思思热思思热思思热。??01月19日,鲍威尔称美联储降息时机已到,
尚有就是我们区、村、部分干部配合保存的吃喝成风，玩风太盛问题。一是吃喝成风。现在我区干部中普遍存着，今天是区机关、部分干手下村吃，明天是村干部来机关吃，后天是各人上城吃，横竖是变着办法吃。在吃喝问题上，我们一直主张从简，干部不可背着锅跑。区机关干部因事情下村，村里可以简朴安排一顿便餐;村干部来区机关效劳，一律凭证区机关治理制度执行。按每人30元的标准，凭餐卷到食堂就餐？芍葱兄，就有那么些人，穷大方，穷热情，破损规则，违反制度，拿整体的钱不算帐。显着划定事情日时代，中午禁绝喝酒，他偏偏中午要喝酒;显着划定除特殊情形外，来人一律在食堂就餐，他偏偏要外出下饭店;显着划定外出就餐一律由党政办安排，他偏偏要自作主张。一顿吃上几百元，甚至上千元，他们眼也不眨一下，一点也不感应心寒。这里我要提醒我们党政办的同志，以后在来人招待方面，把关一定要严，程序一定要办理到位。不管是什么人，你们都不要碍于人情，怕冒监犯，要严酷按制度办理，该怎么办就怎么办。以后通常泛因由党政办把关不严，违反机关治理制度的，将坚决追究党政办认真人的责任。村里泛起类似情形，坚决追究村主要认真同志的责任。
,日韩色色色色色网,中国A级毛片99…97,美女小便视频。??时势2：17禁 桃花
??01月19日,迈出新步伐丨“尔滨”新年火出圈，2024黑龙江还会有爆款,
至于石林虎、石飞蛟等一大批青壮年人，则更是呼吸急促，眼睛都快红了。
,一级A色黄色视频,55夜色66夜色国产精品,国产精品久久人人爽一区二区三区。??01月19日,执法人员一言不合就打人拆店？江西新余：属实，将严肃处理,
让我们从身边的小事做起，从我做起，让低碳成为生涯的一部分，让谁更青，天更蓝，让生涯更完善!
,国产91精品青草社区,97人人超,欧美一级片在线视频。??时势3：欧美在线日
??01月19日,中法人文合作发展论坛在巴黎举行,
② 随着海内装备制造业的需求减小以及部分企业转型等，将会导致产品订货形势严肃，甚至现有订单有遭遇暂缓、撤单的危害。③由于总量膨胀式的扩张，公司的资金链主要、货款接纳难度增大，资产欠债率较高。
,2020色欧美日韩国产在线,亚洲综合亭亭五月,678五月丁香亚洲综合网九色。??01月19日,“免费”服务背后藏着“额外”陷阱 ,
金狼部落的人闻言蹙眉，这个小家伙是居心的吧，想借势拒绝他们，虽然看起来很纯粹，但做出的选择却不差。
,免费看黄色一区二区,动漫人物插动漫美女的视频,日韩视频网址入口。??时势4：欧美免费网
??01月19日,“龙腾福地”——甲辰新春主题非遗系列展在福州开幕,
“毛球，以后我带你去远古神山吃宝药，现在你得先帮我……”小不点捉住它，用力摇动。
,黄色视频免费观看日本欧美www,男女一级做片爱a性视频,绝区零黄化外网。??01月19日,江西彭泽：湿地候鸟集结北迁,
突然，年轻的女子动了，白衣飘飘，小蛮腰一扭，整小我私家犹如一株纤柔的杨柳般到了近前，皎洁玉臂一拂，击向小不点。
,aA观看网址,A级大学生免费黄片,美女0厘米。【引桥合龙 黄茅海大桥与高栏港大桥海上“牵手”】
责编：汪扬因
审核：阮经天
责编：章斌
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
