利用cpu和gpu协同计算，显著提升大语言模型推理效率！来自cmu、华盛顿大学和meta ai的研究人员提出了一种名为magicpig的新方法，它巧妙地利用cpu上的局部敏感哈希（lsh）技术，有效缓解了gpu内存容量限制，从而大幅提升大语言模型（llm）的推理速度和准确性。

与仅依赖GPU的注意力机制相比，MagicPIG在解码吞吐量方面实现了1.76到4.99倍的提升，并在多个下游任务中取得了优于现有技术（例如Quest）的准确率。

这项研究的主要贡献在于：

1. 突破性精度提升: 不同于其他稀疏注意力机制，MagicPIG基于采样和估计而非搜索，从而在保证推理质量的前提下，显著提高效率。

2. 高效异构计算: 将解码阶段的注意力计算和哈希表操作卸载到CPU，充分利用异构计算架构，提高吞吐量并降低模型部署成本。

GPU内存瓶颈：KV缓存的挑战

在LLM推理中，KV缓存是主要的性能瓶颈。 KV缓存存储中间注意力键值对，避免重复计算。然而，其内存占用随着批量大小和序列长度线性增长，严重限制了GPU的批量处理能力，导致GPU利用率低下。例如，在NVIDIA A100-40GB GPU上处理Llama-3.1-8B模型（上下文长度128k）时，只能处理单个请求，且近一半的解码时间都耗费在KV缓存访问上。多样性生成和长链式推理等技术进一步加剧了这一问题。

TopK注意力机制的局限性

注意力机制本身具有稀疏性，因此动态稀疏注意力和TopK近似方法被广泛研究。但这些方法通常会造成精度下降。现有技术如Quest、H2O和Loki主要通过选择注意力得分最高的键值对来提高效率，但这种基于TopK的近似方法存在偏差，缺乏理论保障，尤其在高精度要求的任务（如聚合任务、常用词提取、高频词提取和逻辑推理）中表现不佳。

下图显示了TopK注意力机制的估计误差和性能下降：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

研究人员通过观察发现，TopK方法的失效与以下现象有关：

1. 首个输入token的隐藏状态几乎不随输入变化。
2. 键状态的中心方向在不同输入句子中保持稳定。
3. 键状态的中心与汇聚点token的键状态几乎相反。

下图展示了这些观察结果：

MagicPIG：基于采样的注意力估计

为了解决TopK方法的局限性，MagicPIG提出了一种基于采样的注意力估计方法。 该方法将问题视为偏差校正问题，利用局部敏感哈希（LSH）技术生成采样概率，并通过重要性采样来估计注意力输出。 与TopK方法相比，这种基于采样的方法显著降低了估计误差。

Perplexity

Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要

302 查看详情

下图对比了基于采样的方法和TopK方法的估计误差：

系统设计：CPU-GPU协同工作

MagicPIG将注意力计算和哈希表操作卸载到CPU，充分利用CPU的内存优势。 研究人员发现，通过采样技术降低内存访问量，可以有效弥补CPU内存带宽低于GPU的不足。 系统将LLM解码分为四个部分：参数计算（GPU）、注意力计算（CPU）、随机投影（GPU）和检索（CPU）。

下图展示了MagicPIG的系统架构：

实验结果

实验结果表明，MagicPIG在长文本RULER任务中取得了比Quest更高的准确率，并且在推理速度和吞吐量方面有显著提升。

下图展示了MagicPIG在长文本RULER任务中的准确率：

下图展示了MagicPIG的吞吐量提升：

总结：MagicPIG 通过巧妙地结合采样技术和异构计算，为高效的LLM推理提供了一种新的思路，有望降低LLM的部署成本并推动其更广泛的应用。

以上就是把注意力计算丢给CPU，大模型解码吞吐量提高1.76~4.99倍的详细内容，更多请关注其它相关文章！

# 局部敏感哈希  # lsh采样  # ai  # 内存占用  # magicpig  # 日照网站推广优化建设  # 推广营销歌曲有哪些  # 宁夏抖音seo价值  # 油漆推广的服务网站  # 丽江网络推广渠道营销  # 少儿频道网站建设文案  # 瀍河回族区网站外包优化  # 开展志愿服务网站建设  # 专业的酒店网站建设  # 济南网站建设与维护总结  # 合作协议  # 国中  # 充分利用  # 链式  # 异构  # 提出了  # 展示了  # 同济  # 同济大学  # 键值  # llama  # 键值对 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： python和typescript学哪个  python 如何执行linux命令  如何用固态硬盘做缓存  单片机怎么控制闪烁技术  drawing是什么意思  夸克学习都有什么课程  typescript有什么作用  春运抢票可以抢几张  怎么用win7系统盘重装系统  怎么确定手机是5g  苹果手机16系统有哪些  单片机引脚怎么改成上拉  play的三人称单数和过去式  虽千万人吾往矣什么意思  春运抢票要用抢票软件吗  360n7锁屏壁纸怎么固定  j*a怎么用数组缓存  16苹果有哪些机型  如何使用net命令  如何区别固态硬盘  汽车中控导航机power线是什么意思  j*a里数组怎么赋值  夸克的答案为什么不对  单片机怎么发送can 信号  2025年哪个局域网聊天软件好用  满射和单射定义  j*a怎么求数组均值  春运车站抢票和网上抢票  苹果手机16新款颜色有哪些  华为的nfc功能是什么意思  j*a怎么创建json数组  如何创建sql命令  企业征信不好如何恢复 企业征信不好怎么恢复步骤  ready是什么意思  老电脑如何装固态硬盘  固态硬盘如何显示  手机如何ip绑定域名解析  typescript如何遍历map  金色cmyk色值是多少  春运抢票哪里最火热  typescript怎么解析vue TypeScript在vue中的使用最新解读  美食音乐每日推荐怎么写  春运抢票如何快速抢到票  j*a怎么读取char数组  推特是什么软件国内可以使用吗  ssd固态硬盘如何安装  1kb等于多少字节  反向春运抢票方式  手机的nfc是什么功能是什么意思  苹果16改掉了哪些