PrefixBench：一个 LLM 前缀缓存性能的评估基准

引言

在大语言模型（LLM）推理成本日益攀升的背景下，KV Cache 前缀复用技术正在成为优化推理性能的关键手段。然而，现有的评估基准大多聚焦于单次请求的延迟或吞吐量，缺乏专门针对前缀缓存场景的标准化测试数据集。

PrefixBench 正是为此而生——一个面向大语言模型长序列推理的 KV Cache 前缀复用性能评估基准。它提供 31,255 条精心设计的测试样本，覆盖 8K 至 128K 五个长度级别，旨在为前缀缓存技术的性能评估提供科学、可复现的标准。

什么是 KV Cache 前缀复用？

在 Transformer 架构中，KV Cache（Key-Value Cache）存储了注意力机制中每个 token 的键值状态，避免重复计算。当多个请求共享相同的输入前缀时（例如，多个用户查询同一份长文档的不同问题），传统推理引擎会为每个请求独立生成 KV Cache，造成大量计算冗余。

前缀复用技术通过识别和共享公共前缀的 KV Cache，将计算开销从 O(n × m) 降低到 O(n + m)，其中 n 为前缀长度，m 为不同问题的数量。这一优化在长上下文场景中尤为关键——一个 64K token 的前缀，若能被 5 个请求复用，理论上可节省约 80% 的注意力计算。

然而，理论收益与实际性能之间存在显著差距：缓存命中率、内存占用、前缀匹配算法效率等因素都会影响最终效果。PrefixBench 的目标，正是为量化这些因素提供标准化的测试环境。

PrefixBench 核心设计理念

前缀复用模式：真实场景的抽象

PrefixBench 的核心设计围绕“共享前缀 + 不同问题”的测试组结构展开。每个基础文本（前缀）对应 2-5 个变体问题，形成自然的缓存复用场景：

1
前缀: [长文档/代码库/对话历史] (共享部分)
2
├── 问题 1: "文档的第一章讨论了什么？"
3
├── 问题 2: "这段代码的主要功能是什么？"
4
├── 问题 3: "用户在第10轮对话中提到了什么？"
5
└── 问题 4: "基于前文内容，总结核心观点"

这种设计直接映射了实际应用场景：

• 文档理解：多用户查询同一份报告的不同细节
• 代码生成：基于同一代码库上下文生成不同功能的代码片段
• 对话交互：多轮对话中，历史消息作为前缀被反复使用
• 推理问答：基于同一知识库进行多角度问答

多语言与多场景覆盖

数据集包含中英文双语样本，分布在以下四大场景：

长度分级与正态分布

为覆盖不同规模的推理需求，PrefixBench 设计了五个长度级别：

每个级别内的文本长度服从正态分布，而非简单的固定长度。这一设计模拟了真实场景中的自然变异——用户的输入长度不会恰好等于某个阈值，而是围绕平均需求波动。正态分布还能帮助测试缓存系统在不同边界条件下的稳定性。

数据集规模与统计

PrefixBench 共包含 10 个数据文件，总计 31,255 条测试样本。样本数量随长度级别增加，这是因为更长上下文的前缀复用收益更高，需要更密集的测试覆盖。

1
总样本数: 31,255 条
2
文件数量: 10 个（按长度和场景划分）
3
平均复用率: 3.2 个问题/前缀（模拟真实并发场景）
4
语言分布: 中文 55%，英文 45%
5
场景分布: 文档理解 40%，代码生成 25%，对话交互 20%，推理问答 15%

从数据分布看，64K 和 128K 级别占据了总样本的 51%，体现了对长上下文场景的重点关注。这正对应了当前 LLM 应用的发展趋势——从 4K context window 到 128K+ 的演进，使得前缀缓存技术的重要性日益凸显。

工具链兼容性：无缝集成现有生态

PrefixBench 原生支持三大主流评估工具：

EvalScope 集成

作为阿里开源的 LLM 评估框架，EvalScope 提供了完善的性能基准测试能力。PrefixBench 可直接导入 EvalScope 的数据集格式：

1
from evalscope.benchmarks import load_benchmark
2

3
benchmark = load_benchmark("PrefixBench", level="64K")
4
results = benchmark.evaluate(model_endpoint, metrics=["cache_hit_rate", "latency_reduction"])

AIS Bench 支持

AIS Bench（AI System Benchmark）专注于 AI 系统层面的性能评估，包括推理引擎、调度系统、缓存机制等。PrefixBench 与 AIS Bench 的集成点在于：

• 缓存命中率测试：量化前缀匹配算法的精度
• 内存压力测试：评估 KV Cache 存储效率
• 并发吞吐测试：测量多请求场景下的整体吞吐量提升

vLLM Bench 原生对接

vLLM 作为当前最流行的开源推理引擎之一，其内置的 Prefix Caching 功能正是 PrefixBench 的核心测试对象。数据集格式与 vLLM Bench 的请求模式完全兼容：

1
python -m vllm.entrypoints.api_server \
2
    --model meta-llama/Llama-3.1-70B \
3
    --enable-prefix-caching \
4
    --benchmark-data PrefixBench/64k_document.json

实际应用案例

以一个 64K 级别的文档理解测试为例，假设使用 vLLM + Prefix Caching：

测试配置：

• 前缀：一份 45K token 的技术规范文档
• 问题数：5 个不同角度的查询问题
• 测试次数：重复 10 次以验证缓存稳定性

预期指标：

这类数据为优化决策提供了量化依据：例如，若缓存命中率低于预期，可排查前缀匹配策略或缓存淘汰算法的问题。

如何获取和使用 PrefixBench

数据集已在 ModelScope 平台开源发布：

数据集地址：https://modelscope.cn/datasets/keriko/PrefixBench

使用方式：

1
# 从 ModelScope 加载
2
from modelscope.msdatasets import MsDataset
3

4
dataset = MsDataset.load('keriko/PrefixBench', subset_name='64k_level')
5
print(f"样本数: {len(dataset)}, 平均长度: {dataset.stats['avg_tokens']}")
6

7
# 运行评估
8
from evalscope.run import run_benchmark
9

10
run_benchmark(
11
    model="your_model_endpoint",
12
    benchmark="PrefixBench",
13
    level="all",  # 测试所有级别
14
    output_dir="./prefixbench_results"
15
)

总结

PrefixBench 的发布，填补了 LLM 推理优化领域的一个关键空白：专门针对前缀缓存技术的标准化评估基准。其设计特点——真实的复用模式、科学的长度分布、全面的场景覆盖、完善的工具链集成——使得研究者和工程师能够：

1. 量化优化收益：从理论预期到实际效果的精准测量
2. 对比不同方案：为 vLLM、TensorRT-LLM、SGLang 等引擎提供公平比较基准
3. 定位性能瓶颈：缓存命中率低？内存占用高？前缀匹配慢？数据驱动问题诊断
4. 验证稳定性：正态分布的长度变异，测试边界条件下的系统鲁棒性

随着 LLM 应用向更长上下文、更高并发演进，前缀缓存技术将成为推理优化的标配。而 PrefixBench，将为这一技术的评估与迭代，提供坚实的数据基础。

参考资源：

• PrefixBench 数据集：https://modelscope.cn/datasets/keriko/PrefixBench
• EvalScope 文档：https://github.com/modelscope/evalscope
• vLLM Prefix Caching：https://docs.vllm.ai/en/latest/automatic_prefix_caching.html