从一个 LLM 性能测试框架的命名困境出发:为什么它不该叫"LLM Performance Benchmark",而应该叫 EVA(Engineering Validation Architecture)——一套把工程问题转化为可定义、可复现、可执行、可测量、可分析、可验证实验的通用工程验证体系
kerikoの行星观察笔记
记录技术探索、开源旅程和偶尔发呆的地方
LLM 基础设施工程师的技术随笔。
KV Cache / 容器镜像 / 性能测试 / 开源实践
文章列表
- 技术分享EVA工程验证测试框架架构设计LLM
- 项目笔记
面向混合模型(MLA/SWA/Mamba/KDA 混搭)的缓存系统设计报告:规格表、协调器、组件投票、存储双原语与逐层流水适配(V6)
UCMKV Cache混合模型vLLM设计文档 - 学习笔记
从 Transformer 的每个零件开始,到 KV Cache、MLA、FlashAttention 与混合模型:一份注意力机制与架构演进的系统笔记
LLMTransformerAttentionKV Cache推理优化 - 技术分享
Jenkins 流水线异步调用与跨流水线通信完全指南:HTTP 回调、队列与 DSL 实战
JenkinsCI/CDPipelineGroovyDevOps异步编程 - 技术分享
通过阅读 nanovllm 源码,理解 LLM 推理引擎的核心架构:调度器、KV Cache 块管理、模型执行流程
LLMvLLM源码阅读KV CachePython - 技术分享
对比 btop、nvidia-smi、gpustat、nvtop 等 GPU/CPU 监控工具,附安装和使用方法
GPU运维工具LLM - 技术分享
PrefixBench 数据集:31,255条样本覆盖 8K-128K 长上下文,评估 KV Cache 前缀复用效率
LLMKV Cachebenchmarkprefix-cache - 技术分享
MCPS2ONE 用小语言模型智能选择 MCP 工具,减少主模型的 token 消耗和上下文窗口占用
MCPAI工具token优化 - 项目笔记
回顾这几年在 LLM 基础设施方向的开源项目探索,从性能测试到镜像管理,从 KV Cache 优化到多用户系统,记录踩坑过程中的技术成长
开源项目总结LLM - 技术分享
API2MCP 将 REST API 统一封装为 MCP 服务,支持 Web 管理界面、多种认证、SSE 流式
MCPAPIFastAPI工具 - 技术分享
介绍如何使用 pytest 构建 LLM 推理性能自动化测试框架,包括 YAML 配置管理、数据库集成、HTML 报告生成等核心功能
LLM性能测试pytestvLLM - 技术分享
MIT 6.824 分布式系统课程学习笔记:从 MapReduce 到 Raft,梳理核心概念与实验思路
分布式系统MITMapReduceRaft学习笔记 - AI思考
探讨 VibeCoding 的核心理念:AI 是超级实习生,我们是善后工程师。通过黄金闭环和四维把控法,找到人机协作的最佳边界
AIVibeCoding编程思考 - 技术分享
Diffusion Model 扩散模型学习笔记:从原理到应用,配合李宏毅课程的理解整理
AIDiffusion Model生成模型李宏毅学习笔记 - 技术分享
Cookie、Session、Token 三种 Web 认证方案:原理、优缺点与选型对比
Web认证CookieSessionToken - 技术分享
当你在浏览器输入网址按下回车后,背后发生了什么?从DNS解析、TCP握手、TLS加密到HTTP请求、服务器处理、页面渲染的完整过程
网络HTTPDNS浏览器 - 技术分享
docker-pull-tar:一个无需 Docker/Python 环境的镜像拉取工具,支持断点续传、多架构、SHA256 校验、并发下载,适合内网和离线部署场景
docker工具运维 - 技术分享
上智能计算系统课程,了解到VScode可以连接远程服务器来编写代码,分享一下使用过程和踩坑经历。
VSCodeSSH远程开发踩坑 - 生活
计算机类专业课程大体上差别不大,推荐计算机科学与技术或者软件工程。其他细分行业诸如物联网,信息安全,人工智能与大数据等,在本科基本都只能学个皮毛;感兴趣的话可以自学,网上就有许多的教程。
随笔生活思考 - 学习笔记
大部分人都是暑假开始的,180天左右的时间也是够的。但是推荐从现在就开始。整体进度规划按照“空卡空卡空空卡”的每月进度安排即可,但因为408专业课较多,可以多分配一些时间。
考研408复习规划 - 学习笔记
复试对于整个研究生考试是相当重要的,可能你排名靠后复试成功逆袭上岸,也许你初试第一复试折戟。这些都是有可能的,这样的案例太多太多。那些初试400,两篇 Nature 不打老师就能过也就只能当段子了哈。不知道你们今年的复试
考研复试经验分享 - 学习笔记
最开始启动计算机的时候,计算机内存未初始化,没有任何程序。而因为CPU只能读取内存中的程序,所以必须将操作系统先加载进内存当中才能使用操作系统的代码,这就需要使用BIOS。BIOS程序的入口地址为0xFFFF0,即为CS
操作系统国科大复习题