转载 mag1c-h/unified-cache-management 仓库的 UCM v2 接口设计文档:分层语义、数据模型、Store 与 Proxy 接口契约、七类决策规则、参考实现、典型时序与扩展指南,含原文全部 22 张表格、19 段代码与 8 张示意图
POSTS
文章
记录技术实践、效率工具与生活中的思考。
共 40 篇文章
- 技术分享UCMKV Cache接口设计架构设计C++搬运
- 项目笔记
拆解 UCM Store 的 Pipeline 架构:拦截式分层、压缩层定位、异步任务切片、AIO/Psync 双引擎与 .so 热插拔
UCMKV Cache架构设计存储系统C++ - 项目笔记
UCM 跨进程共享内存缓存的并发控制重构:读路径改为无锁遍历、原子钉住与复验,桶锁退为慢路径兜底,槽位锁整片删除,并逐段对照 issue 设计与分支实现。
UCM并发编程无锁KV Cache - 项目笔记
多 rank 共享同一份 KV 缓存时,UCM 的加载路径卡在锁步争用、环形淘汰与等待开销上。本文拆解四次重构:旋转访问、CLOCK 二次机会、无锁状态与下一格预热。
UCMKV Cache多进程性能优化 - 项目笔记
拆开 UCM 的 775 次提交,从 commit 记录还原一个 KV Cache 卸载系统走向 v2 契约的七个阶段,并点出哪些设计被反复修补、哪些被推翻。
UCMKV Cache开源项目架构演进 - 技术分享
UCM 与 Mooncake、HiCache、LMCache 等八家六维评分对比,拆解数据面、控制面与算法层,附 P0/P1/P2 差距清单。
UCMKV Cache竞争力分析架构对比 - 项目笔记
把「UCM v1 为极致性能而设计」拆成四条可证伪的假设,逐条用代码验证并追问:省下了什么、代价由谁在付,以及 v2 为什么把删掉的元数据又加了回来。
UCMKV Cache性能优化架构设计 - 技术分享
LMCache 用引擎、可插拔后端与自描述键换来近乎无底线的后端兼容,UCM v1 用定长分片和文件名索引把延迟压到极限。本文核实两边的后端清单与代价落点。
LMCacheUCMKV Cache架构对比 - 技术分享
一条 Prometheus 查询报 EOF,最后查出 etcd 集群丢失 Quorum、三台 master 全体失联、Harbor 502、大批 Pod ImagePullBackOff。这篇复盘完整记录根因链(物理失联 + 误用 --force-new-cluster 污染数据)、幽灵 Pod 的连锁反应、单节点 etcd 的恢复全过程,以及那些真正决定成败的操作细节
KubernetesetcdHAProxyKeepalived线上事故故障复盘SRE - 技术分享
从一个 LLM 性能测试框架的命名困境出发:为什么它不该叫"LLM Performance Benchmark",而应该叫 EVA(Engineering Validation Architecture)——一套把工程问题转化为可定义、可复现、可执行、可测量、可分析、可验证实验的通用工程验证体系
EVA工程验证测试框架架构设计LLM - 项目笔记
面向混合模型(MLA/SWA/Mamba/KDA 混搭)的缓存系统设计报告:规格表、协调器、组件投票、存储双原语与逐层流水适配(V6)
UCMKV Cache混合模型vLLM设计文档 - 学习笔记
从 Transformer 的每个零件开始,到 KV Cache、MLA、FlashAttention 与混合模型:一份注意力机制与架构演进的系统笔记
LLMTransformerAttentionKV Cache推理优化 - 技术分享
Jenkins 流水线异步调用与跨流水线通信完全指南:HTTP 回调、队列与 DSL 实战
JenkinsCI/CDPipelineGroovyDevOps异步编程 - 技术分享
通过阅读 nanovllm 源码,理解 LLM 推理引擎的核心架构:调度器、KV Cache 块管理、模型执行流程
LLMvLLM源码阅读KV CachePython - 技术分享
对比 btop、nvidia-smi、gpustat、nvtop 等 GPU/CPU 监控工具,附安装和使用方法
GPU运维工具LLM - 技术分享
PrefixBench 数据集:31,255条样本覆盖 8K-128K 长上下文,评估 KV Cache 前缀复用效率
LLMKV Cachebenchmarkprefix-cache - 技术分享
MCPS2ONE 用小语言模型智能选择 MCP 工具,减少主模型的 token 消耗和上下文窗口占用
MCPAI工具token优化 - 项目笔记
回顾这几年在 LLM 基础设施方向的开源项目探索,从性能测试到镜像管理,从 KV Cache 优化到多用户系统,记录踩坑过程中的技术成长
开源项目总结LLM - 技术分享
API2MCP 将 REST API 统一封装为 MCP 服务,支持 Web 管理界面、多种认证、SSE 流式
MCPAPIFastAPI工具 - 技术分享
介绍如何使用 pytest 构建 LLM 推理性能自动化测试框架,包括 YAML 配置管理、数据库集成、HTML 报告生成等核心功能
LLM性能测试pytestvLLM - 技术分享
MIT 6.824 分布式系统课程学习笔记:从 MapReduce 到 Raft,梳理核心概念与实验思路
分布式系统MITMapReduceRaft学习笔记 - AI思考
探讨 VibeCoding 的核心理念:AI 是超级实习生,我们是善后工程师。通过黄金闭环和四维把控法,找到人机协作的最佳边界
AIVibeCoding编程思考 - 技术分享
Diffusion Model 扩散模型学习笔记:从原理到应用,配合李宏毅课程的理解整理
AIDiffusion Model生成模型李宏毅学习笔记 - 技术分享
Cookie、Session、Token 三种 Web 认证方案:原理、优缺点与选型对比
Web认证CookieSessionToken - 技术分享
当你在浏览器输入网址按下回车后,背后发生了什么?从DNS解析、TCP握手、TLS加密到HTTP请求、服务器处理、页面渲染的完整过程
网络HTTPDNS浏览器 - 技术分享
docker-pull-tar:一个无需 Docker/Python 环境的镜像拉取工具,支持断点续传、多架构、SHA256 校验、并发下载,适合内网和离线部署场景
docker工具运维 - 技术分享
上智能计算系统课程,了解到VScode可以连接远程服务器来编写代码,分享一下使用过程和踩坑经历。
VSCodeSSH远程开发踩坑 - 生活
计算机类专业课程大体上差别不大,推荐计算机科学与技术或者软件工程。其他细分行业诸如物联网,信息安全,人工智能与大数据等,在本科基本都只能学个皮毛;感兴趣的话可以自学,网上就有许多的教程。
随笔生活思考 - 学习笔记
大部分人都是暑假开始的,180天左右的时间也是够的。但是推荐从现在就开始。整体进度规划按照“空卡空卡空空卡”的每月进度安排即可,但因为408专业课较多,可以多分配一些时间。
考研408复习规划 - 学习笔记
复试对于整个研究生考试是相当重要的,可能你排名靠后复试成功逆袭上岸,也许你初试第一复试折戟。这些都是有可能的,这样的案例太多太多。那些初试400,两篇 Nature 不打老师就能过也就只能当段子了哈。不知道你们今年的复试
考研复试经验分享 - 学习笔记
最开始启动计算机的时候,计算机内存未初始化,没有任何程序。而因为CPU只能读取内存中的程序,所以必须将操作系统先加载进内存当中才能使用操作系统的代码,这就需要使用BIOS。BIOS程序的入口地址为0xFFFF0,即为CS
操作系统国科大复习题