在本地压缩代理读取的工具输出、日志和检索材料,减少上下文占用;保留原文缓存,模型需要细节时可按需取回。适合工具输出或 RAG 材料较长的任务,压缩效果需用实际负载验证。
可以接在哪一层
Headroom 位于模型输入前,既可通过 Python 或 TypeScript 库集成,也提供代理、Agent 包装和 MCP 接口。项目说明压缩在本机进行,并可缓存原始内容,以便后续按需恢复。
不应直接照搬节省比例
README 展示了多类内容的节省结果,但这些是项目方的基准。重复日志、结构化数据与已经紧凑的文本,实际效果可能相差很大。压缩在本地不代表后续模型请求也在本地,数据最终去向取决于上游模型配置。
接入自己的 RAG 或编程工作流时,应对比回答质量、检索命中、缓存与总延迟,尤其确认错误行、标识符和关键数值没有被压缩掉。
- 主要来源GitHub README