如何设计一套可持续演进的 AI 服务框架
EXL 在《Engineering the Harness》系列中探讨企业 AI 的生产化挑战：决定竞争力的不再是选哪个模型，而是围绕模型构建的服务框架，涵盖架构、内存管理、调度与推理优化。文章主张从工作负载而非模型出发，先测量再优化，并指出 KV cache 随并发与上下文增长会先耗尽 GPU 显存，此时单纯加算力只会让低效系统更贵。
#推理
MIT Technology Review · AIAI 评分2222
Berkeley AI ResearchAI 评分3434 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队梳理了并行推理领域进展，重点分析自适应并行推理：让模型自行决定何时分解并并行化独立子任务、开多少并发线程以及如何协调。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等方法多由外部固定并行结构，未按问题难度自适应调整。