如何设计一套可持续演进的 AI 服务框架

EXL 在《Engineering the Harness》系列中探讨企业 AI 的生产化挑战：决定竞争力的不再是选哪个模型，而是围绕模型构建的服务框架，涵盖架构、内存管理、调度与推理优化。文章主张从工作负载而非模型出发，先测量再优化，并指出 KV cache 随并发与上下文增长会先耗尽 GPU 显存，此时单纯加算力只会让低效系统更贵。