模型服务不是能跑就行

一次超时、一次限流、一次显存抖动，都可能把你的 AI 产品体验直接打穿。

三层可观测性

请求层

记录 QPS、P95、失败率、模型版本。

资源层

记录 GPU/CPU/内存、队列长度、批处理效率。

业务层

记录任务成功率、工具调用成功率、回答空值率。

建议

先让每一层都有稳定指标，再做高级优化。