#Observability

标签

与该标签相关的文章、问题和项目。

1 篇文章0 个问题1 个项目

文章

模型服务不是能跑就行一次超时、一次限流、一次显存抖动，都可能把你的 AI 产品体验直接打穿。三层可观测性请求层记录 QPS、P95、失败率、模型版本。资源层记录 GPU/CPU/内存、队列长度、批处理效率。...

项目·2026年3月30日·Lin Zhou

推理服务观测平台，聚合请求日志、资源指标和业务异常，帮助定位性能回退。