AI 底层工程
分类当前分类下聚合展示文章和问题，方便按主题浏览 AIHub 内容。
1 篇文章0 个问题
文章
查看全部推理服务的可观测性该从哪三层开始搭
模型服务不是能跑就行 一次超时、一次限流、一次显存抖动，都可能把你的 AI 产品体验直接打穿。 三层可观测性 请求层 记录 QPS、P95、失败率、模型版本。 资源层 记录 GPU/CPU/内存、队列长度、批处理效率。...
当前分类下聚合展示文章和问题，方便按主题浏览 AIHub 内容。
模型服务不是能跑就行 一次超时、一次限流、一次显存抖动，都可能把你的 AI 产品体验直接打穿。 三层可观测性 请求层 记录 QPS、P95、失败率、模型版本。 资源层 记录 GPU/CPU/内存、队列长度、批处理效率。...