延迟

延迟是指在模型推理或数据传输过程中，从请求发出到获取响应的总耗时，是衡量推理服务实时性的核心指标，受模型复杂度、硬件性能、网络状况等因素影响。