吞吐量

吞吐量是指单位时间内推理服务能够处理的请求数量或数据量，通常以 “请求/秒” 或 “样本/秒” 为单位，是评估推理服务并发处理能力的关键指标。