实时性

在实时场景中，模型必须在严格的时间限制内运行。例如，在移动增强现实（AR）应用中，模型需要以快于所需帧率的速度生成预测，以便跟上输入图像的节奏。传统的批量预测（利用并行处理）在此类场景中并不适用：一旦下一张图像进入，前一次的预测便不再具有相关性。