批量推理

批量推理指的是同时对多个帧进行预测，充分发挥 GPU 执行并行操作的优势。这种方式在进行离线预测（与实时预测相对）时极为有效。通过批量处理数据，它能够大幅提升数据处理量，尽管不会直接提高帧率（FPS）。该技术优化了计算资源，可更高效地利用 GPU 的并行处理能力，加快对非时间敏感型任务的整体预测进程。