分布式

指分散在多个设备上的状态。在机器学习领域，分布式训练通常是指利用多个 GPU（这些 GPU 通常位于不同的物理机器上）来训练模型。这种方法通过将计算任务并行分配到多个处理单元，从而实现更快、更高效的模型训练。