自监督学习

自监督学习是一种机器学习范式，模型通过解决 pretext 任务（如预测缺失的图像 patch 或旋转方向）从无标签数据中学习特征表示。它无需昂贵的人工标注，能够在大型非结构化数据集上进行训练。自监督学习广泛应用于计算机视觉（如 ViT 预训练）和自然语言处理（NLP）领域，可提升下游任务（如分类和分割）的迁移学习性能。