关键词：自监督学习，对比学习，NLP、广告推荐领域的对比学习应用分享

对比学习是自监督学习的一种

本文写于21年底22年初之间，因此现在看可能并不全面并且有一些过时。公开于：2024年12月7日18:16:37 本人会在【Chaofa用代码打点酱油】中分享更多相关的技术内容。也可以关注我的 B站YouTube 视频🤣

前言

建议阅读本文前，先阅读https://zhuanlan.zhihu.com/p/367290573 作为对比学习入门。本文也是主要参考这一文章。

本文主要介绍基于负例的对比学习。

对比学习定义

机器学习可分为监督学习、无监督学习、自监督学习等，对比学习就是一种判别式自监督表示学习方法，而我们以前熟知的自监督编码器是属于判别式自监督。这两者的区别如下：

• 生成式自监督：目标是对输入进行重构，输入输出尽可能相似，如自编码器，更关注像素级别特征；（GAN, VAE）
• 判别式自监督：目标是判别样本是否满足某些已知信号，更关注样本级别特征，适合做图像、文本表示，比如 ELECTRA （判断某个字有没有改过）.

简单来说，对比学习的核心思路是：拉近相似样本，推远不同样本。但是和度量学习不一样的是，对比学习的相似样本要是通过样本增强得到的。

那么我们看一篇对比学习的主要有四个步骤。

1. 如何进行数据增强？