预训练微调类型分类

预训练与微调

1. 预训练

• 目标 ：通过大规模数据训练模型，学习通用表示能力。

• 方法 ：

• 自监督学习（如BERT、GPT）

• 多模态预训练（如CLIP、DALL·E）

2. 微调

微调是在预训练模型基础上，针对特定任务或领域进行优化。主要分为以下几类：

2.1 多模态模型微调

• 目标 ：适配多模态任务（如图文生成、视觉问答）。

• 方法 ：

• 跨模态对齐微调

• 多模态联合训练

2.2 文本模型微调

• 目标 ：优化文本相关任务（如文本生成、分类）。

• 方法 ：

• 监督微调

• 无监督/自监督微调

2.3 监督微调

• 目标 ：使用标注数据优化特定任务。

• 细分 ：

• 指令微调 ：通过指令-输出对增强泛化能力。

• 对话微调 ：优化对话生成和上下文理解。

• 领域适配 ：将模型适配到特定领域（如医疗、法律）。

• 文本分类 ：优化文本分类任务（如情感分析、主题分类）。

2.4 无监督/自监督微调

• 目标 ：利用未标注数据提升模型性能。

• 方法 ：

• 掩码语言模型（如BERT）

• 对比学习（如SimCSE）

2.5 强化学习微调

• 目标 ：通过奖励机制优化模型输出。

• 方法 ：

• 人类反馈强化学习（RLHF）

• 直接偏好优化（DPO）

2.6 特殊的微调

• 目标 ：针对特定需求或场景进行优化。

• 方法 ：

• 知识蒸馏：将大模型知识迁移到小模型。

• 增量学习：逐步适配新任务或数据。

3. 知识终端

• 目标 ：将外部知识整合到模型中。

• 方法 ：

• 知识图谱嵌入

• 检索增强生成（RAG）

思维导图结构示例

预训练
├── 多模态模型微调
│   ├── 跨模态对齐微调
│   └── 多模态联合训练
├── 文本模型微调
│   ├── 监督微调
│   │   ├── 指令微调
│   │   ├── 对话微调
│   │   ├── 领域适配
│   │   └── 文本分类
│   ├── 无监督/自监督微调
│   │   ├── 掩码语言模型
│   │   └── 对比学习
│   └── 强化学习微调
│       ├── 人类反馈强化学习（RLHF）
│       └── 直接偏好优化（DPO）
├── 特殊的微调
│   ├── 知识蒸馏
│   └── 增量学习
└── 知识终端
    ├── 知识图谱嵌入
    └── 检索增强生成（RAG）