AIGC系列论文解读模板
目录
AIGC系列——论文解读模板
这里主要介绍AIGC系列的行文结构,方便快速判断内容分布,合适大佬、客官们订阅AIGC专栏,节省大把时间,快速定位需要的部分,适合学生、入门AIGC和作为笔记检索使用。
一、概述
1、是什么
介绍模型的类型、应用场景、功能。
2、亮点
介绍整片文章的亮点。
PS
整体上自己的一些理解,比如:是否需要着重阅读、吐槽点等,可以节省大家时间。
二、模型
1、模型结构
介绍模型的网络结构。
2、模型亮点
介绍模型的结构亮点。
PS
自己面向模型的一些理解,主要是一些补充和槽点。
三、数据
1、数据标签
数据的label构成,主要会涉及到loss计算。
2、数据构成
数据集的构成,来源有哪些,这个对于现在的AIGC很重要,可以快速知道训练集、测试集来源,还有就是快速识别一些不客观的对比(模型A在数据集1上训练过所以比模型B在数据集1上好)
3、数据清洗
数据的清洗方式,这个几乎是大模型的命脉,预训练数据的清洗和微调数据的清洗,不过现在多数不开源微调数据的清洗方式。
四、策略
1、训练过程
几个阶段训练、冻结哪个网络模块、训练超参。
2、推理过程
推理的时候是不是有后处理等等
五、结果
1、多维度对比。
多个数据集上的对比结果。
2、消融实验
网络、数据、超参等等的消融实验,能够验证想法的有效性,并且同时增加对不同模块其他方法无效的认知。
六、使用方法
一般开源的话,除非确实有bug,这里会写出踩坑日志。
七、待解决
通过论文、代码、询问等我也仍无法理解的,可以大家一起沟通。