Ai大模型day02神经网络+深度学习

(Aritifcial) Neuron神经网络

Training Objective训练神经网络

缩小损失函数，参数对梯度进行改变，降低损失

Word2Vec 神经网络训练

使用滑动窗口构建

RNN 循环神经网络

门控机制，决定哪些信息传到下一层

CNN 卷积神经网络语言模型

应用NLP、情感分类

cnn和rnn区别

cnn局部处理特征，rnn擅长处理变长的文本，rnn参数两比cnn多一些。rnn前后数据有很强以来关系，不能进行并行化计算。解决办法，用transformer进行加速运算

cnn是数据向量化，前后数据没有很强依赖关系。

NLP Pipeline Tutorial(PyTorch)案例

数据训练流程

1.准备数据

2.建立模型

3.训练模型

4.验证模型

5.测试模型

cross_entropy是一个常用的用于分类的目标函数。