机器学习深度学习基本概念：logistic regression和softmax

逻辑回归用来处理二分类问题

softmax用来处理多分类问题：比如llm在generate的时候，每个batch里面的一个样本的一个一次generate就是softmax生成一个大小为vocab_size的向量的概率分布，然后再采样

逻辑回归（logistic regression）的核心：sigmoid函数

当W·x趋近于负无穷时sigmoid输出接近于0，当趋近于正无穷时，接近于1，来生成分类预测的概率

损失函数：

对数损失作为损失函数

softmax：

softmax函数输出每个类别的概率，概率总和为1

损失函数：

log-softmax