目录

llama-factory微调deepseek-r11.5b

llama-factory微调deepseek-r1:1.5b

1.下载llama-factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

查看版本

llamafactory-cli version

https://i-blog.csdnimg.cn/direct/10ba4f385a874ea2a519ce44c308d2cf.png

2.启动web ui

需要内网穿透工具:

export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui

https://i-blog.csdnimg.cn/direct/b83dc89a097d4fe6a11dbe7be696f091.png

进行端口映射:

https://i-blog.csdnimg.cn/direct/1a71a4fa9e264903b97e4683d1f03b92.png

映射完成后,打开 127.0.0.1:7860, 即可打开web端

https://i-blog.csdnimg.cn/direct/898bb6aae4134972ad6d3457c687c819.png

3.测试

选择模型后,选择chat,加载模型

https://i-blog.csdnimg.cn/direct/65b9cce3af26486481c60403bcc5c665.png

控制台下载模型

https://i-blog.csdnimg.cn/direct/28a40b6317bb407d9a6d2f8fe527c27d.png

下载成功后,测试模型

https://i-blog.csdnimg.cn/direct/ab5b4fadc22a4160a405777dad4217d0.png

4. 修改数据集

数据集存在 LLaMA-Factory\data 路径下

备份identity.json后,修改其中的变量,数据集变为如下

https://i-blog.csdnimg.cn/direct/f8f8e652476a4008a1e009e2425c1102.png

5.训练

选择配置参数后,在cmd中或者在web端都行

https://i-blog.csdnimg.cn/direct/84800844a2c44ed0afd6d43f8fc8af56.png

点开始后,cmd中输出正在训练

https://i-blog.csdnimg.cn/direct/8471918b041d41609757a9eaffc7e941.png

3 epochs 效果不好,改为30 epochs

https://i-blog.csdnimg.cn/direct/5974821a7bd54188a7e978fd37a32774.png

6.测试

在chat中修改检查点,测试效果

https://i-blog.csdnimg.cn/direct/98549c070253482398b3702754733c1f.png

7.导出模型

选择模型和检查点,填写路径,导出

https://i-blog.csdnimg.cn/direct/3c89e53832a54f1d8192a4285e86123b.png

导出结果

https://i-blog.csdnimg.cn/direct/e2de13da2e13407b86e880218be491cb.png