Ubuntu通过Ollama部署deepseek和千问
目录
Ubuntu通过Ollama部署deepseek和千问
一、准备文件
本地服务器是Ubuntu20.04，输入命令uname -a即可查看
部署方式有多样，点击 访问官网
可复制命令直接粘贴下载，但是过程比较慢，所以我推荐下面这种方式
从github 上下载ollama的tar包进行解压，如图
二、安装Ollama
如果系统是x86_64的就选择amd64,下载完成后传到服务器上面进行解压，输入命令
sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local然后进行赋权
sudo chmod +x /usr/local/bin/ollama 添加ollama用户
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama创建service文件（方便后面启动服务）
sudo vim /etc/systemd/system/ollama.serviceservice文件内容如下
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
[Install]
WantedBy=default.target加载守护进程
sudo systemctl daemon-reload启用
sudo systemctl enable ollama验证
ollama -v
三、下载模型
1、deepseek
Ollama官网搜索deepseek r1
或者输入命令下载你想要的模型
ollama pull deepseek-r1:7b
ollama pull deepseek-r1:8b
ollama pull deepseek-r1:14b
ollama pull deepseek-r1:32b
ollama pull deepseek-r1:70b
ollama pull deepseek-r1:671b等待下载，如果到后面下载慢的话ctrl +c结束然后在继续下载速度就会变快
输入命令
ollama run deepseek-r1:7b开始对话
2、千问
输入命令
ollama run qwen:7b等待下载
开始对话
四、暴露11434端口服务
因为Ollama的11434端口默认是127.0.0.1:11434其它的电脑通过服务器IP去访问是不通的，有两个解决方案
1、在启动时设置为0.0.0.0启动
set OLLAMA_HOST=0.0.0.0 && ollama serve2、修改service文件，增加环境为0.0.0.0在上述已经增加过了
修改配置文件需要重新加载守护进程然后重启服务（daemon-reload）
验证
