DeepSeek本地化部署与跨域访问架构构建
DeepSeek本地化部署与跨域访问架构构建
1. DeepSeek本地部署基础环境
- 部署 Ollama 推理框架
- 获取并加载 DeepSeek 大语言模型
- 配置图形化用户界面 (GUI)
- 构建本地知识库并集成
鉴于上述四个步骤已在之前的博客中详尽阐述,为避免重复,以下内容将不再赘述,仅作概要性描述
2. 局域网共享大模型配置
在局域网环境下,通过单机部署 DeepSeek-r1 (或其他预训练模型) 及本地知识库,并配置相应的网络服务,实现局域网内其他主机对该模型推理服务及知识库的访问。
1. 启动局域网访问权限
默认Ollama仅允许本地访问,需修改环境变量实现局域网共享:
创建用户环境变量
WIN+R打开输入cmd,以管理身份启动CMD终端,执行如下两个命令创建用户和系统变量,系统多个“ /m”。
setx OLLAMA_HOST "0.0.0.0" setx OLLAMA_ORIGINS "*"
创建系统环境变量
在电脑设置中搜索找到“编辑系统环境变量”并打开 编辑系统环境变量。
在系统属性面板中点击环境变量,点击新建系统变量。
新建系统变量名为:OLLAMA_HOST ,值设置为0.0.0.0 。
再次新建系统变量名称为:OLLAMA ORIGINS ,值设为:“ * ” 。
电脑右下角右键退出Ollama 程序后重新手动启动Ollama程序。
2. 局域网访问本地大模型配置
在同一局域网下的其他用户访问当前本地部署。无论是使用 Page Assist、Anything LLM、Chatbox 或 Cherry Studio 进行部署,都需要在主机与被访问主机上安装对应用的部署工具。
主机 ip 地址查询,在 CMD 中 直接输入: ipconfig 回车即可显示。
2.1 浏览器插件
Page Assist浏览器插件安装与配置
首先打开Chrome浏览器,进入应用商店
在顶部搜索框中搜索Page Assist
点击添加至Chrome
在弹出的提示框中点击添加扩展程序
添加后在浏览器右上角的扩展程序图标中打开它即可看到Web UI界面了
被访问主机设置(Server) 、:点击右上角设置,找到Ollama设置地址为
http://[主机IP]:11434
。访问主机设置(Client) :访问主机将127.0.0.1 改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
2.2 客户端工具
Anything LLM、Chatbox
或
Cherry Studio
进行部署,配置
API
地址为
http://[主机IP]:11434/v1
,选择对应模型即可交互。
被访问主机设置 :默认Api :http://localhost:11434,保持默认即可
访问主机设置 :访问主机将 localhost 改为被访问主机 IP 地址,如:192.168.50.80,端口默认11434 即可。
Anything LLM工具设置同上
3. 跨域公网访问大模型
一台主机本地部署了 DeepSeek-r1 (或其他模型)以及数据(知识)库后,通过公网(外网)异地访问这台主机的大模型和数据,进行内网穿透设置,工具 cpolar 或 路由侠 。
1. 被访问主机安装路由侠
这里以路由侠为例,选择适合自己系统下载安装。
# 路由侠地址: https://www.luyouxia.com/ # cpolar地址: https://www.cpolar.com/
启动安装程序进行安装。
注册路由侠账户,并登录账户
2. 路由侠配置
启动软件后,设置点击内网映射。
点击添加映射 ,并进行配置
选择原生端口——开始创建。
配置公网地址:设置端口为Ollama 端口,然后点击创建。
创建完成后即显示创建的映射内容,右键复制地址,接下来将复制的地址粘贴到对应部署的工具中。
3.1 访问端设置
3.1.1 浏览器插件部署
Page Assist 访问端设置:将复制的地址粘贴在 Ollama 设置 ——Ollama URL 中保存,重启浏览器。
3.1.2 客户端工具
Cherry studio 访问端设置:在设置——模型服务——Ollama—— API地址 中粘贴地址,再添加模型设置后重启 Cherry studio 。
AnythingLlm 访问端设置:首选项——Ollama——Ollama URL 中粘贴复制的地址,设置完成后设置后重启AnythingLlm。
注:
提示错误 Ollama call failed with status code 403
:
检查环境变量——用户变量及系统变量是否有Ollama的变量设置。