目录

DeepSeek部署-03客户端应用ChatBoxAnythingLLM及OpenWebUI部署使用详细步骤

DeepSeek【部署 03】客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤

客户端软件提供可视化的模型及参数配置,人性化的对话窗口及文件上传功能,大大降低了大模型的使用门槛。

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在各种系统下使用。无论是文档、图片还是代码,只需将您的文件发送给 Chatbox。它将理解内容并提供智能响应,在每次交互中提高您的生产力和创造力。Chatbox 将所有数据存储在本地(从对话历史记录到个人设置)所有内容都存储在您的设备上,让您完全掌控并安心。官网地址 安装过程:

  1. 双击安装程序Chatbox-1.9.8-Setup.exe 并选择下一步

https://i-blog.csdnimg.cn/img_convert/00ff533888fcb374aa4b52fdfa3d86aa.png

  1. 选择安装目标文件夹点击安装

https://i-blog.csdnimg.cn/img_convert/99aa4121845c2aa94da1b75a7b73af41.png

  1. 等待安装完成

https://i-blog.csdnimg.cn/img_convert/e9e21e8bd80a90c48d25eec82d2ce223.png

  1. 点击完成

https://i-blog.csdnimg.cn/img_convert/bdb346f12533e0ad1d10de3f0c04d780.png

  1. 配置模型(点击设置-模型)

https://i-blog.csdnimg.cn/img_convert/2840b4f8ec53671b6ba64e06f7c12e08.png

选择模型提供方、API域名(根据部署服务器的IP和映射端口进行设置)、选择模型、设置上下文的消息数量上限、严谨与想象配置,点击保存即可。

  1. 聊天(可添加图片、不同格式的文件)

https://i-blog.csdnimg.cn/img_convert/3a61c617aa7ea5e94b8235799feb541e.png

AnythingLLM是一个全栈应用程序,可以使用现成的商业大语言模型或流行的开源大语言模型,构建一个私有ChatGPT,不再受制于人,本地运行,能够与您提供的任何文档智能聊天。官网地址 安装过程:

  1. 双击安装程序AnythingLLMDesktop.exe 并点击下一步

https://i-blog.csdnimg.cn/img_convert/a470448e9887af5de310422d50ff7371.png

  1. 选择目标文件夹并点击安装

https://i-blog.csdnimg.cn/img_convert/10f81ff370ef79268b476fc8ea77e2aa.png

  1. 等待安装完成

https://i-blog.csdnimg.cn/img_convert/7d7d1aba9898b6580c7c646ad20cb77f.png

  1. 等待下载所需库文件

https://i-blog.csdnimg.cn/img_convert/6cec6c3d7fec2ca895a9aed6a01c47d6.png

  1. 点击完成

https://i-blog.csdnimg.cn/img_convert/7f85ac50aa60191205474f0217548152.png

  1. 点击开始

https://i-blog.csdnimg.cn/img_convert/fc2a4c2411116e417ae2f74fce179ddd.png

  1. 模型选择及配置(Ollama Base URL 要根据实际情况进行配置)

https://i-blog.csdnimg.cn/img_convert/7b49010d2e6d97b7f8d1dae05cb2eae6.png

  1. 数据处理与隐私说明

https://i-blog.csdnimg.cn/img_convert/427c63903e1f95b3b93e799b7d8686ff.png

  1. 内网可跳过调查

https://i-blog.csdnimg.cn/img_convert/42d82bf0c4d3acda1759ca5f17021411.png

  1. 创建工作区

https://i-blog.csdnimg.cn/img_convert/fee4d2411cbb0144e41ee94b7cfd6f06.png

  1. 发送消息即可开始使用(可添加附件)

https://i-blog.csdnimg.cn/img_convert/fd062f4f76e2b3c82d19c9b2e79550d3.png

  1. 配置本地文档或数据链接

https://i-blog.csdnimg.cn/img_convert/f090c2bf73deaca6968b579110cf33e3.png

  1. 聊天的其他配置

https://i-blog.csdnimg.cn/img_convert/e2e46944bb2a6eba4f6322044525744c.png

OpenWebUI 是开源的,可以进行二次开发,这个是很大的优势,官网介绍: Open WebUI is an extensible, self-hosted AI interface that adapts to your workflow, all while operating entirely offline.官网地址 本次使用最简单的 Docker 部署,Docker 的安装这里不再赘述,需要安装 Ollama 且需要设置环境变量,OpenWebUI 默认请求 11434 端口:

export OLLAMA_HOST=0.0.0.0:11434
nohup ./ollama serve >> serve.log 2>&1 &

OpenWebUI 安装流程:

官方文档

  1. 拉取镜像 启动 docker
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  1. 访问 http:ip:3000 打开页面

https://i-blog.csdnimg.cn/img_convert/857315671a857b5aae1eab1a1985f47c.png

  1. 完成管理员账号注册

https://i-blog.csdnimg.cn/img_convert/44787c62f0abd003bfd3fb0a610d9127.png

  1. 登录成功

https://i-blog.csdnimg.cn/img_convert/746bc7c59baedab1488c5f551fd4a058.png

  1. 选择已安装模型

https://i-blog.csdnimg.cn/img_convert/fa57d15f6723cc4d663c40f70000cfb0.png

  1. 进行对话

https://i-blog.csdnimg.cn/img_convert/9e86ad98eb3a39c310f397ee64a1c47c.png

讯飞星火:Chatbox AI 更适合个人和小团队的日常使用,AnythingLLM 适合企业级文档处理和团队协作,而 openwebui 则适合开发者进行快速开发和定制化的 Web 应用构建。