目录

本地部署deepseek,局域网链接,添加个人知识库

本地部署deepseek,局域网链接,添加个人知识库

1.部署工具

这里使用的一个工具是ollama——“ollama是一个开源框架,专为在本地机器上编写部署和运行大型语言模型而设计“。使用这个工具可以较轻松完成部署需求。

2.下载ollama

https://i-blog.csdnimg.cn/direct/15dfd63583ea4c7794f8ae72a3986526.png

ollama的logo是一个羊驼的形状,直接进入官网进行下载即可。不过ollama是直接下载安装到c盘的(安装的时候强制安装到c盘,不知道后续会不会更改)。安装到c盘存在的问题是后续如果下载了某些模型会占用磁盘较大的空间,所以后续需要进行移动操作。

3.将ollama移动到D盘

这部分可参考文章:

不过按上述步骤操作完成后,只能在特定的位置打开终端才能识别到ollama指令。如果想在任意位置终端都能够识别ollama指令,需要在“高级系统设置”->“环境变量”->“path”添加ollama.exe的路径。

https://i-blog.csdnimg.cn/direct/22adaec5d98a491ab9c1a45d6d1e651a.png

这样就可以在任意位置,在终端使用ollama指令了。

4.deepseek的部署和运行

之后点击ollama官网的deepseek,复制指令在终端安装和运行即可。

https://i-blog.csdnimg.cn/direct/74ba248fc02646ae83c400d1c454c8f1.png

https://i-blog.csdnimg.cn/direct/de2c616d387748839bb95b0c39264d2c.png

5.可视化UI

在终端和大模型对话到底是不舒服的,这里可以使用一些UI工具,这里使用的是chatbox。大家可以自行到官网下载。

https://i-blog.csdnimg.cn/direct/c01adf706e554a9fb2ca60ff04944e03.png

6. 局域网联机

如果你部署ds的电脑和想远程链接的电脑在同一局域网内(链接同一个wifi之类的),那么你可以通过将服务器在局域网内暴露的方式,使得局域网内其他电脑点解服务器的大模型服务。

对于部署了ds的电脑,需要进行如下操作:

https://i-blog.csdnimg.cn/direct/06a34e76bb7642489a4c548083c00a04.png

上述步骤操作完成后,主要还需要将 服务端的局域网内防火墙关闭

对于客户端,可以下载一个叫做:page assist的插件,edge浏览器有,其他浏览器应该也有。之后点进这个插件,进行如下操作即可:

https://i-blog.csdnimg.cn/direct/5adf0f48d8264452987fe9e3d8086bbc.png

这里提一嘴,理论上,chatbox这类UI工具也是提供了通过API远程链接服务端的方式的,但是不清楚为什么实验不成功,笔者也是试验了很久,直到发现使用这个插件是能够成功的。

然后想实现 公网远程链接 的话,可能需要使用内网穿透的技术,将自己的服务端电脑暴露在公网,这一块笔者还没有实验,好像是需要使用一些提供内网穿透技术的软件的,感兴趣的可以自行了解。

7.使用RAG框架,训练自己的数据集

RAG就是知识检索增强,通过这个功能,可以实现:客户提供某些文本,让大模型能够学习特定的知识,而不是作为一个通用大模型。

这里需要使用的工具是anythingLLM,其实这个工具本质上也是一个UI工具,但是他提供了RAG功能,下载后自带embedding模型。RAG功能的核心就是使用了embedding模型。当然想接触更底层的可以使用其他的RAG框架,他们提供了自由选择embedding模型的功能。

下载anythingLLM可能需要一定的时间,毕竟比较大。

https://i-blog.csdnimg.cn/direct/b3cada6e5b4c46e58cd480109ef407eb.png

提供个人数据库:

https://i-blog.csdnimg.cn/direct/88d7e4e1f88347719cee214b565840fc.png

https://i-blog.csdnimg.cn/direct/2fc28afe62d0445891aca939ce42fbda.png

https://i-blog.csdnimg.cn/direct/5c89fc309ff246ae8199a4981ab7167c.png