WindowsWin10Win11本地部署开源大模型保姆级教程

2024-04-19 约 1166 字预计阅读 3 分钟

https://bing.ee123.net/img/rand?artid=137960175

Windows（Win10、Win11）本地部署开源大模型保姆级教程

前言

最近开源大模型可谓闹的沸沸扬扬，尤其是 Microsoft 开源的 wizardlm2 8*22b 和 Meta 开源的 llama3 70b ，评测都已经接近了 OpenAI GPT4 的水平。鉴于还有很多同学不会在 Windows（Win10、Win11） 上部署和使用本地模型，因此我们出一期保姆级教程。

1.安装ollama

ollama 是一个离线运行大模型的工具，注意你可不要把它和 Meta 的大模型 llama 混淆，二者不是同一个东西。 ollama 工具的下载地址为 https://ollama.com/download ,选择 Windows 版本进行下载安装即可。

2.安装大模型

ollama 默认安装路径为 C:\Users\用户名\AppData\Local\Programs\Ollama ，我们先进入到这个路径

然后在地址栏输入 cmd 后回车

此时会打开一个命令终端黑框

现在输入 ollama run llama3

等待下载完成即可。 恭喜你！现在你可以开始问问题了！

现在我们还有一个问题，这个界面不好看，我们要它的界面和 OpenAI 一样的风格，可以，必须满足你。

首次安装会自动打开该cmd界面

3.安装HyperV

先根据以下操作路径看看自己电脑有没有 HyperV 安装选项：控制面板-程序-启用或关闭 Windows 功能- HyperV .

如果没有 HyperV 安装选项，则新建一个 .txt 文件，将以下内容拷贝进去,然后把文件后缀名改为 .bat ,右键以管理员权限运行即可。运行完毕后再次按照上面路径操作安装 HyperV

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

4.安装Docker

直接在 Docker 官网 https://www.docker.com/products/docker-desktop/ 下载最新版本的 Docker Desktop ，我下载的是 Docker Desktop4.28.0 ，其中包含的 Docker 的版本是25.0.3， Docker-Compose 的版本是2.24.6。注意不要混淆 Docker 和 Docker Desktop 。如果是低版本的 Docker Desktop ，那就需要自己手动安装 Docker-Compose 了。

配置一下 Docker 访问中国镜像源

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "http://f1361db2.m.daocloud.io",
    "https://registry.docker-cn.com"
  ]
}

配置完毕之后在 cmd 输入 docker version 确认一下是否安装成功了。

5.安装聊天界面

有了之前的操作之后，接下来我们的操作就简单多了，直接在 cmd 中运行以下命令，安装聊天界面

docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main

回到 Docker 界面看看是否已经在运行 WebUI 了，图标亮起就表示已经在运行了，点击后面的端口号就可以在浏览器中查看了。

先注册，后登陆，然后选择模型，就可以开始聊天了。

这个界面的注册现在其实是在本地的Docker中的注册，这样离线环境下也可以完美使用了

6.总结

本文讲述了如何在 Windows（Win10 Win11） 上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示，希望对非计算机的同学也有所帮助。 AI 时代我们每个人都必须要掌握一些 AI 知识，相信不断学习的你一定不会被 AI 淘汰。这只是开始，后面我们还有很多工作要做，尤其是 提示词 和 智能体 方面的知识，我们仍需要不断的学习，后续我也会持续更新，希望我们都能跟上时代的潮流。

更多精彩内容见公众号AIGIS

目录