本地部署多模态大模型，并结合Open-WebUI和Dify实现多模态对话、智能体，保姆级！

最近几年，随着 ChatGPT 的发布，越来越多的大模型喷涌而出，越来越多的人体会到了大模型带来的便利，如 知识问答 、 代码编写 、 语音合成 、 图像合成 、 智能对话 等等。大模型的参数量通常非常大，得益于 大模型框架 以及 量化技术 的发展，目前，我们在个人电脑上也能够部署和推理大模型，即安全又隐私。

今天，给大家介绍一下如何在个人电脑上通过 Ollama 和 OpenWeb-UI 搭建一个属于自己的多模态大模型，能够结合本地知识库进行智能问答、图像分析等，并 结合Dify构建本地的智能体 。支持Windows、macos、Linux。

下面是一个样例展示：

目录

一、说明

二、安装Docker

三、安装和配置Ollama

四、安装和配置Open-WebUI

五、Playground

六、Ollama和Dify结合，打造本地模型+智能体

七、总结

一、说明

本文目前只介绍Macos的部署教程，因为主要用到docker，其他系统部署操作类似。

1.1 Ollama介绍

Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。以下是关于Ollama的详细介绍：

1.1.1 主要特点

1. 1. 简化部署 ：Ollama旨在简化在Docker容器中部署LLM的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。
2. 2. 轻量级与可扩展 ：作为轻量级框架，Ollama保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
3. 3. API支持 ：提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。
4. 4. 预构建模型库 ：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。
5. 5. 跨平台支持 ：提供针对macOS、Windows（预览版）、Linux以及Docker的安装指南，确保用户能在多种操作系统环境下顺利部署和使用Ollama。

1.1.2 使用场景

1. 1. 聊天机器人 ：利用Ollama部署的LLM，可以创建具有智能对话功能的聊天机器人。
2. 2. 文本生成 ：可以用于生成各种文本内容，如新闻文章、博客文章、诗歌等。
3. 3. 问答系统 ：能够回答用户提出的各种问题，适用于多种问答场景。
4. 4. 代码生成 ：可以生成多种编程语言的代码，如Python、JavaScript等。

1.2 Open-WebUI介绍

Open WebUI （前身为Ollama WebUI）是一个专为大型语言模型（LLM）设计的可扩展、功能丰富且用户友好的自托管Web管理工具，旨在为用户提供直观、高效的大模型交互体验。以下是对Open WebUI的详细介绍：

1.2.1 主要特点

1. 1. 离线运行 ：Open WebUI设计用于完全离线运行，无需依赖外部服务器或网络连接，提高了数据的安全性和隐私保护。
2. 2. 多模型支持 ：支持各种LLM运行器，包括Ollama和兼容OpenAI的API，用户可以根据需要轻松集成和管理不同的大型语言模型。
3. 3. 直观界面 ：聊天界面灵感来源于ChatGPT，确保了用户友好的体验。同时，提供响应式设计，在桌面和移动设备上都能享受无缝的体验。
4. 4. 轻松设置 ：支持使用Docker或Kubernetes（kubectl、kustomize或helm）无缝安装，简化了部署和配置过程。

1.2.2 应用场景

Open WebUI适用于多种场景，包括但不限于：

1. 1. 聊天机器人 ：利用Open WebUI部署的LLM，可以创建具有智能对话功能的聊天机器人，用于客户服务、娱乐互动等领域。
2. 2. 文本生成 ：可以用于生成各种文本内容，如新闻文章、博客文章、诗歌等，满足内容创作的需求。
3. 3. 问答系统 ：能够回答用户提出的各种问题，适用于教育、咨询、医疗等多个领域。
4. 4. 代码生成 ：可以生成多种编程语言的代码，如Python、JavaScript等，辅助开发者进行代码编写和调试。

二、安装Docker

Docker直接在官网安装 Docker Desktop 就行，根据自己的操作系统下载对应的安装包。 大家一定要注意Docker的网址，可不要被坑了。

三、安装和配置Ollama

3.1 安装Ollama

同样，ollama也提供了非常简单的安装方式，直接在官网下载对应系统的安装包即可， 同样也需要注意网址，不要被坑了。

安装完成之后，在命令行界面执行下面的命令

ollama

如果出现下面的提示，则说明安装成功：

3.2 下载多模态大模型

可以在ollama官网找到非常多的大模型，然后根据自己的显卡（MacOS M芯片是内存）大小选择对应的模型，根据经验12G显存可以运行大概7B的模型。ollama的模型库包含了热门的 llama3.2 、 qwen2.5 、 gemma2 等模型，都非常优秀。

由于本文主要是介绍在本地部署多模态大模型，因此主要下载 llava:13b 和 qwen:14b-chat 这两个模型，其他模型大家可以自行探索，在命令行执行下面的命令进行下载：

# 下载llava:13b模型   ollama pull llava:13b   # 下载qwen:14b-chat   ollama pull qwen:14b-chat

下载完成后，提示如下：

3.3 ollama开启远程访问

3.3.1 windows设置

在「电脑」->「属性」->「高级系统设置」->「环境变量」中，添加一行记录：

变量：OLLAMA_HOST，值：0.0.0.0

3.3.2 MacOS设置

在~/.bashrc中的最后一行添加下面的环境变量

export OLLAMA_HOST=0.0.0.0

然后执行，下面的命令使环境变量在当前shell生效

source ~/.bashrc

3.3.3 重启ollama

重启ollama使得刚才设置的环境变量生效。

四、安装和配置OpenWebUI

下面介绍一下如何安装和配置Open-WebUI

4.1 安装Open-WebUI

在命令行界面执行下面的命令，安装和启动open-webui：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

拉取镜像并启动容器完成之后，命令行界面如下：

4.2 登录Open-WebUI

在浏览器输入：http://127.0.0.1:3000，进入到Open-WebUI首页。首先注册一下账号密码：

注册完成并登录，进入到首页：

4.3 配置大模型

点击右上角的头像，选择「设置」，在弹出的窗口中选择「界面」，在「默认模型」中选择刚才下载的llava:13b模型：

五、Playground

接下来，让我们探索一下Open-WebUI的功能。

5.1 多模态问答

在首页，选择一张图片，并进行提问，可以看到大模型能够准确的识别出图片的内容和含义，并自动进行总结， 同时还精准的识别除了我画的红色框 ：

5.2 知识库问答

在知识库页面上传一个文档：

然后在大模型首页的输入框里，按#选择知识库，并输入问题Prompt，回车之后，open-webui会先在知识库中检索相关的信息，并结合问题Prompt一起送入大模型。

5.3 联网搜索

Open-WebUI支持联网搜索的功能，这里可以让Open-WebUI连接我们之前部署的SearXNG搜索引擎

在「设置」界面，选择「联网搜索」，输入我们部署好的SearXNG搜索引擎的地址：

六、Ollama和Dify结合，打造本地模型+智能体

ollama也可以和Dify进行结合，使用本地大模型来构建智能体

进入到Dify首页，点击右上角的头像，选择「设置」：

在「模型供应商」选择Ollama

在弹出的界面中：

• • 模型名称 ：填写用ollama list命令列出来的模型名
• • 模型基础URL ：http://host.docker.internal:11434

点击保存即可。

尝试用Ollama搭建一个智能体，并将模型设置为刚才的ollama模型：

七、总结

本文主要介绍了如何在本地安装Ollama、Open-WebUI，并介绍了Open-WebUI、Dify结合Ollama的一些玩法，还有更多高阶功能等待你去探索。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括 AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以 扫描下方二维码 & 点击下方CSDN官方认证链接 免费领取 【保证100%免费】

读者福利：

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。

二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。 （全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。 （全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。 （全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 （全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。 （全套教程文末领取哈）

👉学会后的收获：👈

• 基于大模型全栈工程实现 （前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求 ： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 ， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力 ： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以 扫描下方二维码&点击下方CSDN官方认证链接免费领取

【保证100%免费】

读者福利：

（👆👆👆安全链接，放心点击）