技术博客
首页 所有文章 标签 分类 关于
技术博客

目录

全球首款开源数字人模型duix.ai,全面解读

 收录于 人工智能
   约 2207 字   预计阅读 5 分钟 
https://bing.ee123.net/img/rand?artid=140969350

全球首款开源数字人模型duix.ai，全面解读！

嗨，大家好，我是徐小夕。

最近一直在研究 AI大模型 在业务场景中的应用，刚好发现一款非常有意思的开源数字人模型—— duix.ai .

https://i-blog.csdnimg.cn/blog_migrate/6356243e3fa04da6be16549409d545ab.png

image.png

它是硅基智能打造的 数字人 智能交互平台。而 duix-ai 就是基于 DUIX 开源的全球首个2D真人级、AIGC实时渲染数字人模型，该项目不仅提供了直观的效果展示，还支持用户进行 二次开发 .

项目从底层推理引擎及上层的商业化应用逻辑也都开放了 源代码 ，方便开发者可以深入了解其工作原理，并进行进一步的优化和创新。

github地址: https://github.com/GuijiAI/duix.ai

接下来我就和大家详细介绍一下这款开源数字人模型.

话不多说, 先来看看模型效果:

背景介绍

https://i-blog.csdnimg.cn/blog_migrate/cebad1b7e965301e1339913bd9d7d810.png

image.png

硅基智能 的核心产品为 AIGC 数字人,是以 数字孪生 、 NLP 、 知识图谱 等AI技术构建，一比一真实还原真人形态，动作、表情、声音无限逼近真人的硅基生命，以丰富生动的展现形式，提供涵盖各行业的服务。

硅基智能 着眼于全球，专注于 AI 技术深度研发和落地应用。其目标是通过自主研发的核心技术，致力于在 2025 年为全球输出 1 亿硅基劳动力，赋能企业数字化转型。在积累了大量技术沉淀的基础上,为了进一步实现 “ 科技平权 ”, 便开源了 duix.ai 。

duix.ai 开源仓库不仅仅包含数字人模型，对于配套的IOS/安卓的手机应用UI都已开源了, 我们可以基于它的开源代码轻松的改成自己的数字人APP.

https://i-blog.csdnimg.cn/blog_migrate/9455a2a0e71c083a0d0fad5330fac7d6.png

image.png

duix.ai 开源项目具有如下特点:

  • 部署成本低
    无需客户提供技术团队进行配合，支持低成本快速部署在多种终端及大屏。
  • 网络依赖小
    适合地铁、银行、政务等多种场景的虚拟助理自助服务。
  • 功能多样化
    可根据客户需求满足视频、媒体、客服、金融、广电等多个行业的多样化需求。

基于这个开源项目，硅基智能在苹果商店也发布了一款名为 DUIX.AI 的应用。使用它可以帮助我们轻松定制各种类型的数字人，接下来我们就来聊聊它能做什么。

https://i-blog.csdnimg.cn/blog_migrate/1a08cb230f4c8b8e08970f850017c059.jpeg

duix.ai 能做什么（应用场景）

duix.ai 可以应用在 恋爱社交 、 情感陪伴 、 内容创作 、 知识学习 等领域 .

其实数字人在我们的生活和工作场景中应用也非常广泛, 这里我举几个常见的案例.

1. 虚拟男/女友

image.png

AI女友类的数字人现在市面上很多, 但是一般都是收费的, 我们可以基于 duix.ai 实现低成本的虚拟男/女友应用, 让AI数字人普惠更多的人.

2. 虚拟社交

我们在社交场景上有很多应用领域, 比如上面视频分享的“怼人小姐姐”.

本人亲测, 根本吵不过~

同时如果大家想打造一款能帮助自己成长的互动式 社交机器人 , 比如虚拟教练, 虚拟教师, 使用 duix.ai 也是非常容易的 . 下面我就来展示一下虚拟教练的效果:

3. 虚拟人直播带货

https://i-blog.csdnimg.cn/blog_migrate/cfabb1a108eef1b047249a70efc4b7a6.png

image.png

目前抖音等短视频平台直播带货非常火, 如果我们有很好的视频脚本, 可以让虚拟人24小时帮助我们直播和带货, 实现真正的“睡后收入”.

4. 克隆专家

https://i-blog.csdnimg.cn/blog_migrate/2a575de482362a4eb831525f41ba1ba9.png

image.png

我们可以利用私有知识库 + 虚拟人打造某个行业的专家, 让虚拟人来面对面解答客户的咨询和问题.

5. 定制自己的数字人(最新更新)

它还支持非常有意思的 个性化定制 功能。之前比较火的 AI复活亲人的场景 ，现在我们使用它, 只需要准备一个视频就可以实现。

https://i-blog.csdnimg.cn/blog_migrate/37947524f7a2af8be6c3bca35f895943.png

https://i-blog.csdnimg.cn/blog_migrate/dcf6ef3ba0531f7e1e2cf589c8ebcc44.jpeg

>/ 只 需一段标准化的视频就可以任意定制AI形象和对话场景

个性化打造 专业形象IP 等，各类场景无缝切换。

https://i-blog.csdnimg.cn/blog_migrate/a90bd2139a169c3af001b9b486d05fe3.png

操作界面也相当简单： 视频+名字。

https://i-blog.csdnimg.cn/blog_migrate/5f846e35ad5985db8df092d5c3fb841b.png

总体来说，它是一个非常酷的项目， Duix.AI 这个 APP ，给我的感觉相当真实，精准 同步动作 、微表情、声音唇形 。就算说是行业顶级真人拟真度也不为过，而事实也确实是这样。

核心优势

https://i-blog.csdnimg.cn/blog_migrate/827cc9309952daa23452e444a0113cbe.png

image.png

这里我分享一下这款开源项目的核心优势, 供大家参考对比. 我会从两方面对比:

  • 技术亮点
  • 模型能力

在技术上它具有如下优势:

  • 全面开源 ：提供从基础推理到商业化应用的完整源码。
  • 灵活部署 ：支持Android、iOS等边缘设备，一键安装。
  • 丰富的形象模板 ：内置14个数字人形象模板，后续将推出更多形象。
  • 完善的SDK接口与文档 ：提供丰富的SDK接口和详尽的开发文档， 支持个性化创造、自由定制 。
  • 超流畅画面 ：支持 50帧/秒的超流畅画面 ，远超电影级标准。
  • 实时渲染能力 ：视频生成效率超过 1:0.5 ，满足直播/实时交互需求（用于数字人直播/虚拟女友等应用）。
  • 真人级交互 ：行业顶级真人拟真度，精准同步动作、微表情、声音唇形。
  • 低算力要求 ：个人电脑、平板、车载系统、手机均能流畅运行。

在模型对比上, 它采用了自研的 炎帝大模型 , 可以看作多模态的行业脑，基于深度学习的多层神经网络结构，拥有 超过百亿参数 的多模态大模型，融合了数字人大模型、声音大模型、文本大模型、图像大模型等技术，可将理解复杂文本，高效准确地生成视频，视频中包含数字人、声音、画面等内容元素，广泛应用 知识生产（视频）、知识传播（直播）、知识创作（文娱） 等多个领域，克隆超过50万数字人律师、老师、医生、企业家、博主等，实现了AIGC产品在十多个行业数十个商业化场景的落地应用。

使用案例

目前 duix.ai 支持 ios 和 android 的 SDK 集成,  具体环境参数如下:

https://i-blog.csdnimg.cn/blog_migrate/fb0d5fb6eb4c95728f5008406204aa81.png

image.png

SDK集成(1⃣以安卓为例)

dependencies {
    // 引用SDK项目
    implementation project(":duix-sdk")
    // sdk 中使用到 exoplayer 处理音频(必选)
    implementation 'com.google.android.exoplayer:exoplayer:2.14.2'
    
    // 云端问答接口使用的SSE组件(非必选)
    implementation 'com.squareup.okhttp3:okhttp-sse:4.10.0'


    ...
}

权限要求, AndroidManifest.xml中, 需增加如下配置:

<manifest xmlns:android="http://schemas.android.com/apk/res/android">
    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.CHANGE_WIFI_STATE" />
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
    <uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
    <uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
    <uses-permission android:name="android.permission.WAKE_LOCK" />


</manifest>

DUIX对象构建说明:

https://i-blog.csdnimg.cn/blog_migrate/aaa11c613684982fa239a82fe83827ec.png

image.png

更详细的使用教程大家可以在 github 上查看:

https://github.com/GuijiAI/duix.ai

最后

如果大家想了解更多 duix.ai 的动态, 可以加下官方讨论群，欢迎交流~

https://i-blog.csdnimg.cn/blog_migrate/930e5a807f47d1a5125978d034b9f856.png

欢迎star + 反馈~

https://i-blog.csdnimg.cn/blog_migrate/99ce95396ed5c6831f11eb13fb342591.png

往期精彩

  • 零代码+AI的阶段性复盘
  • 文档引擎+AI可视化打造下一代文档编辑器
  • 爆肝1000小时, Dooring零代码搭建平台3.5正式上线
  • 从零打造一款基于Nextjs+antd5.0的中后台管理系统
更新于 2024-12-22
 人工智能
返回 | 主页