目录

Mistral-AI-发布-Pixtral-Large-模型多模态时代的开源先锋

Mistral AI 发布 Pixtral Large 模型:多模态时代的开源先锋

Mistral AI 最新推出的 Pixtral Large 模型,带来了更强的多模态能力。作为一款开源的多模态模型,它不仅在参数量上达到 1240 亿 ,更在文本和图像理解上实现了质的飞跃。


模型亮点

1. 多模态能力再升级

Pixtral Large 配备了 123B 参数的解码器1B 参数的视觉编码器 ,在语言理解基础上显著强化了视觉处理能力。这意味着它能够轻松处理图像、文档和复杂图表等多种形式的数据。

2. 超大上下文窗口

支持 128K Token ,让它一次可处理多达 30 张高分辨率图像或长达数百页的复杂文档,无需频繁切换。

3. 丰富的数据处理能力

能解析多种输入格式,如 OCR(光学字符识别)、表格、公式、图形等,适合文档理解、图表分析等任务。


卓越的性能表现

1. 数学推理: MathVista

Pixtral Large 在数学推理任务中准确率达到 69.4%,领先所有同类模型。

2. 文档与图表问答: DocVQA 和 ChartQA

在复杂文档和图表的推理能力上,模型成功超越 GPT-4o 和 Gemini-1.5 Pro。

3. 多模态综合评估: MM-MT-Bench

在真实场景测试框架下,Pixtral Large 全面领先 Claude-3.5 Sonnet、GPT-4o 等顶级模型,特别是在图表、文档和图像处理能力方面表现尤为突出。

https://img-blog.csdnimg.cn/img_convert/2df44f08ae255278eecda873edf01a0b.webp?x-oss-process=image/format,png


应用场景

1. OCR 与多语言推理

示例问题 :我买了咖啡和香肠,加上 18% 的小费后需要支付多少?

模型回复

解析账单内容,计算每项金额、总费用和小费后,清晰输出应付金额: 36.58 CHF

https://img-home.csdnimg.cn/images/20230724024159.png?be=1&origin_url=https://img.xiaohu.ai/2024/11/german-receipt.webp


2. 图表分析

示例问题 :Dark Dragon 模型在训练中什么时候出现问题?

模型回复 :分析损失曲线后,准确指出模型在 10,000 步 附近出现不稳定。

https://img-home.csdnimg.cn/images/20230724024159.png?be=1&origin_url=https://img.xiaohu.ai/2024/11/loss-curve.webp


3. 企业级支持

Pixtral Large 能显著提升知识共享、文档语义理解、任务自动化和客户体验等企业应用场景的效率。

https://img-home.csdnimg.cn/images/20230724024159.png?be=1&origin_url=https://img.xiaohu.ai/2024/11/mistral-adopters.png


如何使用?

  • 在线调用 :通过 API 使用,模型名称为 Pixtral-large-latest
  • 本地部署 :访问 Mistral AI 官网下载,支持研究许可证(MRL)或商业用途。

Mistral AI 的更多新功能

  1. Le Chat 更新

    • 支持聊天中进行搜索、PDF 上传、编程和图像生成。
    • 图像生成基于 FLUX1.1 pro 模型 ,免费使用。
    • 新增 Canvas 画布功能 ,用户可实时协作,创建文档、代码、设计或演示文稿,并支持实时预览与导出。
  2. 相关资源

    • 技术报告:
    • API 文档:
    • 模型下载:
    • 在线体验:

Pixtral Large 的发布,为多模态技术打开了新的可能。无论是科研、商业,还是日常场景,它都展现了强大的适配能力。未来,Mistral AI 是否会继续刷新多模态模型的上限?让我们拭目以待!

本文由 多平台发布