多模态语义通信文献阅读：多模态语义通信研究综述

目录

论文简介

• 作者

  秦志金 赵菼菼 李凡 陶晓明

• 发表期刊or会议

  《移动通信》

• 发表时间

  2023.3

语义通信的发展路线

语义通信的分类

这篇论文把语义通信划分为：面向语义的通信（关注 语义层面 ）和面向目标的通信（关注 有效性层面 ）

与综述 划分一致

单模态语义通信的研究背景

• 文本语义通信
• 图像语义通信
• 音频语义通信
• 视频语义通信

具体表述见 论文1.3

单模态语义通信面临的两大问题

• 多义性：

  即如何获取真正的语义 。文本、图像、音频、视频等模态的源信号本质上是多义的。如果没有相关的背景知识或上下文信息，很难识别源信号试图表达的含义。因此，对于语义编码器而言，仅提取出明确的 显示语义 是不充分的，应高度关注揭示潜在真实含义的 隐含语义 。

• 模糊性：

  即如何精确解释语义 。由于语义编码器和无线信道不可避免地存在噪声，恢复信号表达的语义也许无法精确解释发送者真正的语义。同时，由于语义特征的数据量远小于源信号，因此即使很少的比特级传输错误也会导致严重的语义失真。对于语义解码器而言，不仅需要处理比特错误，更重要的是能够精确恢复发送者的预期语义。

多模态语义通信

• 多模态数据：

  多模态数据是指对于同一个现象，通过不同领域或视角获取到的数据，一般包括文本、图像、音

  频、视频等。获取这些数据的每一个领域或视角被叫作一个模态。

• 多模态数据融合：

  多模态数据融合是指以相关特征或中间决策的形式对不同模态数据的信息进行组合。

• 多模态语义通信研究现状：

  具体表述见 论文2.2

• 安全语义通信研究

  联邦学习、对抗学习、添加人工噪声和语义加密 (这些技术后面可能会用到) 等技术有助于构建有效的安全机制来保证语义通信的安全

  具体表述见 论文2.3

多模态语义通信面临的挑战

• 语义相关的挑战

  如何有效的提取多模态提取和解码、融合

• 通信相关的挑战 重点看资源分配

  不同于传统通信，多模态语义通信需要解决现代通信系统中的新挑战，包括性能分析、 资源分配 和网络

  关于资源分配的描述：

  数据传输需要一些资源，如 带宽 和 功率 。

  一方面，传统通信系统中的资源分配框架旨在最小化误比特率、误包率和中断概率等指标；另一方面，多模态语义通信重视比特流背后多模态语义信息的重要性，从而激发了 为新的多模态语义通信系统开发新的资源分配框架 。

  一般来说，通过设计资源分配方法建立一个有效的通信系统应该考虑 服务质量（QoS, quality of service） 和 体验质量（QoE, quality of experience） 。具体地，QoS 旨在优化传输速率、时延和吞吐量，而QoE关注用户满意度、清晰度和流畅度。因此，多模态语义通信系统中的资源分配策略应该考虑多模态语义信息的非均匀分布，把更多的带宽资源分配给具有更多语义信息的多模态数据/智能体，同时分配更多的功率资源来传输包含更丰富语义信息的多模态数据以保证功率的高效使用

  ---

  对于多模态语义通信网络，无线通信层将会对系统性能产生比端到端通信更大的影响。因为很多产生多模态数据的 异构设备 工作在语义通信网络中，在设备硬件和无线环境方面的不同将会给多模态语义通信系统的构建带来挑战，主要体现在不同的设备能力、智能化连接的IoT网络、多模态编码和解码方案。

  此外， AI技术 若应用于语义通信中，有两方面需要考虑：

  ① 由于深度的网络结构和大量的训练数据，AI技术的算法复杂度较高，需要消耗 大量的计算资源 。

  ② 由于大量的数据分布在位于网络边缘的终端设备，要完成模型的训练， 终端设备 和负责 AI 模型训练的 云服务器或者边缘服务器 需要进行频繁的高代价通信，因此，要保证各类智能任务的实时、高效完成，需要完成以下工作：

  必须对基于 AI 的信息处理资源和通信资源统筹编排，基于 云边端协同的机制 ，充分利用位于网络边缘设备的丰富训练数据资源和有限信息处理计算资源，通过单模态和多模态语义通信处理技术，对原始训练数据进行适当的预分析处理，并设计与之匹配的 通信资源编排策略 ，提取和传输最有利于下游智能任务高效准确执行的语义信息。

  随着网络大规模接入的异构设备数量的日益增加，通过对网络有限的 计算和通信资源的统筹编排 ，实现基于人工智能的信息处理速度与通信速度相匹配，完成多样化新兴应用安全、实时、可靠、高效的性能要求是一个具有挑战性的课题。

• 分布式多模态相关的挑战

  ① 信号同步 成为一个重要的问题，即来自不同发送者的所有信号必须同时到达接收者，这在很大程度上取决于信号传输时间和无线信道条件。

  ② 信息融合中，由于不同传感器产生的数据格式是多样化的，因此，需要为每个单模态传感器设计一个编码器结构，然后， 将所有数据转换成相同的格式 。此外，语义通信的信息融合需要一个 统一的转换标准 。每种模态的编码器可以不同，这导致编码器压缩后附加模态数据的维度不一致。

  具体表述见 论文3.3