音视频基础知识
音视频基础知识
音视频基础知识
录像、录音，实质是一个压缩采集的图像或视频数据的过程( 编码 )，就会有各种各样的格式。
播放视频或音频文件，实质上是一个解压缩的过程( 解码 )
播放一个视频文件的流程
- 视频文件后缀名是FLV，MKV，MP4等 ，都是封装格式的数据
- 然后解封装
- 接着获取 音频压缩数据 和 视频压缩数据
- 音频压缩数据 解码 获得 音频采样数据( PCM )，视频压缩数据 解码 获得 视频像素数据( YUV )
采样率
采样率:44100
44100是人最大支持的采样率，再大没有什么意义
查看视频信息
MediaInfo软件
视频封装格式
作用
视频码流和音频流按照一定的格式存储在一个文件中
MPEG2-TS格式简介
不包含文件头。数据大小固定(188Byte)的Ts Packet构成
FLV格式简介
包含头文件。数据由大小不固定的Tag构成
视频编码数据
将视频像素数据(RGB，YUV等)压缩成为视频码流，从而降低视频的数据量。
H.264 格式简介
数据由大小不固定的NALU构成
最常见的情况下，1个NALU存储了一帧画面的压缩编码后的数据
可以将视频数据压缩100倍以上
音频编码数据
将音频采样率数据(PCM等)压缩成为音频码流，从而降低音频的数据量。
AAC格式简介
数据由大小不固定的ADTS构成
可以将音频数据压缩10倍以上
视频像素数据
保存了屏幕中每个像素点的像素值
特点
视频像素体积很大
Y是U和V的4倍
YUV格式介绍
相关实验表明,人眼对亮度敏感而对色度不敏感。因而可以将亮度信息和色度信息分离,并对色度信息采用更“狠”一点的压缩方案从而提高压缩效率。
YUV格式中, Y只包含亮度信息,而UV只包含色度信息。以YUV420P为例,图像像素数据的存储方式如图所示。
从图中可以看出, YUV420P首先存储了整张图像的Y信息，然后存储整张图像的U信息,最后存储了整张图像的V信息。
RGB格式介绍
Red, Green, Blue三种颜色,可以混合成世界上所有的颜色。( )
彩色图像中每个点,由R,G、B三个分量组成。
以RGB24为例,图像像素数据的存储方式如下:
从图中可以看出, RGB24依次存储了每个像素点的R、G、B信息。
BMP文件中存储的就是RGB格式的像素数据。
音频采样数据
保存了音频中每个采样点的值
特点
音频采样数据体积很大
PCM格式简介
单声道的情况下按照顺序存储每个采样点的数据。
双声道的情况下按照“左右、左右”的顺序存储每个采样点两个声道的数据。
