rtmp-时间戳与音视频同步
目录
rtmp 时间戳与音视频同步
一 rtmp协议中的时间戳字段。
chunk type:0 时间戳为绝对时间
chunk type:1 时间戳为相对时间
音视频的时间戳是分开统计的。
参见nginx-rtmp源码
音视频的上下文是分开的,rtmp协议都是从绝对时间开始,相对时间结束。
处理完一个音频/视频数据包后,时间戳增加相对时间戳值
二 rtmp音视频数据的播放与同步
rtmp播放器是严格按照时间戳进行播放音视频数据的,虽然rtmp音视频数据的时间戳是分开统计的,但是音视频的时间戳的差值应该是恒定值。
每播放完一帧音频/视频帧,播放器休眠delta时间戳时长。
三 rtmp音视频不同步问题排查
1 在播放端抓包,查看音视频的时间戳差值是否恒定。
2 服务端加日志,输出音视频的时间戳信息
3 抓推送端的数据包,查看音视频时间戳差值是否恒定
注意:音视频不同步问题,一般出在推送端,遇到的大多数case是推送端在应用层拿到音频数据之后,进行了音频转码,导致的音频转发总是滞后。
四 后续再讲一些类似aac语音解码播放,或者转码为其它格式,敬请期待。