Android-音视频同步原理
目录
Android 音视频同步原理
音视频同步的代码在AwesomePlayer的onVideoEvent中,关键的对象有TimeSource对象。这个是一个基准时间,在音视频同步,我们是以音频的时间戳为基准时间的,所以TimeSource对象其实就是mAudioPlayer对象。
AwesomePlayer是继承TimeSource的。
音视频同步的思路如下。首先获取第一帧的音视频之间的时间差mTimeSourceDeltaUs,理论上如果是同步的音视频的话,在任何时刻它们之间的差都是mTimeSourceDeltaUs这么多。如果某一个时刻它们的差不是mTimeSourceDeltaUs了,就说明不同步了。
nowUs = ts->getRealTimeUs() - mTimeSourceDeltaUs; 这个nowUs就是算错当前视频帧的时间戳应该位移nowUs这个时间。这里只是应该,但是到时视频帧有没有位移这个地方,看下面的计算。
latenessUs = nowUs - timeUs; timeUs是当前视频帧的时间戳,如果latenessUs = 0,就说明nowUs = timeUs,也就是说当前视频帧位移它应该位于的地方,如果latenessUs 大于0,说明timeUs比nowUs小,也就是时间落后了。 反正说明视频帧超前了。