Stagefright音视频同步问题
目录
Stagefright音视频同步问题
之前在调试stagefright的时候,遇到了这样一个问题,当视频的解码性能达不到要求时,会一直执行seek操作。后来发现是音视频同步的问题。
音视频同步处理在AwesomePlayer的onVideoEvent()中实现。
如果视频的解码性能达不到要求,就会导致视频落后于音频,影响音视频同步。AwesomePlayer采用的机制是根据音频的时间执行seek操作。
if (mExtractorFlags & MediaExtractor::CAN_SEEK) {
mSeeking = SEEK_VIDEO_ONLY;
mSeekTimeUs = mediaTimeUs;
}
如上面代码所示,设置seek类型和seek时间,在下一次运行onVideoEvent()的时候,执行seek。
mExtractorFlags标识了Extractor支持的功能,在AwesomePlayer的setDataSource_l()中,
mExtractorFlags = extractor->flags();
而flags()的实现在MediaExtractor类中:
uint32_t MediaExtractor::flags() const {
return CAN_SEEK_BACKWARD | CAN_SEEK_FORWARD | CAN_PAUSE | CAN_SEEK;
}
当解码性能达不到要求时,采用这种处理方式,可能得到的效果就是一直执行seek操作。
如果不采用这样处理方式,采用常规的方式,就是drop frame的方式,可能就会一直黑屏。
其实,当解码性能达不到要求时,无论采用什么样的处理方式,都不会得到满意的效果。