音视频消费框架
介绍音视频消费框架的架构和组件设计思路。
本文转自微信公众号
关键帧Keyframe，推荐您关注来获取音视频、AI 领域的最新技术和产品信息：
微信扫码关注我们
您还可以加入知识星球
关键帧的音视频开发圈来一起交流工作中的技术难题、职场经验：
微信扫码加入星球
1、音视频消费框架
音视频消费侧框架
- 播放组件层，是对接音视频消费业务层的各种组件。
- 播放内核层，是播放器的内核。包括资源加载、音视频解封装、解码、缓冲区控制及渲染等模块。
- 底层能力层，对播放内核层各能力的垂直扩展，用于支持更丰富的、定制化的能力。
音视频下载模块是负责音视频数据加载，这里可以对底层的传输协议做优化，来优化数据加载速度。
音视频解封装模块则是负责各种音视频格式的解析。
音视频解码模块负责音视频数据的解码，这里除了依赖设备的硬解能力，还可以依赖软解模块，并针对性做优化。
音视频渲染模块负责音视频的渲染。这里可以结合音视频后处理、端侧智能、特效等模块来提升音质、画质，优化消费侧的体验。
1.1、播控组件框架
播控组件框架
播控组件主要是对播放资源进行管控，选择适合当前设备性能、能力及网络状态的资源进行播放。
这其中就包括 H.264/H.265、码率、分辨率、DNS、服务端接入点等方面的择优。
1.2、多实例组件框架
多实例组件框架
多实例组件主要是对播放过程中可复用的资源使用复用池的方式进行管理，这样可以优化内存使用，同时也能优化播放性能。
这里面，播放器实例、解码器实例、TCP 连接等模块都是可以使用复用池管理起来的。
1.3、预加载组件框架
预加载组件框架
预加载组件主要是在播放列表业务场景下对待多个播放资源进行预加载管理的组件，这样的目的是尽量优化带宽的使用，降低用户在观看视频时的卡顿。
为了支持这个目标，则需要设计下载任务优先级队列，结合下载模块的带宽预测和网络请求控制能力和播放器的缓冲区状态和播放状态对多路资源下载逻辑进行控制，以确保把网络资源分配给最需要的下载任务。
1.4、缓存组件框架
缓存组件框架
缓存组件是为了实现对已加载音视频数据的缓存，这样可以在用户再次播放该资源时提升快速打开、播放流畅的体验。
1.5、播放内核框架
播放内核框架
播放内核是播放器的内核 Pipeline，其中包括网络模块、协议解析、封装解析、缓存控制、音视频解码、音视频同步以及音视频渲染等模块。