论文部分内容阅读
随着移动互联网、广播电视技术和智能终端技术的快速发展,流媒体业务突飞猛进,流媒体数据量急剧上升,流媒体服务已经成为未来网络核心应用之一。流媒体系统需要大量的计算资源和网络带宽以提供高并发、高质量的实时媒体流服务;面对低成本和低功耗的需求,通用处理器已经逐渐难以满足流媒体系统对计算能力和数据传输带宽的要求。目前重点研究和快速发展的多核处理器不但具有极强的计算能力,且集成多种处理加速技术,已经成为构建高性能流媒体应用平台的首选方案。 面对高并发用户数、高实时性要求和高波动性的媒体流,基于多核平台的流媒体系统主要关键技术包括:多核系统架构、多核任务调度和负载均衡技术、多核性能优化、内容缓存、用户接入控制及集群调度等。本文基于多核平台主要研究以下关键技术:首先,针对目标硬件平台完成高性能流媒体多核系统架构设计,整体架构上支撑媒体流的实时处理和高吞吐要求;其次,基于硬件平台并根据实时媒体流特性,研究实时、稳定的流任务调度及传输技术;第三,基于请求迁移研究用户服务不间断保障技术,提升系统稳定性;第四,研究多核协作内容缓存技术,进一步提升系统并发性能和降低服务时延,提升用户体验。利用多核处理器相对传统单核处理器具有的更高计算和处理能力,构建基于多核处理器具有高并发、高稳定、低功耗的流媒体系统,具有重要的研究意义和实际应用价值。 论文主要研究成果和创新点如下: (1)根据流媒体系统控制和数据分离的原则,针对多核处理器平台构建一种适用于流媒体系统控制和数据分层的串并行混合架构,并在Cavium OCTEONCN5860多核平台上实现和验证系统性能。实验结果表明,与传统流媒体系统和多核全并行结构相比,本文所提架构可并行任务数和数据吞吐提升明显; (2)提出一种基于请求迁移的流媒体系统任务调度算法,保障用户服务不间断,提高系统稳定性。新请求到达时根据系统中各CPU当前负载及内容缓存状态对其进行调度;系统故障时通过将故障CPU或媒体服务器上正在服务中的用户请求快速迁移到其他缓存有相应内容的CPU或媒体服务器上继续服务。仿真实验结果表明,本文所提算法相比于传统的任务迁移算法和REM算法,用户请求成功率和系统服务时延性能提升14%以上。 (3)提出一种基于协议字段树的协议解析加速算法,解决系统高并发时信令消息解析瓶颈,提升系统效率。统计和分析应用层协议结构特征后提出协议字段树结构,具有非叶子节点到根节点的回路。基于该结构提出一种应用层协议解析加速算法,解析过程中不会出现字符串比较失败和回溯现象。与其他解析方法相比,所提出算法具有更好的效率和可扩展性。 (4)根据用户点播记录,采用回归分析,提出一种影片流行度计算和热点片段分布预测模型和算法。同时基于多核平台完成一种多核协作的内容缓存系统设计,在有限缓存空间内增加内容缓存数量,提高缓存命中率。通过与常见内容流行度预测和缓存算法相比,所提算法字节命中率和请求命中率分别提高14.28%和30%,同时多核协作缓存相比于单核独立缓存情况,字节命中率和请求命中率分别提高10.5%和30.9%,能够有效降低服务时延。