论文部分内容阅读
不断发展的互联网需要有良好的内容分布技术,来应对互联网上大容量数据内容的广泛传输。集中控制式CDN技术和自由共享式的P2P内容分布技术,在应用中不断暴露出种种缺陷,已不能满足当前网络数据内容分布传输的需求。
针对两种截然不同技术中存在的弊端,结合分析大容量数据内容分布传输请求的分布规律,本文以实现高效的内容查询、分布传输为核心问题,围绕内容分布网络的网络拓扑结构设计、数字内容资源的准确描述和快速查询算法、网络结点管理、内容主动复制、高效可靠内容分布传输算法和内容真实性验证等方面问题,进行深入分析和研究,提出相应的设计及改进机制。本文主要的贡献和创造性工作包括以下几个方面:
第一,针对内容分布网络对于资源描述和寻址技术在资源描述的灵活性、安全性、准确性、访问控制的多样性等方面的需求,在前人已有研究基础上,本论文研究提出适应一跳查询P2P内容分布网络拓扑结构的数字内容资源描述机制DCR-DS,实现对于数字内容资源的准确描述、快速查询。
第二,本文结合P2P和传统集中控制式CDN两种不同内容分布网络拓扑结构的优点,研究设计了新的内容分布网络拓扑结构,并且设计了在新的网络拓扑结构中网络结点加入、退出、状态维护以及路由选择的算法。新的拓扑结构实现了在不稳定的互联网上构建可靠的内容分布网络,即保留了传统CDN网络具有良好控制管理机制,能够提供稳定可靠的服务质量的特性,又增加了P2P网络所具备的良好可扩展性,以及内容流量负载在广域网络中自动均衡的特性。同时,本文引入一套结点综合评价管理机制,增强了内容分布网络的可运营性。
第三,数字内容查询请求分布具有不遵从于齐夫(Zipf)分布的特性,本文通过从实际应用中DNS、关键词服务和数字内容查询请求日志,统计分析DNS、关键词服务和数字内容请求各自分布特征,比较异同。并结合分析请求访问过程中用户行为特性不同、访问对象自身特性不同,深入研究内容请求分布不遵从标准Zipf分布的原因。通过线性适配的方法,抽象出数字内容请求分布分析模型,同时也验证了前人在此方面所得研究结论的不正确性。
第四,结合新的网络拓扑结构,借鉴CoDoNS系统中对于遵从标准Zipf分布的DNS的主动复制方法,针对内容分布网络自身特性,改进主动复制机制的实施框架,提高内容主动复制过程中的传输效率。并结合内容请求分布分析模型,重新设计为得到预期的内容查询延迟,内容主动复制机制的计算模型,以实现用最小的存储、带宽和计算资源代价,获得预期的内容查询和传输性能。
第五,针对实现数字内容资源在广域网上的高效分布,本文通过引入无比率纠错编码技术,针对于一跳查询P2P内容分布网络拓扑结构及网络管理,改进并设计了新的内容传输协议,解决了传统CDN网络中大容量数字内容低分布效率的问题,特别是针对大容量数字内容资源的分布传输。基于无比率纠错编码的内容传输协议,可以实现在广域网上内容传输负载的自动均衡,具有良好的可扩展性,充分合理的利用可用有效带宽。第六,构造特定的同态哈希函数,使用批量验证和概率随机验证方法,改善内容传输真实性的验证效率。
第七,基于以上关键问题的研究,构建一跳查询P2P内容分布网络原型系统HE CDN1.0,分析比较与传统内容分布网络的性能改进。