论文部分内容阅读
随着互联网规模的飞速发展,网络传输的数据量也在不断增加,日益增长的网络数据对网络带宽和服务器性能提出越来越高的要求。所以,网络数据分发的实时性与可靠性是一个需要解决的问题。
同时,随着网络规模和网络用户数量的不断增加,网络请求往往聚集在少数网络资源上,这就导致了网络请求的负载不均。面对这种情况,如何将一些热点资源迁移到网络低负载区域的节点上,在一定程度上实现网络资源的负载均衡也是一个急需解决的问题。
本文研究的是面向大规模网络的实时高可靠文件分发技术,针对这一课题,本文研究了当前的文件分发技术,针对这些已有技术,本文提出了文件分发模型,并且在文件分发模型的基础上提出了对应的负载均衡模型。
本文首先考虑了内容分发网络的层次架构与区域架构方式,与结构化的P2P(peer-to-peer)网络相结合,提出了基于结构化P2P网络的层级文件分发网络架构。然后,根据网络架构,设计了分发系统的指令结构,根据指令结构设计了不同级别节点之间的消息交互流程;根据分发文件的大小,提出了基于文件规模的分发策略,使用AMQP(Advanced Message Queuing Protocol)传输小规模文件,使用结构化的P2P网络传输大规模文件,充分发挥不同传输方式的传输优势;考虑传输过程可能出现的问题,提出了异常处理机制。最后,本文设计了网络架构对应的存储结构。
本文分析了对结构化的P2P网络进行了负载均衡的可行性和必要性,提出了混合式的负载均衡策略。首先,节点在查询请求资源时获得的对应节点是随机的。然后,本文根据节点收到的文件请求数量时间序列,应用三次指数平滑函数预测接下来的请求数量序列,预测接下来可能产生的高负载的文件。最后,根据节点本身的负载和所在区域的负载,将节点所在的区域划分为高负载区和低负载区,对于不同的区域,使用不同的副本节点选择策略。
本文使用多台服务器,运行本文实现的文件分发系统,模拟整个文件分发网络的不同层次的众多节点,进行实验。首先,通过系统分发不同规模的文件,比较了分发不同规模文件的分发效率,与单独使用AMQP或结构化的P2P网络做横向对比,同时做了负载均衡模块的纵向对比。然后,在节点过载率、资源平均响应时间和高负载节点负载波动方面测试了负载均衡模块的性能,分析了负载均衡模块的性能优势。
同时,随着网络规模和网络用户数量的不断增加,网络请求往往聚集在少数网络资源上,这就导致了网络请求的负载不均。面对这种情况,如何将一些热点资源迁移到网络低负载区域的节点上,在一定程度上实现网络资源的负载均衡也是一个急需解决的问题。
本文研究的是面向大规模网络的实时高可靠文件分发技术,针对这一课题,本文研究了当前的文件分发技术,针对这些已有技术,本文提出了文件分发模型,并且在文件分发模型的基础上提出了对应的负载均衡模型。
本文首先考虑了内容分发网络的层次架构与区域架构方式,与结构化的P2P(peer-to-peer)网络相结合,提出了基于结构化P2P网络的层级文件分发网络架构。然后,根据网络架构,设计了分发系统的指令结构,根据指令结构设计了不同级别节点之间的消息交互流程;根据分发文件的大小,提出了基于文件规模的分发策略,使用AMQP(Advanced Message Queuing Protocol)传输小规模文件,使用结构化的P2P网络传输大规模文件,充分发挥不同传输方式的传输优势;考虑传输过程可能出现的问题,提出了异常处理机制。最后,本文设计了网络架构对应的存储结构。
本文分析了对结构化的P2P网络进行了负载均衡的可行性和必要性,提出了混合式的负载均衡策略。首先,节点在查询请求资源时获得的对应节点是随机的。然后,本文根据节点收到的文件请求数量时间序列,应用三次指数平滑函数预测接下来的请求数量序列,预测接下来可能产生的高负载的文件。最后,根据节点本身的负载和所在区域的负载,将节点所在的区域划分为高负载区和低负载区,对于不同的区域,使用不同的副本节点选择策略。
本文使用多台服务器,运行本文实现的文件分发系统,模拟整个文件分发网络的不同层次的众多节点,进行实验。首先,通过系统分发不同规模的文件,比较了分发不同规模文件的分发效率,与单独使用AMQP或结构化的P2P网络做横向对比,同时做了负载均衡模块的纵向对比。然后,在节点过载率、资源平均响应时间和高负载节点负载波动方面测试了负载均衡模块的性能,分析了负载均衡模块的性能优势。