论文部分内容阅读
近年来,随着云计算的兴起和快速发展,各种类型的云存储服务也相继出现。而这些云存储服务的异构性不仅使用户面临选择困难和平台锁定问题,也限制了不同云服务商连通和共享各种资源以提供普适计算。为了应对这些问题,基于接口标准化和中间件的多种云存储服务协同模式被提出,可以为各云平台带来服务质量、可靠性和可扩展性等多方面提升。然而,这些协同模式还主要处于概念设计阶段,在实际中各云公共接口普遍存在访问性能差且高度不稳定的情况,给跨个人云文件协作、基于混合类型公有云的文件托管、多云存储节点数据传输调度等实时性协同场景带来很大的挑战。本文针对以上机遇和挑战,围绕如何使异构云存储服务高效协同工作以优化数据传输展开研究,主要包括以下创新点:(1)针对不同个人云用户间进行文件协作的需求,通过克服云公共访问接口API低效问题实现频繁编辑文件的实时协作。其中首先根据对低效API实际测量的关键结论,提出邻近性云代理部署策略和云代理间高级传输协议,在此基础上还设计了冗余更新消除和文件冲突处理等控制机制。基于这些解决方案实现的系统支持多种流行个人云之间的文件协作,具有接近甚至超过云内部文件协作的端到端跨云同步性能。(2)针对用户希望同时低成本存储和高效操作文件的需求,通过结合两种不同类型的云存储服务并仔细调整使用方式实现低成本高效文件托管。其中首先设计了按文件大小混合两种云存储的方案,并针对大文件下载性能瓶颈问题提出包括基于中继下载和缓存策略以及各种文件传输操作优化策略的高级传输方案,还设计了冗余操作请求消除和文件系统一致性维护等控制机制。基于这些解决方案实现的系统在Amazon S3和EFS之上提供低成本高效文件托管服务,具有非常接近S3的低成本和接近甚至优于EFS的良好文件系统操作性能。(3)针对典型云存储服务节点访问时延高度不稳定的问题,通过一组算法对多云存储节点的数据传输进行优化调度。其中首先提出两种传输优化算法分别解决跨多节点云和用户与分布式多云节点间数据传输用时最小化问题,还进一步设计了可扩展性数据流在线调度算法以平衡传输及时性和系统开销。基于这些算法实现的调度系统具有明显优于对比算法的性能,同时低开销还保证了其良好的可扩展性。