论文分享系统中的海量图片存储研究

被引量 : 0次 | 上传用户:ubqazw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今互联网环境下,图片已经成为大多网站展示内容的一种主要手段,用户也常通过照片来分享自己的生活和心情。而随着互联网的高速发展,传统的图片存储服务正面临着数据规模高速增长和数据访问高并发这两方面的挑战。这就需要图片存储系统具有良好的可扩展性和高性能。此外,如今的互联网应用越来越多样化,很难有一种通用的办法适用于所有的系统,我们需要针对系统的应用特征来设计相应的解决方案。以研究各大互联网公司的图片存储系统为基础,结合论文分享社会化网络的应用特点,提出一种日志型的基于哈希树和键值对(key-value)接口的存储模型,同时借鉴已有的解决系统可扩展性和可靠性的分布式架构设计理念,对传统的图片存储系统进行改进。使用日志型的key-value模型,将图片数据只增不减的写入大文件中,减少了文件数量,简化了操作系统的管理,同时使用哈希树结构,组织图片在大文件中的索引信息,实现图片的快速读取;采用分布式的架构设计,实现系统的可扩展性和可靠性;结合论文分享的特点,利用图片之间的相关性,进一步提高读取性能;采用了epoll网络模型和领导者-跟随者(leader-follower)线程模型,有效地提升了系统处理高并发请求的能力。然后根据提出的解决方案实现了一个针对论文分享的图片存储系统,并详细介绍了系统的架构、核心模块以及相应实现。最后对论文分享系统进行了性能测试,分别对采用日志型的key-value模型、采用哈希树组织索引信息、结合论文图片相关性以及使用epoll和leader-follower模型等方案进行了相应的测试,并与没有采用这些方案的系统进行对比,测试结果表明新系统的性能有了很大提升,验证了设计的针对论文分享的图片存储系统具有良好的性能。
其他文献
<正> 箜篌是我国的一种古代乐器,初名“坎候”,又名“空候”,后写为“箜篌”。《史记·封禅书》云:“其者,既灭南越,上有嬖臣李延年以好音见。上善之,下公卿议,曰:‘民间祠尚
随着我国高铁运输业的飞速发展,列车运行速度大幅提高,传统测速方法存在的缺点无法满足高速列车的精确测速,多普勒雷达测速传感器应运而生。它主要基于多普勒原理,利用DSP对采集
进入20世纪下半叶,整个世界在政治、经济、文化、教育、科技等各个领域风起云涌,世界格局和面貌发生了巨大变化。在中国,上个世纪80年代末,党中央吹响了改革开放,建设中国特色社会
二氧化碳是温室效应的主要来源,因此降低二氧化碳的排放、开发利用二氧化碳已成为当务之急。过去几十年里,二氧化碳与环氧化合物共聚制备聚碳酸酯在二氧化碳综合利用研究领域
设备的故障诊断技术有温度检测、油样分析、无损检测以及振动检测技术等,某化工厂根据自身的实际情况选择振动检测技术,并通过选用BH550和SB770对一台多级离心给水泵进行故障
30多年来的政治、经济体制改革带来了利益格局的改变,利益格局的变化导致阶层的分化,贫富阶层间的利益矛盾冲突不断显化与深化。本文围绕"利益妥协"和"阶层合作"探讨利益妥协
现实主义绘画在当今画坛再掀波澜,本文从现实主义绘画的时代意义出发,指出当今美术创作中精神探索的必要性问题,同时从历史及现实的双重缘由考虑,点出现实主义绘画的时代性和现实
人体行为识别算法在虚拟现实、智能监控和无人驾驶产业蕴含着巨大的研究意义和工业价值。传统行为识别算法都是基于彩色图,手工设计特征提取器,提取彩色图的形状颜色等特征,然后对特征建立描述符,选择分类器进行分类。这会导致两个问题,第一,彩色图信息熵较少,提取的特征不能很好的表示行为并且对背景遮挡和视角变化的泛化性很差。第二,传统算法特征提取器设计困难,而且其行为识别率不高。而新兴的RGB-D数据包括彩色图
老年患者由于体弱多病,行动不便,加上对疾病及衰老认识不足,在住院期间有跌倒、坠床、走失、误吸、窒息、烫伤、压疮、院内感染及药物不良反应等情况发生[1]。护理安全直接关
伴随我国对国家文化软实力重视度的提高和小城镇建设的活跃,我国小城镇发展也逐渐走向内涵化、差异化、多元化发展方向。虽然从总体上来说,我国小城镇发展的最大推力仍然是工业