【摘 要】
：
大数据和云计算环境下海量增长的数据对存储系统的超高容量和体系结构带来了极大的挑战。随着大数据时代的到来，数据量成爆炸式的增长对存储系统提出了更高的要求，一方面存储系统既要能够在低成本前提下实现大容量存储，另一方面存储和计算之间的性能差距不断的扩大，这就需要具有在海量数据规模下与计算性能相匹配的高性能数据访问能力，因此目前存储系统的发展趋向于大容量、低成本和高性能，然而任何单一的存储器件如传统的磁盘
【机 构】
：
西北工业大学计算机学院,西安 710129
【出 处】
：
第22届全国信息存储技术学术会议 (NASAC)
论文部分内容阅读
大数据和云计算环境下海量增长的数据对存储系统的超高容量和体系结构带来了极大的挑战。随着大数据时代的到来，数据量成爆炸式的增长对存储系统提出了更高的要求，一方面存储系统既要能够在低成本前提下实现大容量存储，另一方面存储和计算之间的性能差距不断的扩大，这就需要具有在海量数据规模下与计算性能相匹配的高性能数据访问能力，因此目前存储系统的发展趋向于大容量、低成本和高性能，然而任何单一的存储器件如传统的磁盘、固态硬盘、非易失型性随机存储器等等由于其固有的物理特性的限制，并不能满足以上的需求。
其他文献
云计算系统具有高伸缩性，高可用性，性价比高等特点，成为学术界和工业界的研究热点。对于企业而言，使用公有云面临安全性和网络设施中断的风险，因此更倾向于将核心业务迁移至私有云平台。私有云平台由于资源利用的高效性和部署的灵活性进而带来了私有云评测的难度。目前服务器评测方法和基准虽然已比较成熟，但不直接适用于云计算系统的评测。
随着科学与技术的发展，大量的数据应用到我们的工作和生活中，为了帮助人们更好地了解数据的变化趋势，产生了一门重要的分支——数据可视化。数据可视化是大数据分析的一个重要手段，它是用视觉形式向人们展示数据重要性的一种方法，使生硬的数字通过数据可视化软件就可以很容易发现其关联变化。本文根据某公司报警运营服务需求，在报警服务平台的框架下介绍报警平台可视化的环境及工作流程，结合基于降维和非降维的数据分析技术，
迅速发展的互联网积累了越来越多的数据，同时用户对大数据的响应能力也提出了越来越高的需求。面临对大数据的高并发数据操作需求，哈希表由于其O(1)的平均查找和更新时间以及小巧灵活的特点，在键值存储系统、包分拣、自然语言处理、负载均衡、IP 查找、入侵检测等领域有着广泛应用。
由于NAND闪存的固有限制，写不能原地更新写，写的粒度是页，擦除的粒度是块，擦除前需要将块中的有效页迁出，传统上是在垃圾回收阶段进行擦除以重用失效页。根据采用fio对Intel SSD DC P3700固态盘的测试结果，当执行读写请求大小为4KB、读写请求比例为7：3的随机I/O时，若SSD是空盘(相当于新盘)，其IOPS能达到20万，读写延迟分别为180us/2000us；但对SSD进行数据预埋
近年来，云计算的盛行导致云存储的快速发展。越来越多的用户选择在云中存储自己的数据，但一系列的安全问题，例如美国的“棱镜事件”，开始阻碍云存储的发展。同时，随着移动互联网的完善和智能手机的兴起，人们使用手机客户端的频率更高，而安卓操作系统的应用最为广泛。因此，本文提出了一个基于安卓平台的多云存储系统。
大规模开放课程(简称MOOC)正逐步成为终身教育的一个重要途径。它为学习者提供不受时空限制的学习机会，为学习者提供丰富的学习资源。本文借鉴商业系统个性化推荐的方法，提出了面向MOOC的个性化学习资源推荐系统，阐述了个性化学习资源推荐的关键技术和方法。本文采用基于用户聚类的协同过滤推荐，和基于项目聚类的推荐方法，实现对用户的个性化学习资源推荐。
高性能计算机在发展过程中，计算节点的内存容量在不断提升。与此同时，应用对节点内存的不均衡需求，又导致不同节点的内存利用率往往差异较大。于是，为充分利用系统的整体内存资源，产生了基于计算节点空闲内存，构建分布式文件系统的需求。当传统分布式文件系统的底层存储介质从磁盘变为内存，原有的基于Socket 的通信方式已无法充分发挥内存级存储带来的性能优势，从而导致网络通信性能成为制约系统整体性能的主要瓶颈。
闪存是一种非易失的存储器，具有电可擦除、速度快、体积小、能耗低等优势，被越来越多地用作数据存储设备。但由于闪存芯片自身的特性，无法和现有的系统直接对接，需要设计特定的控制器对闪存芯片进行操作。不但需要设计一层特殊的闪存转换层用于地址映射和垃圾回收等功能，更为重要的是需要针对不同型号闪存芯片的内部结构进行专门设计，用于更好地发挥闪存内部的并行操作的高性能优势。
点评网站在 O2O 行业经过了十多年的耕耘后，已经积累了大量的评论数据、商户数据和用户数据等数据信息，而且每个月仍以百万级的数据量在递增，若继续使用传统数据库进行存储，必然要使用到昂贵的高性能服务器或Oracle数据库，存储代价高；而且这些海量的数据信息并不都是我们所需要的数据，在海量的用户点评数据背后就包含着用户对饮食的喜好、活动地理位置等信息，如果能够对这些数据进行很好的整理分析得到其中有价值
NAND Flash 作为一种新兴存储介质,有着与磁介质迥异的物理特性。具体表现为：读写速度不对称,写操作延迟远高于读操作延迟；写操作必须以页为单位,写操作必须在空闲页或者被擦除过后的页上进行；擦除操作以块为单位,一次擦除操作存在着很大的延迟,且每一个物理块只有有限的擦除次数。由于以上性质,NAND Flash 介质需要额外的闪存转换层(Flash Translation Layer,FTL)提供