电子商务海量数据的获取、存储及检索

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:jia_oracle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,电子商务在人们的生活中占据着越来越重要的地位。在电子商务的整个环节中,数据处于最为核心的位置,处理好数据之间的关系,直接影响着电子商务商城的稳定性。   本课题基于电子商务商城的建设过程,研究并实现了一系列数据处理的方法。首先,为了获取商城需要展示的数据,需要从多种途径获取数据源,合理的安排好数据处理任务之间的关系,可以保证数据的稳定性以及时效性,课题经过实践完成了一套完整的数据任务分发机制以及数据运行状态的监控体系,在上百种任务并行运行的情况下,可以保证服务器的正常运行以及数据任务处理的稳定,从而保证了数据的有效性。   其次,在处理好数据获取任务的基础之上,需要针对海量的数据进行存储。海量数据的存储需要解决可扩展性的问题,即在不修改基础结构的前提下,快速的介入其他的商城的数据;同时需要处理好过期数据删除之后表空间利用的问题;最后存储系统需要容纳海量的数据,随着时间的延长,数据量急剧增加,数据存储系统需要具备海量的存储能力。基于以上问题,本课题通过两种存储方式的实践进行总结,完成了一套可扩展性的存储方案,在每天几十G数据进行更新的前提下,系统运行稳定并且拥有很好的普遍适用性。   最后,在解决了数据的获取以及数据的存储之后,数据的检索系统直接影响着用户的体验,检索系统的优劣直接影响着用户的选择。检索系统需要解决检索数据的有效性、准确性以及检索的效率。本课题通过sphinx检索引擎的研究,结合数据库共同实现平台的检索系统,可以为用户提供关键字以及属性的筛选,在海量数据存储的前提下,可以实现毫秒级数据的精确检索。   通过以上的数据获取、存储以及检索一系列的数据处理方案,构建了线上运行的产品:淘宝服务平台、dell在线销售计划以及百度网盟数据推广等项目。实践证明上述方法具有很强的可扩展性以及稳定性,较好地解决了海量数据的处理。  
其他文献
在移动互联网的迅速发展下,移动智能终端迅猛增长,需要能够解决移动终端在移动过程中通信连续性问题的方案。目前,学术界已经提出了很多集中式和分布式的移动性管理,都存在三
采用NAND Flash作为存储介质的固态盘,比传统的存储设备更能承受温度的变化、机械的振动和冲击,可靠性更高,易于实现高速度大容量的存储,日趋成为存储器的主流。由于NAND Fla
无线传感器网络(Wireless Sensor Networks,WSNs)利用各种各样的传感器节点,实时采集和监测网络区域内的各种信息,并将这些信息通过无线网络发送到汇聚节点(sink)。因此,WSNs
虚拟化技术的发展已有近50年的历史,虚拟机系统也已经广泛应用于高性能服务器整合、网络安全、入侵检测和云计算等领域。虚拟I/O作为虚拟机系统的重要组成部分,对虚拟机系统的
学位
关系数据库存储的数据具有语义模糊性。例如,数据库中存储“高”、“矮”、“胖”、“瘦”、“适度”、“一般”等数据导致了数据的模糊性,某些字段上存储的NULL值(或允许为N
本文结合不相交多径路由和缠绕多径路由,建立了一种基于网络编码的可靠传感器多路径路由模型(NC-RMR),通过一次路由发现建立多条通信链路,减少了路由发现和维护次数,在数据传
随着流媒体技术在国内的飞速发展,宽带普及率的稳步提高,越来越多的用户开始更为频繁地通过宽带网络享受多媒体服务。这不仅推动了诸如数字电视、交互式网络电视及其相关产业
随着Internet的飞速发展以及流媒体领域的不断突破,备受关注的IPTV(交互式网络电视)业务已被推向了这个技术时代的尖端。作为一种数字视频业务,IPTV必须和传统的有线电视竞争
图像运动模糊是由于在曝光过程中场景与相机之间发生了相对位移而产生的一种客观的物理现象。目前,大多数对运动模糊图像研究的文献都集中在运动去模糊上。但运动模糊图像通