基于张量的大数据统一表示及降维方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xiaogang7922
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
统一表示与降维方法研究是大数据领域的两个重要课题。然而,目前尚缺乏简洁有效的模型实现非结构化、半结构化、结构化数据的统一表示。另外,在大数据计算过程中,大量不一致、重复冗余、噪音数据的存在,严重影响了大数据处理算法的效率和计算结果的准确性。构建简洁的数学模型对结构复杂的大数据进行统一表示,设计高效安全的降维算法从低质量原始大数据中提取出高质量核心数据集,对于大数据研究有着巨大的理论和实践意义。从大数据四大特征(规模大、类型多样、速度快、价值密度不均)出发,研究基于张量的大数据统一表示模型,提出增量式、分布式、安全的大数据降维方法。论文主要研究内容和创新成果如下:首先,提出大数据统一表示模型。传统的数据处理技术无法对复杂结构类型的数据进行统一表示。针对不同结构类型数据的特点,提出高阶张量空间统一表示模型,实现对非结构化数据、半结构化数据、结构化数据的统一表示。针对异构数据特征冲突问题,提出张量空间动态融合机制,在保持原始数据特征完备性的基础上,实现异构数据在高阶张量空间中的高效表示。另外,面向大数据应用系统的不同需求,提出大数据整合方法,实现异构数据的灵活组织和统一整合。其次,提出大数据增量式降维方法。数据在分析和处理过程中呈现出计算规模巨大和中间计算结果爆炸性增长两大特点,从而导致重复计算和效率低下等问题。提出基于张量的大数据增量式降维方法,将新增数据投影到张量模展开矩阵的左奇异向量基空间,并利用投影结果动态更新正交基向量空间和核心张量。提出并证明核心张量等价定理,解决核心张量沿时间阶的增量式更新问题。提出张量递归增量式分解算法。实验结果表明,该算法能够保证计算准确度、减少中间计算结果、消除重复计算过程、降低计算复杂度,极大提高了大数据降维方法的效率。再次,提出大数据分布式降维方法,实现优质核心数据在分布式计算环境下的高效提取。分布式降维方法包括分布式算法、分布式环境搭建、张量分块策略三部分。提出张量分块模型,基于Lanczos迭代过程,提出分布式张量分解算法,基于异构计算设备构建分布式计算环境执行降维任务,提取高质量核心数据。基于行压缩模式存储张量分块以减少计算过程中的数据存储量。为了更合理地将张量块分配到计算设备上,提出四目标优化方法,对分解过程中的能耗、计算时间、通信量、数据安全级别建模,实现降维过程中张量块近似最优分配。最后,提出大数据安全降维方法。基于半同态加密机制Paillier和全同态加密机制BGV提出两种大数据安全降维方法。基于半同态加密机制的安全降维方法由安全双对角化算法、安全奇异值分解算法、安全模乘算法构成,在客户端构建密文子张量,在服务器端求得核心张量与截断正交基。在基于全同态加密机制的安全降维方法中,首先对张量模展矩阵进行三对角化,在云端实现密文上的加法、减法以及乘法运算,在客户端明文上实现除法运算。分析了两种安全降维方法在计算效率和安全级别上的异同,并通过实验对两种方法进行比较。
其他文献
枣疯病传染性强,潜伏期不定,在我国分布范围广且为害严重。病害发生的决定因子是带病接穗、砧木及根蘖苗和媒体叶蝉传病。DAPI染色技术和多聚酶链式反应技术可用于种苗和媒体昆虫的
时光倒叙,回到了童年。一段欢快的钢琴和提琴的合奏,似乎把每一位听众带回了各自的童年。光着脚丫的小姑娘,高兴地跑出家门,好像一阵风,带动了铃铛。风铃的声音伴随着岁月的流逝,一
<正> 粮食企业在收购、销售、调拨、储存、加工等业务环节,往往形成粮食的自然减量,有时还会受到自然灾害和人为原因的影响而发生损失。为了保证账实相符,粮食企业应建立健全
<正> 销售折扣是指在销售活动中销货方给购货方价款上的优惠,它分为商业折扣和现金折扣两种。商业折扣是指销货方为适应市场供需情况,或针对不同的客户,或鼓励购货方多买而按
我国古代虽然没有思想教育之名,但有思想教育之实。那时的思想教育,一般是在划分不同对象的基础上展开的,并注意依据不同对象选择不同的路径。这样的路径当然是多方面的,但笔
报纸
带环后子宫出血较为常见,应用活血化淤、疏肝理气、清热凉血、补气摄血、温肾固冲、滋水益阴6法治疗收到了理想的疗效。
分析了果洛州草地退化的原因,指出了果洛州畜牧业可持续发展的策略.果洛州的草地退化是自然因素和人为因素综合作用的结果.人类活动和气候变化是导致果洛州草地退化、区域生
随着社会经济的进步和社会经济结构多元化的发展,对未来人才的要求也更具专业性、多元性。而高等职业院校作为我国教育体制中的重要组成部分,主要负责为社会培养具有高素质、
随着国家和社会的不断发展,国家在发展旅游业的同时也将文化注入其中,让更多的游客在旅行途中了解到更多的文化知识。所以说文化与旅游的相互融合与促进成为文旅融合,文旅融