面向计算引擎测试领域分析算法的设计与实现

来源 :吉林大学 | 被引量 : 0次 | 上传用户:omine001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国大数据领域的快速发展,针对大数据计算,所产生的计算引擎工具应接不暇,然而测试计算引擎的工具却近乎于没有。故而,本文选定当前主流的计算引擎针对离线和实时两部分进行测试。除此之外,本文首次将机器学习算法应用到测试领域。在得到相应的测试项之后,在离线数据下,分别利用SVM、KNN、改进的KNN对测试项进行分析;在离线与实时情况下,采用SVM、决策树、以及Relief F_decision Tree算法进行分析测试项,最后,选择最优的模型。本文首先阐述了对计算引擎测试的研究背景的现实意义、研究现状。其次,认真阐述了当前流行的计算引擎的相关理论,介绍了测试计算引擎所涉及的测试数据集技术概述,陈述了测试领域相关的理论,以及对所选定的计算引擎进行测试的测试项理论概述。然后介绍了测试领域的分类标准、分类算法的步骤、SVM算法、K-NN算法、决策树算法。进而,分别从数据来源、数据特征选取两方面介绍了数据集的情况,研究KNN和决策树算法的基本理论和优劣点,分别利用加权值对KNN算法进行改进,引入了加权-K近邻算法,利用Relief F对决策树进行改进,提出了Relief F_decision Tree算法,分别针对离线引擎测试项数据集和离线、实时引擎测试项数据集做了对比实验,选出了最优的模型。最后,根据前几章的学习,分别实现了离线计算引擎测试和实时计算引擎两个测试工具,并利用自动化测试技术多次执行所设计的测试用例之后,分别针对测试项整理出测试集合,然后适合的模型进行分析,最后展示了系统各个模块的界面。通过实验证明了本文所提出的理论方法是有效并且可行的,所设计的两大测试工具,虽然选定的计算引擎是Spark,但同时也可以对其他的计算引擎进行测试。其次,所做的面向计算引擎领域的测试项分析算法,对从事测试工作,乃至整个测试领域有极大的借鉴作用。
其他文献
自组织现象在自然界和人类社会中普遍存在,如鸟群迁移、蚂蚁建巢、商品价格统一等,这些现象从不同的角度和形式表现出自组织模式.人们将这种具有共同群体目标,个体相互作用的集体行为称为群聚现象.它可以描述为一个群体有序地朝一个方向共同运动,如同一个超级生物一样做出一致的行为.几十年来,群聚问题在许多研究领域得以应用,如自组织移动传感器网络、多智能体系统、无人机群编队飞行、执行监视和侦察军事任务等.因此,研
深度学习在各行业、领域的应用越来越广泛,并且现在的深度神经网络算法已经可以通过给定的样本数据训练成为十分庞杂的模型.对于图像超分辨率重建问题,与经典的方法相比较,基于深度学习的方法能够保留图像更多的细节,且适应性更强,因此越来越受到人们的重视,现已成为图像超分辨率重建技术研究的热门方向.特别地,深度神经网络中的卷积神经网络(CNNs)具有极强的表达能力,在图像超分辨率重建方面取得了令人瞩目的成绩.
近20多来年,基因表达谱一直是概率统计学科、生物信息学科以及计算机学科相互交叉的研究方向之一。通过对基因表达谱的数据分析,从基因的角度上探索癌症发展的历程,以及其和肿瘤微环境的关系,已经成为当下比较热门的课题之一。活性氧(reactive oxygen species,ROS)与肿瘤免疫微环境密切相关。在本研究中,我们首先从基因集富集分析(GSEA)数据库中下载ROS相关基因数据,并通过Cox模型
奇异摄动理论作为微分方程研究的一个重要分支,在天体力学、流体力学以及控制论领域非线性问题的研究中有着广泛而有效的应用,一直受到数学家和物理学家的高度关注.至今,人们已发展出许多奇异摄动方法,如匹配渐近展开法、WKB、平均法、重整化群方法等.二十世纪九十年代初,Chen,Goldenfeld和Oono将量子力学中的重整化群思想应用到求解奇异摄动微分方程近似解的问题,建立了奇异摄动重整化群方法,并将其
具有周期结构的光学衍射材料通常被称为光栅.设计有效快速求解光在光栅表面或者内部衍射问题的数值方法,具有十分重要的意义.本文使用现今流行的有限体积法求解光栅衍射问题,并给出相应的理论分析.入射波照射到光栅表面,光波会发生衍射,并向远处传播.数值求解时,需要在无界区域上构造计算方法.许多常用的数值方法,如有限元法,有限体积法等,不能直接使用.本文利用DtN算子方法将无界的物理区域截断成有界的可计算区域
3D图形检索一直是三维形状分析的重要课题,在包括分子生物学,医学,计算机辅助设计,计算机图形学,多媒体娱乐,3D打印,3D动画等众多领域有重要应用。其中关于图形检索的特征描述子的构造是3D图形检索的核心问题,所构造的特征描述子要能够表述图形的内蕴特征。本文主要围绕常用的内蕴几何不变量:曲率、测地距离、扩散距离、热核信号开展形状检测特征描述子构造的研究,进一步考察基于乘法规则所生成的融合特征描述子的
本文讨论非协调元有限体积法的后验误差估计和自适应计算,首先研究了二阶椭圆方程旋转双线性元有限体积法的后验误差估计,然后实现了三角形线性非协调元有限体积法的自适应数值计算。考虑二阶椭圆边值问题(?)对给定的矩形区域?做矩形剖分(?)h,试探函数空间Vhnc取为旋转双线性元空间,通过连接矩形单元的两条对角线获得了对偶剖分h*,检验空间Vh*取为相应于(?)h*的分片常数函数空间,在此基础上定义了旋转双
目的:椎管血管外皮细胞瘤(HPC)是一种罕见的侵袭性肿瘤,具有很强的复发和转移倾向。关于其临床特点以及治疗方案尚有很多争议。本研究旨在探讨椎管血管外皮细胞瘤的临床特征和影响肿瘤复发的相关因素。方法:应用Pub Med检索相关文献,并从纳入的研究中提取临床数据。对患者的临床资料进行描述和统计分析。并用KaplanMeier(KM)曲线、log-rank检验、单因素和多因素Cox回归分析尝试寻找与无复
目的:比较聚乙二醇化脂质体阿霉素(Pegylated liposome doxorubicin PLD)与传统蒽环类药物治疗乳腺癌的疗效和毒性。方法:本研究为非随机对照试验。按要求配对后进行前瞻性分析,共计160例经组织病理学检查确诊的乳腺癌患者纳入研究,观察组和对照组的患者1:1配对。配对按照患者年龄、分子亚型、腋窝淋巴结状态、新辅助化疗方案等方面匹配。化疗方案包含蒽环类药物,允许使用紫杉醇或多
眼底血管的结构和形态是诊断各类眼部疾病的重要依据。血管分割是临床诊断中不可缺少的工作,用计算机分析方法来实现眼底血管的自动分割,有效提升工作效率,节约医疗资源,具有很重要的现实意义。近年来,深度学习已经逐渐成为医学图像分割领域中的主流方法,U-Net网络因其对称的上采样和下采样过程,能获得更准确的分割效果,是目前最有效的医学图像分割模型。但是,在眼底图像血管分割任务中,由于视网膜中血管细小、位置分