【摘 要】
：
针对当前异常数据实时检测算法未考虑空间复杂度,导致异常数据检测率低,通信开销大,造成检测误报率高,运行时间长的问题,提出基于HDFS开源架构的异常数据实时检测算法。基于HDFS开源架构搭建数据分布式云存储体系,采用多级哈希表搜索算法,查询异常数据。基于支持向量机设计支持向量数据描述异常检测算法,计算最小超球体边界描述数据分布范围,依据此边界分类未知异常样本数据,利用最小闭包球算法,优化求解支持向量
【机 构】
：
长江大学计算机科学学院,延安大学数学与计算机科学学院
论文部分内容阅读
针对当前异常数据实时检测算法未考虑空间复杂度,导致异常数据检测率低,通信开销大,造成检测误报率高,运行时间长的问题,提出基于HDFS开源架构的异常数据实时检测算法。基于HDFS开源架构搭建数据分布式云存储体系,采用多级哈希表搜索算法,查询异常数据。基于支持向量机设计支持向量数据描述异常检测算法,计算最小超球体边界描述数据分布范围,依据此边界分类未知异常样本数据,利用最小闭包球算法,优化求解支持向量数据描述异常检测分类器,实现异常数据实时检测。实验结果表明,上述算法的异常数据检测率较高,能够有效节省通
其他文献
在使用大数据查询重要信息时,为了防止隐私泄露,需要通过安全防护手段保护数据信息安全,提出基于差分隐私的大数据安全访问权限认证仿真方法。利用添加拉普拉斯生成噪声的方式,统计起始数据,并转换扰动,达到保护隐藏信息的效果。对大数据拥有者或生产者贴上标识,并对访问大数据的对象贴上标签,通过正确设置大数据所有者的读授权条件与写授权条件,在完成数据传输的同时使访问权限也获得认证,最终实现安全防护。经过仿真证明
网络流量具有时变性与非线性等特征,线性时间序列预测性能不佳,提出网络非平稳流量多尺度时间序列预测数学建模。利用离散低通滤波器确定流量分解系数,经过初始化处理,对滤波器做插零完成小波分解;使用支持向量机方法设置回归函数,确保函数最小化,并将低维空间中非线性回归问题转换为高维空间线性回归问题,在初始低维空间做核函数计算获取高维空间内积,引入双曲核函数建立支持向量机每一步的预测模型;重构小波分解后的时间
针对现有主题爬虫技术中存在爬虫覆盖率较低、主题漂移率较高等问题,提出设计一种基于改进VIPS算法的主题退火爬虫技术。通过改进VIPS算法提取当前页面内对对应的视觉块,对视觉块中主要内容实施方式进行判别,将与主题特征相符合的内容块筛选并存入数据库中,将与主题特征不相符的内容块则直接刨除;在Heritrix的基础上,设计主题退火爬虫的结构;通过对规则引擎进行整合,使规则引擎可以在主题退火爬虫中运行,并
TLD(Tracking-Learning-Detection)是针对视频中未知物体的长时间跟踪算法。当目标跟踪受到光照、遮挡和旋转等因素干扰时,TLD算法无法实现视频目标准确跟踪。针对TLD存在的问题,提出了一种改进的TLD动态更新检测区域的目标跟踪算法。采用压缩跟踪作为跟踪模块,并且增加了对压缩跟踪模块和检测模块运行效果的评估,根据评估结果来调整压缩跟踪模块和检测模块所占的权重,更准确预测目标
针对现有数据提取方法未考虑空间高复杂度,导致偏差数据检测的缺失、提取覆盖率较低、时间消耗较多的问题,提出基于智能计算的网络偏差数据提取数学仿真方法。引用信息熵检测网络偏差数据,并采用遗传算法对上述检测结果更新与平滑处理,获取网络偏差数据特征响应函数,结合距离与密度参数,确定网络偏差数据的位置与密度,最终实现网络偏差数据的快速提取。数学仿真结果显示,在网络吞吐量10000-50000Mbps背景下,
为了提高自然场景标志信息识别精度,提出基于图像增强的自然场景建筑工程标志信息逐级细化识别算法。采用基于极大灰度频数抑制结合动态直方图均衡算法,增强处理自然场景建筑工程标志图像,优化标志图像质量;以粗分类形式识别自然场景建筑工程标志图像类型后,由细分类形式识别自然场景建筑工程标志具体信息,实现逐级细化识别工程标志。经实验结果验证:所提方法增强后图像均方根误差与清晰度可满足图像增强应用需求,均方根误差
为了克服传统方法的建筑物重构方法点云数据匹配不理想问题,提出基于LiDAR点云的建筑物激光扫描重构方法。将LiDAR获取的点云数据做预处理,其中包括数据配准与坐标转换,提取出点云的特征点,根据该特征点获取建筑物的基本轮廓,重构建筑物模型;通过搜索最近点实施点云数据匹配,利用激光扫描完成对建筑物的重构。为验证研究方法的有效性,设计一次仿真。实验结果证明了研究方法下建筑物点云数据匹配精度高,重构效果理
针对工业机器人在给定路径点和运动学约束条件下寻求时间最优解,提出了一种改进的自适应遗传算法(Improved Adaptive Genetic Algorithm简称IAGA)。在改进的算法中设计了一组随种群适应度变化的非线性交叉和变异算子,使算法易跳出局部解,寻求全局最优解能力更强。在关节空间中通过五次非均匀B样条进行插值,以运行时间为优化目标和运动学为约束条件,采用改进的算法进行寻优。寻优结果
环境的复杂色彩严重影响了火灾现场救援过程中目标识别的准确性与及时性。为此提出一种面向三种色彩模式的基于欧式距离的火灾图像偏色度量化方法。首先通过三种情景模拟火灾现场,利用相机拍摄不同时空下的火灾现场场景,同时拍摄不同时空常规现场场景,形成火灾现场偏色检测图像库;其次面向RGB、HSV、YCbCr三种色彩模式提出欧式距离法火灾图像偏色度量化方法,同时针对火灾图像基于图像库进行偏色度检测;最后,利用M
在信用卡违约预测中,信用卡数据存在有标签获取难度大和分布不均衡的问题,使得经典的数据挖掘算法分类效果不佳。针对以上问题,将深度学习中的Transformer作为编码器对原始数据进行自编码,挖掘和建模用户数据的深层信息,将编码后的向量送入传统分类模型进行分类预测,从而判断该用户是否存在违约行为。在有标签数据规模较小时,提出算法的召回率相比于传统分类算法有了显著的提升,实验结果验证了算法的有效性。