【摘 要】
：
水塘采样算法构建了一个样本集合,很好地解决了对未知的数据元素等概率采样的问题.然而当数据量较大时,单机的水塘采样算法时间复杂度较高、机器负载加重.面向大数据采样的需求,提出了分布式水塘采样算法,通过增加采样比例的方法实现了多机器并行采样,而且从理论上证明了分布式水塘采样的等概率性.为处理对数据元素贡献度不同的数据集,将该算法改进为加权重分布式水塘采样算法.基于水塘采样,提出了一种适用于大数据的分布式采样算法,只依据线性时间和样本大小的空间,实验验证了该算法的可行性和有效性.
【机 构】
：
东北大学计算机科学与工程学院,辽宁沈阳110819;北京字节跳动科技有限公司,北京100086
论文部分内容阅读
水塘采样算法构建了一个样本集合,很好地解决了对未知的数据元素等概率采样的问题.然而当数据量较大时,单机的水塘采样算法时间复杂度较高、机器负载加重.面向大数据采样的需求,提出了分布式水塘采样算法,通过增加采样比例的方法实现了多机器并行采样,而且从理论上证明了分布式水塘采样的等概率性.为处理对数据元素贡献度不同的数据集,将该算法改进为加权重分布式水塘采样算法.基于水塘采样,提出了一种适用于大数据的分布式采样算法,只依据线性时间和样本大小的空间,实验验证了该算法的可行性和有效性.
其他文献
针对难以量化配电网规划方案的权重问题,提出IVIF-AHP法与改进CRITIC法结合的综合评估配电网规划方案的方法.首先,从配电网供电可靠性、经济性、供电质量及安全性四个方面建立综合评估指标体系;其次,通过三角模糊数确定决策者自身属性,引入评估结果相似度与决策者犹豫度共同决定加权因子矩阵,根据评估矩阵聚合的IVIFN计算指标熵权值.基于CRITIC法引入变异系数和冗余信息熵提高客观权重的客观性;最后,基于最小信息鉴别原理评估指标综合权值,同时计算准则层与方案层聚合的综合权重,利用聚合矩阵与准则层指标权重的
锂离子电池作为一种高效的储能元件,被广泛应用到生产生活的各个领域,其健康状态事关系统的安全性,受到越来越多的重视.基于粒子群优化算法,优化了具有注意力机制的双向长短期记忆网络,实现了锂离子电池的健康评估.首先,考虑到锂电池数据的时序特征,采取了一种双向长短期记忆网络提高预测效果,并且引入注意力机制解决信息过载问题,提高任务处理的效率和准确性.接着,利用粒子群优化算法优化网络模型结构的参数,获得高效的锂电池健康状态估计.最后,引入NASA锂离子电池数据集.实验结果验证了所提方法的有效性.
直流充电站变流器开关器件的开路故障严重影响电站安全运行.考虑充电站运行中不可避免存在着非高斯测量噪声,提出一种基于尺度空间理论的经验小波变换(EWT)和循环熵(CCE)的变流器IGBT开路故障检测方法.首先,分析非高斯噪声对变流器IGBT开路故障的影响;接着,利用改进EWT方法分解IGBT开路故障时交流侧电流信号,通过相关性分析筛选得到有意义的模态分量并重构故障信号;进而,计算其循环熵并映射到循环熵谱中,提取故障特征值.不同故障类型下的实验结果表明,该方法可有效降低非高斯噪声的影响,具有较好的诊断准确性与
针对复杂驾驶环境中智能车辆的路径跟踪问题,提出了一种新型自适应容错学习控制策略.为了便于路径跟踪控制器的设计,首先,创新地将车辆动力学转化为一种参数化形式.在此基础上,考虑到车辆动力系统的欠驱动特性,我们控制器设计中引入一种新型处理非方输入矩阵的方法.该方法不仅拓展了自适应学习算法的应用范围,同时也为处理一般非方动力系统提供了一种新思路.其次,针对行驶过程中车辆损耗或意外可能导致的故障,我们提出了一种容错学习机制.此外,利用Lyapunov理论给出了该控制方法的严格收敛性证明,并通过实例验证了该方法的有效
针对滚动轴承工作环境多变和样本不足导致故障诊断效果不佳的问题,提出一种多模态注意力卷积神经网络.该网络采用多个并行卷积层构建,并结合注意力机制,有效地提取了丰富的故障特征.然后提出了两种有限数据条件下的数据增强方法,解决了数据样本不足的问题.另外,将采集到的滚动轴承时域信号通过小波变换转换为时频图谱作为网络输入来提高数据质量,利用多种转频下故障数据对所提方法进行实验分析.结果 表明,该方法在变工况实验中准确率高,聚类效果明显,说明该方法能有效提高变工况下轴承故障诊断的精度,具有很好的应用价值.
城市开发建设逐渐从增量走向存量,国土空间规划对城市土地及规模容量提出了更高的要求.位于城市更新地段,以住宅为主、兼具高比例商业的“多元复合社区”项目出现的频率将会越来越高,这类项目需要平衡更多方面的利益才能取得良好的结果.笔者作为设计总负责人完成的雅居乐中匠金陵花园项目作为典型案例之一,在项目组共同努力下,最后得到了相关方高度认可,并取得了良好的经济效益和社会效益,具有较高的参考价值和借鉴意义.本文详细介绍了该项目前期的限制条件,过程中遇到的各种问题以及解决方法,希望可以通过该项目的介绍为有关从业人员提供
本文深入分析了钢筋检测试验要点,并详细论述了钢筋检测试验中的常见问题,包括试验样品信息源不足、抽样数量不符合规定要求、执行标准选择不当、试验方法应用不当和数据处理不当等问题,并从抽样方案制定、加强检验人员学习与培训、规范试验检验过程等方面提出了建议措施,以期为钢筋检测试验提供参考.
为了解决非线性过程质量相关故障检测问题,提出了一种名为关键变量自编码器-正交典型相关分析(KVAE-OCCA)的方法.首先,为了挑选出与质量变量具有相关性的过程变量,计算过程变量和质量变量的互信息,选择具有较大互信息的过程变量.然后,利用自编码器对选择出的过程变量进行无监督学习,实现特征提取和降维.其次,利用正交典型相关分析方法建立质量相关故障检测模型,通过对系数矩阵奇异值分解得到质量相关和无关投影矩阵,构建统计量并估计控制限.最后,将提出的方法在典型测试案例上进行测试,以说明所提方法的有效性.
为增强风光柴储多能互益微网运行稳定性、降低运行成本,并解决传统微网优化多目标决策随机性大、收敛慢及精度低等问题,提出一种双种群模糊粒子动态优化多能互益微网方法.首先从微网系统可靠性、经济运行性和环保性角度建立多能互益优化模型.然后依据模糊理论对多目标决策函数进行动态优化,避免人为设置权重因素,其中采用双种群惯性权重线性下降粒子分别针对传统粒子群算法中收敛速度慢及易陷入局部最优情况进行改进.算例对比表明,该方法在优化结果合理性及优化效率上均更优,为用户电力增容提供一种安全、经济、环保的策略,具有较好的工程实
为解决当下工程施工过程当中受其他因素影响,导致混凝土质量和强度降低的情况,本文对当下混凝土材料施工过程中的影响因素进行分析,提出通过选择优质水泥、骨料的方式,并合理使用外加剂,控制好其中的水分和掺合料的措施,最终提升混凝土质量,以期为相关工程建设提供一定的参考.