【摘 要】
：
重复数据和相似数据的处理是数据清洗的一项重要内容.针对招投标项目公告数据集存在大量重复信息的情况,结合该数据集为中文字符集且内容组织结构相对固定等特点,分析编辑距离、余弦相似和Simhash相似三种相似度算法的执行效率和有效性,并利用增加权重值、词袋预处理、编码预处理和分段保存比较等方法对算法进行持续优化.经测试,选择优化后的编辑距离算法对招投标项目公告数据中的相似(重复)数据进行清洗.
论文部分内容阅读
重复数据和相似数据的处理是数据清洗的一项重要内容.针对招投标项目公告数据集存在大量重复信息的情况,结合该数据集为中文字符集且内容组织结构相对固定等特点,分析编辑距离、余弦相似和Simhash相似三种相似度算法的执行效率和有效性,并利用增加权重值、词袋预处理、编码预处理和分段保存比较等方法对算法进行持续优化.经测试,选择优化后的编辑距离算法对招投标项目公告数据中的相似(重复)数据进行清洗.
其他文献
为了解决物理化学实验教学的两个困境:物理化学实验原理抽象、实验需现学现用的仪器多,提出“雨课堂+翻转课堂”的物理化学实验微课教学式.在物理化学实验原理、仪器使用方法这两个学习困难处,设计制作微课.采用“雨课堂+翻转课堂”教学模式,物理化学实验课前将微课教学视频上传到雨课堂平台,将传统的“教师实验课堂讲解”内容作为学生的预习任务完成;课堂解决学生提出的物理化学实验中的问题和完成实验任务;课后及时总结.与传统物理化学实验教学比较,采用“雨课堂+翻转课堂”的实验微课教学,能解决物理化学实验的教学困境,提升学生的
轻骨料混凝土具有轻质高强、保温隔热性好等优点,但与普通混凝土相比脆性显著,掺入纤维和配置箍筋是改善其脆性特征的有效途径。目前,在轻骨料混凝土中使用较多的单掺纤维和混杂纤维分别为钢纤维和钢-聚丙烯纤维,轻骨料混凝土最显著的优势是“轻”,但钢纤维会增加自重,采用轻质高弹模的碳纤维与聚丙烯纤维混掺至轻骨料混凝土中,是一种保持其优点、改善其性能的方法,且其在箍筋约束下的应力-应变关系模型有待研究。因此,本
移动终端、智能感应终端设备的快速增加,以及云计算、物联网、人工智能等新兴信息技术的应用普及,使得全球数据总量快速增长,同时,用户对数据应用的实时性要求也在不断提升.海量非结构化、高时效性的数据对存储技术提出了新的要求,大容量、高速读写、高可靠的存储器件以及面向海量数据应用场景的存储架构、存储管理技术成为存储产业研究的热点.本文对数字新时代下海量数据存储需求进行了分析,对面向海量数据的存储技术的发展脉络进行了总结,并探讨了云存储架构及其关键技术.
党的十八大以来明确提出将立德树人作为普通高校教育的一项根本任务.在新工科背景下,对于制药工程专业中药化学课程,充分挖掘该项课程的思政资源,融入中医药文化及工匠精神等多种思政要素,具有专业课堂教学与德育培训的双重意义.通过运用案例设计、分组讨论、实践教学等方法,并紧扣地域特色,开展中药化学课程思政教育,将社会主义核心价值观与中国传统医药文化和现代科学思维有机融合,从而实现全员、全程、全方位育人.
率先建成数字化指挥中心rn为在5G新基建及数字化转型机遇下打造领先优势,形成发展新动能,助推地方经济高质量发展,黑龙江联通发挥自身云网一体化优势,构建了“五位一体”的创新发展和支撑体系,在全省率先建成数字化指挥中心并上线运营.由此,实现了生产经营数字化、智能化、可视化,可实时透视生产运营问题,及时预警、提醒到人,推动问题快速处理,加速并领跑全省数字化转型.
电动汽车具有绿色环保、节约能源的特点,近年来在世界范围内得到认可,并在各个国家得到大力推广。随着电动汽车行业在我国蓬勃发展,电动汽车的“充电难”问题逐渐显现,已经逐步成为限制电动汽车行业发展的瓶颈。电动汽车充电时间长,城市充电桩数量不足且分布不均衡是造成“充电难”问题的主要原因。如何解决电动汽车的充电问题,对于电动汽车行业的发展有着重要的意义。针对电动汽车的充电难题,本文提出一种电动汽车充电调度算
随着新一代信息技术的应用,制造业正逐渐向网络化和智能化生产发展,加工模式也由大规模集中控制向着分布式自主协作逐步转变,同时车间生产物流过程日益复杂化,服务型制造理念以及云制造、工业产品服务系统、社群化制造等为主要内容的新型制造模式,均深刻影响着制造业的转型升级。为了适应这种变化,本文以智能车间的生产物流服务过程为研究对象,对自组织运行原理与运行状态评价等问题进行了研究。首先,分析了生产过程的物流服
矿山革命rn首先,我们将目光聚焦到龙煤集团鸡西东山煤矿.rn东山矿于1954年在前苏联援助下开发建设,主要生产气煤和焦煤,用于冶炼金属.虽然至今已开采67年,但东山矿华发未生,煤炭年产量241万吨,年创利6.5亿元,是黑龙江龙煤集团创效能力最强的煤矿之一.但矿山运营存在痛点:首先是井下工作环境恶劣,有瓦斯、煤尘、冒顶、水害危险,严重危及人的生命.其次是井下工作时间长、强度大(24小时3班倒不停歇);第三是井下采煤、运输、掘进、排水、通风、机电等六大通信系统陆续建造、独立组网,制式众多,七国八制,维护复杂、
工业药剂学作为制药工程专业的一门必修专业课程,能够培养学生理论知识与实践相结合的能力,在制药工程人才培养中占据重要地位.课程思政已经成为高校实现“立德树人”根本任务的重要途径,是目前高校教学改革的一项重要内容.本文结合工业药剂学课程特点,探寻课程思政教育在工业药剂学中的开展途径,挖掘其与课程的融合点,使“立德树人”贯穿在工业药剂学课程教学全过程中,落实教书育人的内涵.
本文从教师角色转变、研究型教学与讲授型教学之间的关系、过程导向与结果导向的协同、课堂秩序管理四个方面,对研究型教学在化工专业写作课程应用过程中体现出的典型问题进行初步探讨,并提出相应的解决方案与案例,为研究型教学在其他化工专业课程中的正确应用提供有益的参考.