CrowdOLA: Online Aggregation on Duplicate Data Powered by Crowdsourcing

来源 :计算机科学技术学报(英文版) | 被引量 : 0次 | 上传用户:reddhong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Recently there is an increasing need for interactive human-driven analysis on large volumes of data.Online aggregation (OLA),which provides a quick sketch of massive data before a long wait of the final accurate query result,has drawn significant research attention.However,the direct processing of OLA on duplicate data will lead to incorrect query answers,since sampling from duplicate records leads to an over representation of the duplicate data in the sample.This violates the prerequisite of uniform distributions in most statistical theories.In this paper,we propose CrowdOLA,a novel framework for integrating online aggregation processing with deduplication.Instead of cleaning the whole dataset,CrowdOLA retrieves block-level samples continuously from the dataset,and employs a crowd-based entity resolution approach to detect duplicates in the sample in a pay-as-you-go fashion.After cleaning the sample,an unbiased estimator is provided to address the error bias that is introduced by the duplication.We evaluate CrowdOLA on both real-world and synthetic workloads.Experimental results show that CrowdOLA provides a good balance between efficiency and accuracy.
其他文献
期刊
目的 从病理角度认识支气管血管切迹征 ,探讨多平面重建 (MPR)对该征检出的作用。方法 ①观察病理证实的周围型小肺癌 91例 ,良性结节 5 5例。以及 9例周围型小肺癌 ,2例良
AIM:To evaluate the prophylactic properties of integrin CD18-βA peptide in a murine model of abdominal polymicrobial peritonitis and sepsis.METHODS:Bacterial s
目的了解新疆哈萨克族中小学生2005—2010年身体形态变化情况及其原因,为提高哈萨克族中小学生健康水平提供依据。方法利用2005年和2010年新疆学生体质调研资料,对7~18岁哈萨
针对当前森林资源数据二类续档存在的问题,在对永安市大坑采育场大坑工区进行小班实地调查的基础上,以2003年初二类调查小班主要调查因子数据与1996年二类调查续档至2002年底
走科技创新之路,为水行业发展和人才培养服务,是《净水技术》杂志的发展愿景。以创新驱动为宗旨,激励原创性论文的发表、为创新成果提供交流和推广的平台、为创新科技企业提
1 故障现象透视时X线穿透力不足 ,荧光屏亮度暗淡 ,增大毫安后 ,反而更暗。摄影时底片效果很差。2 故障分析拆下上、下球管 ,同时打开控制台 ,开机检查上、下球管灯丝均能
日前,山西省在已整合的“多证合一”的基础上,再将14项涉企证照事项整合到营业执照中,实行“三十证合一”,真正做到信息多跑路、群众少跑腿。  中国(重庆)自由贸易试验区151项改革试点任务已落地实施122项,营商环境持续优化。  近年来,河北省魏县实现纳税人办税电子化、网络化和智能化,优化了市场营商环境。  至2018年9月底,全国实有市场主体达1.06亿户,日均新设企业1.84万户;1-9月,全国
期刊
1.依托企业兴办农场 和龙市共有众鑫米业、艾利特米业等省、州级农业产业化龙头企业28家.在市政府的指导和扶持下,分别成立了延边平岗米业农场有限公司、东城镇淳哲有机大米
AIM: To retrospectively analyze the fields of application, diagnostic yields and findings of OMOM capsule endoscopy in Chinese patients. METHODS: A database inc