目前,互联网数据正在快速增加并将持续增长,这使得大规模数据的提取分析处理成为企业关注的热点问题。在没有自助数据提取工具且业务量激增的情况下,时间和人力成本成为了业务拓展的限制因素。因此,设计高效的自助数据提取系统对企业的发展是至关重要的。本文采用Hive作为数据仓库解决方案。然而,在海量数据的并行处理过程中,关联查询的连接操作产生的数据网络传输代价成为了性能瓶颈。因此,改善Hive中的关联查询效率对于提高大数据平台的自助数据提取系统的性能具有重要作用。本文从用户的角度提出了一种提高Hive中关联查询效率的创新方法,即“学习查询”架构。用户仅需在可视化操作界面上进行配置,“学习查询”架构即可生成最佳查询计划。本文主要的研究内容和研究成果如下:1)设计查询开销预测模型进行查询执行时间的预测,预测结果作为一项参考标准,用于“学习查询”架构进行最优查询计划的选择和长时间查询任务的及时调整。本文采用深度学习技术LSTM进行查询开销的预测,基于前人工作进行改进,设计了更适用于大数据环境下Hive查询的开销预测模型,并通过实验分析比较,验证了改进模型的有效性。2)在“学习查询”架构中,本文提出了一种基于图的SQL生成模型,用于将用户的配置数据转换为基于Hive的查询计划,并结合查询开销预测模型选取最优的查询计划。通过实验,验证了本文提出的“学习查询”架构的有效性,能显著提高Hive中的关联查询效率。3)在“学习查询”架构的基础上,设计并实现了完善的自助数据提取系统。系统根据用户的配置数据自动生成定时数据提取任务。系统还提供了数据权限管理、日志监控、任务管理、审核管理以及临时表管理等其他功能模块,以实现数据提取任务的自动化管理。