面向数据集成的非文本DSL与SQL互译系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xmingfu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着互联网行业的蓬勃发展,互联网数据与日俱增,大数据时代已经到来;数据集成领域需要有更加高效和高质量的方法来应对大数据时代带来的挑战;为了提高工作效率与质量,新的工作形式与技术的运用方式不断产生。在数据集成方面,将常规工作以可视化流图形式进行已经成为主旋律,比如通过执行由可视化数据流图翻译成的目标程序语言代码来完成数据处理任务。这方面的工作依赖翻译器完成。本文经过对数据集成领域相关初级工作内容的总结,引用领域特定语言(Domain Specific Language,简写DSL)的相关理念抽象出一套适用于该领域的可视化模型,即面向数据集成的非文本DSL(Data Integration’s no-text DSL或Data Integration’s Graphic DSL,简称DIG-DSL),并使用WEB前端相关技术实现,可以再浏览器端展示。本文所述系统是腾讯科技(深圳)有限公司(以下简称腾讯)数据集成服务中心(Data Integration Services House,以下简称Dish)的异构语言互译子系统(以下简称互译系统),是基于B/S架构实现的翻译器,与其他该领域翻译器一样,用来完成可视化流图向程序语言代码的翻译工作,在本文具体是将在浏览器端展示的DIG-DSL翻译为SQL代码;除此之外,互译系统还具有将SQL反向翻译为DIG-DSL的功能,这一功能不仅大大提高了互译系统可用性也使数据集成工作方式更加灵活和形式更加丰富。通过该互译系统,用户可以使用DIG-DSL进行数据处理流程的设计,再经过翻译直接得到等价SQL代码。因为DIG-DSL可以通过互译系统提供的DIG-DSL支持工具辅助用户进行流程设计,所以进行数据处理的工作方式从过去编写逻辑复杂的SQL代码变成操作简单的绘图;用户可以将精力集中在数据处理逻辑而不是实现上。将SQL逆向产生DIG-DSL的功能可以帮助用户将过去工作中积累的SQL转换成数据流图的形式;这样可以有效的复用过去工作成果,也提高了互译系统的可用性和灵活性。整体看,互译系统大大提高了数据集成方面的工作效率和降低工作成本。
其他文献
【正】 世界有六十多个国家生产棉花,但棉花产量最大的主要集中在美国、苏联、中国/印度、巴基斯坦、埃及、巴西、土耳其和墨西哥。这些国家的棉花产量约占世界棉花总产量的8
"白根有劲,黄根保命,黑根有病,灰根要命。"植物都是因根生而生,因根亡而亡。健康的根系是农作物健康生长的关键。根系固着在土壤中生长,为植物获取水分和养分,并与根际土壤和
【正】 荷兰素以花卉著称,被誉为“鲜花之园”、“欧洲花园”。当你踏进荷兰国土,一眼就可看到,鲜花绿草映织在纵横交错的河流两岸;一望无际的田野,就好像一幅异彩纷呈的巨型
整合优势资源,打造优质服务,使农民更便捷、农业更高效是很多农资企业的发展目标。山东省烟台市首政农业发展有限公司正是这样的代表。2020年1月4日至5日首政农业在烟台市召
实现新突破,浙农集团颁发突出贡献奖1月15日,浙农控股集团召开2019年度总结表彰会。浙江省供销合作社党委委员、理事会副主任、浙江省兴合集团副董事长童日晖到会祝贺。浙江
采用直流磁控溅射法在溅射气压为0.1~1.0Pa下制备了金属Mo膜。用扫描电子显微镜(SEM)和原子力显微镜(AFM)对单层Mo膜的表面、断面形貌和粗糙度进行了分析与表征;用X射线衍射(
【正】 美国的农业目前正处于三十年代以来的萧条之中,六百多万农民被夹在粮食价格下跌和生产成本高涨的双重壁垒之间,处境十分困难。 去年美国的粮食产量为3.33亿吨,首次突
【正】 从六十年代初开始,世界各地气候异常的趋势逐渐增强。进入七十年代后,灾情重,范围广的气候异常现象出现更为频繁,干旱、洪涝、低温、霜冻等气象灾害接二连三地在世界
【正】 据联合国粮农组织估计,目前,全世界的森林有一半已经消失。拉丁美洲的热带森林被伐掉37%,中美洲的森林被伐掉66%,东南亚为38%,中非为52%。印度的泛滥平原之所以不断扩大,
福建三钢闽光股份有限公司炼钢厂板坯连铸机添加结晶器保护渣的操作均为手动添加,但人工推送保护渣受人为因素影响较大,主要表现在添加的及时性、稳定性及均匀性等方面不够规