星环科技作为一家专业的数据存储服务提供商,一直以来为证券、银行、政府等机构公司提供分布式大数据存储技术的支持,旗下一站式大数据平台(Transwarp Data Hub,以下简称TDH)集软件安装、运维于一身,同时提供了丰富的拓展功能。但是随着客户使用数据的增长以及使用场景的复杂化,单个数据仓库集群已经越来越难以满足客户的使用需求,部分客户为了减少数据迁移的成本,在不同地区都分别建立了大数据存储集群。在这种情况下,由于数据分散在不同的存储集群中,客户的数据查找成为了一个亟待解决的问题。本文基于客户实际使用场景中遇到的问题,详细分析了各类用户的使用需求,同时结合数据仓库当前的发展趋势,设计并实现了基于星环分布式计算平台(Inceptor)的数据仓库路由中间件(Inceptor-Gateway,以下简称Gateway)。Gateway中间件系统在大数据集群中位于客户端与数据仓库计算引擎之间,主要由客户端接收层、路由层以及发送层构成。用户通过客户端连接Gateway后便可同时与多个数据仓库建立连接,改变以往一次只能连接一个数据仓库的局面。用户通过提前配置的转发规则,便可以通过Gateway实现SQL请求智能转发、多节点负载均衡等功能。在多数据仓库的情景下做到数据结构对客户端透明,用户在查找数据时只需要专注于SQL语言的编写而不用关注数据的具体存放位置。同时为了进一步降低用户的使用成本,本文还基于Spring Boot设计了一个与Gateway协作的监控平台(DBAService),通过监控平台用户可以实时掌握系统运行状态以及转发详细,当SQL查询出现问题时可以通过该监控平台对出错节点进行快速定位,及时排查集群问题。目前Gateway已应用于公安、邮政以及多家银行证券机构的分布式存储集群中,在多数据仓库这类场景的集群构建及使用中发挥了重要作用。通过路由中间件Gateway的帮助,能极大地降低多数据仓库场景中用户的使用门槛,同时有利于构建更优的数据仓库结构,增加数据安全性。