电子商务从提出至今,其各方面的技术与模式不断地得到完善。随着传统电商的发展,电商自营商品的发展会慢慢的被物流、人力资源和渠道等多种条件所限制。而不管是为了抢占分类体系的电商市场还是扩张销售品类,越来越多的电商开始在自营商品的基础上开放市场给一些在网上销售较为不足的中小型销售商。通过这些中小型销售商的渠道与商品的品类,传统电商可以快速的丰富自身的商品数量与品类数量,提高自身的市场竞争力。因此,对于传统的大电商来说,自身经营的电商网站慢慢的开始向平台化转变。而在平台化的过程中难免会面对大数据量的存储以及对这些数据集进行及时更新的问题。面对这样的局面与形式,我们迫切需要一个大规模电商产品存储体系,以支持不同电商平台投放商品的格式需求,并同时能及时对大规模产品进行更新维护。在此基础上我们提出了产品库系统的构建,采用分布式数据库提供可扩展的数据存储模式,并通过分布式可扩展实现来对这些数据进行及时更新,以使得不同电商平台从以投放流程为中心转向以产品为中心,实现海量产品的信息存储、投放、管理和更新,进行不同商业模式间的渗透,成为统一的数据中心和接口标准。产品库系统将可以解决海量产品信息的及时同步更新,作为不同电商平台的公共入口,通过接口提供标准化的产品数据,降低大电商、实体卖家在不同电商平台间的投放门槛,适配通用的接口标准减少其二次开发成本。产品库系统作为统一的产品信息平台,将为商品投放不同匹配模式的整合以及效果优化提供基础,以及为不同电商平台的整体解决方案(展示类、效果类等)提供统一的产品管理平台。我们设计的产品库系统将通过Web系统,存储系统,检索服务三个方面来进行搭建。系统整体主要采用JAVA语言进行开发。任意用户都可以通过web界面上传商品索引文件(Feed)地址到商品库。后台更新程序根据用户设定的更新频率定期更新Feed文件提供的商品。最后再由检索服务对下游产品线提供产品检索服务。我们的产品存储系统将采用Mysql数据库进行分布式存储,预计可存储的商品量将在千万级别。对于不同商家,产品量级将存在巨大差异,因此我们的系统充分考虑到了这点,并且数据库存储设计将采用sharding模式,大商家可能会使用多个sharding库,而多个小商家可能公用一个sharding车。对于Web端我们将通过成熟的struts, spring和mybatis三层框架进行设计,以完成用户权限管理,用户注册以及Feed相关管理等功能。产品库的检索服务通过CXF提供对外Webservic方问入口,通过对所有分库的商品建立索引表IndexHelper进行快速索引检索。实践证明我们的系统具有很强的可扩展性以及稳定性,较好地解决了海量数据的处理