5G网络和5G手机的普及,互联网移动生态伴随着硬件和网络的发展在蓬勃发展。用户通过手机的媒介,每天以增量的方式,产生EB级别的数据,这就意味着需要处理大量的数据。在大数据的时代背景下,企业对于自己积累的历史数据,网络上可以利用的数据,进行挖掘和利用,也变得十分重要,利用这些数据给企业带来商业价值。百度的竞品观察室（SCOP-Scop’s Competitor Observation Platform）平台应运而生,平台定位为移动生态最权威的综合性竞品分析平台,提供10万+APP数据、3万+研究报告、150家公司财报及近百家媒体科技资讯等竞品分析服务。本论文是本人在百度实习期间参与的工程内容,为了实现平台APP一级、二级分类标准更替时,自动更新两份数据源的APP分类信息。首先进行基础数据建设,然后实现不同源数据交叉验证,最后利用前两部分内容实现APP自动分类。利用可利用的数据,针对问题提出相应解决方案。主要包含以下内容:（1）基于分类模型的APP信息融合;（2）基于感知哈希和SIFT算法多源分类APP关联;（3）基于集成学习的APP自动分类;（4）系统平台功能应用。具体针对措施如下:（1）针对APP的信息融合,本文主要利用仅有的APP名称、APP安装包名、是否系统应用和样本数四个字段,构建APP名称是否一致、是否存在包含关系,安装包名整体和分段的文本相似度、编辑距离,安装包中词的IDF值等作为数据特征。本文提出利用RF和LR模型的特性,构建RF+LR融合分类模型,进行两两APP判断,判断其是否是同一个APP,得到所有是同一个APP的分类结果,最后利用APP样本数的大小排序,得到APP主-子包的格式。通过APP信息汇总,得到一个APP的所有安装包信息,构成了系统平台的最基础数据。（2）针对多源分类APP关联,利用第一部分得到的APP安装包数据,通过应用宝官方网站,使用爬虫技术获取APP图片信息。目前平台外购一份第三方数据（questmobile--https://www.questmobile.com.cn/）,包含APP的详细数据（DAU、WAU等）,对数据进行展示时,需要对两份数据源的数据进行交叉验证。本论文主要利用APP的图标信息,判断两份数据源的APP是否是同一个APP。本文利用感知哈希算法和尺度不变特征转换（SIFT）算法,前者主要提取图片包含的特征,生成一组“指纹”,然后对不同图片的“指纹”,进行比较得到图片的相似度。当图片出现微小变更时,感知哈希算法则无法进行判断,本文利用SIFT算法,构建图片的尺度空间,获取空间中的极值点,定位图片中的关键点并获取方向参数信息,图片关键点的描述,从而提取出图片的特征信息。通过提取的特征点信息匹配特征点个数,得到两张图片相似程度。本文将感知哈希算法和SIFT算法结果融合到一起,进行判断不同数据源APP的图标是否是同一个APP。根据已有数据验证,有着较为不错的结果,同时可以利用企业自有数据进行APP分类后,同步更新外购第三方数据APP的分类。（3）针对APP自动分类,本文利用APP名称、APP安装包名以及通过爬虫获取到的APP应用描述信息,对这三部分特征分别进行分词和提取TF-IDF特征,然后利用bagging集成的方式,构建集成学习模型,预测该APP的一级和二级分类信息。针对应用描述信息TF-IDF特征,本论文利用线性核SVM模型和两层隐层神经网络模型构建两个弱分类器,对于应用名TF-IDF融合描述信息特征,利用两层隐层神经网络构建一个弱分类器,最后我们利用这三个弱分类器利用bagging的思想,加权得到最终的预测结果。目前系统上有一级分类7个,二级分类53个,通过上述模型的预测结果,我们得到一级分类的准确率有0.940,二级分类的准确率有0.898。达到了不错的模型效果,极大的减少了人工一一标注的工作量。（4）针对平台功能应用,本文主要利用Yii后端框架、VUE前端框架和Echart组件将前三部分实验结果结合部门其他数据进行竞品观察室平台的数据展示,从而服务企业。本文通过基于厂商、安装应用市场分发的安装包,得到汇总的APP信息,从而可以得到平台的完整指标数据。避免了因为安装包不同,导致遗漏某个厂商安装包下的指标数据。在和平台外购questmobile数据进行数据交叉验证时,相互参考,避免出现数据波动,无法判别数据的可用性。有了前两部分数据后,我们在平台上对每个APP分类通过集成学习的方法进行自动分类,减少人工成分。在整个实验的过程中,为了保证算法的可行性和稳定性,通过已有数据和爬虫数据,进行多批次的实验,大量的算法尝试。实验结果表明,本文的算法模型具有较好的效果,且本论文的所有内容已经全部上线竞品观察室平台,服务于百度企业。