随着网络新时代的到来,各种智能终端的不断普及,网上购物正越来越成为现代人们主流的购物方式。在消费者进行网络购物的同时,也产生了海量的评论数据,而这些评论数据中蕴含着巨大的挖掘价值:对商品厂家来说,评论数据能够直观地反应出用户对商品特性的评价,能够根据用户的喜好调整产品特性,从而更好地发展自身商品;对电商平台来说,可以根据评论数据提取商品标签,提高用户的购物体验,还可以根据用户兴趣进行相关推荐;对用户自身来说,评论数据是用户了解商品特征的主要信息,用户可以参考评论数据选择自己想要的商品。对用户评论数据进行挖掘,提取出商品标签,可以广泛应用于商品推荐、个性化搜索等场景,有利于商品厂家分析产品数据,有利于提高用户的购物体验,有利于增加平台用户流量。因此,对用户评论数据挖掘进行研究,可以更加有效地提高商品标签的准确性和全面性,在现实生活中,具有十分巨大的价值和深远的意义。据此,本文提出了分布式爬虫下基于用户评论的商品标签提取系统。本文首先,针对海量的用户评论数据,搭建基于改进的布隆过滤器的分布式爬虫系统,对用户评论数据进行高效地抓取和存储。然后结合改进的TF-IDF算法和依存语法对用户评论数据进行特征词提取,提取出商品(对象词,评价词)的特征词对。最后对提取出的特征词对进行聚类和情感划分处理,最终形成商品属性标签和用户情感标签的综合标签。本文的主要创新如下:1、设计出基于改进的布隆过滤器的URL去重算法的分布式爬虫框架。通过增加布隆过滤器维度的方法来有效地降低误判率,提高分布式爬虫系统的效率。2、采用改进的TD-IDF算法+依存语法分析的方法对海量的用户评论进行特征词对提取。通过对IDF权重进行缓冲并加入离散度的方法对TF-IDF算法进行改进,并结合依存语法分析,提出一种对用户评论数据进行特征词提取的方法,该方法更适用于对评论数据的特征词提取。3、将筛选出的特征词向量化为计算机能够处理的表达形式,确定距离计算函数,设计出一种K-means+AP的层次化聚类模型,对特征词进行标签化处理。