随着互联网技术的不断进步,整个社会的数据量越来越大,在大数据的环境下,用户对获取自己想要的信息的方式也提出了更高的要求,目前用户获取自己想要的信息的主要方式是采用搜索引擎,搜索引擎确实可以帮助用户去查询用户想要的信息,但是如果说能有一个系统可以自动的给用户提供其想要的信息,那么则可以很大程度上方便用户,推荐引擎就具有这样的功能。本文通过构建一个基于用户画像的推荐引擎来对用户进行推荐,基于用户画像给用户推荐的商品是符合用户的爱好的,但是为了推荐结果不至于单一,还要考虑新颖性的问题,因此本文还加入了协同过滤算法,其需要计算用户或者物品的相似度作为推荐的依据,通过交叉计算可以推荐出对于用户来讲比较新颖的商品。本文在实践的过程中,经过调研了解到生产环境的推荐系统都是由实时和离线两部分组成,实时部分采用Spark Streaming和Kafka结合的技术,Kafka从应用上实时获取到用户操作的信息,然后交给Spark Streaming做过滤,最后交给推荐引擎获取推荐结果。离线部分采用Mahout技术,Mahout内置了协同过滤算法,可以离线计算用户和用户的相似度及用户和物品的相似度,这些计算耗时很大,不适合在线计算,因此采用离线。用户画像数据也需要离线计算并周期性更新,保证推荐结果能够根据用户兴趣的改变而改变。整个案例在实施过程中,数据存储采用了Mysql、Redis和Hbase等存储介质。