论文部分内容阅读
【摘 要】当前我们正处在信息过载时代，推荐系统是解决该问题的很好方法，相比搜索引擎要求用户必须有明确的目标并提供搜索关键字，推荐引擎自动地从用户的历史行为中发现用户的喜好并为其进行推荐；基于协同过滤算法的推荐是当前最为成功和广泛使用的方法，本文介绍了协同过滤的定义、协同过滤的实施步骤，并将协同过滤推荐技术应用于在视频推荐网站，实验结果表明基于协同过滤的推荐在视频网站应用效果非常明显。
【关键词】信息过载 推荐系统 协同过滤 个性化
一、引言
目前电子商务系统已经被人们广泛的应用和接受，商品种类和数量快速增长，所以推荐系统就被广泛的应用起来，来帮助人们在最感兴趣的方便进行筛选，比如：书籍、文章、网页、电影、音乐、百货等。个性化推荐系统就是建立在海量数据挖掘的基础上，给客户提供一个完全个性化的决策和信息服务支持的只能平台。为了能够更好、更准确的为客户推荐， 研究者提出了多种推荐算法，以其多个优点成为大众眼里的推荐算法“No.1”，本文主要介绍协同过滤算法和实施步骤及其在视频网站的应用。
二、协同过滤
协同过滤（Collaborative Filtering）[2][3]也可叫做“协作型过滤”。CF算法是根据用户的行为与其他用户的行为来相互连通根据相关数据做一个详细的比较，找出最相似的地方，根据和它最相近的兴趣或者爱好，来判断和预测出该用户的兴趣或者爱好趋向，以辅助进行决策判定的一种算法。
三、实施步骤
要实现协同过滤，需要以下三个步骤：（一）收集用户偏好；（二）找到相似的用户或物品；（三）计算推荐。
下面详细介绍协同过滤算法的实施步骤：
1.收集用户偏好。收集用户偏好是基于用户的所有行为收集用户的偏好，这些行为包括普通的浏览、观看、搜索等行为，也包括用户显性的反馈信息，如收藏、购买、评分、评论等。针对不同应用场景可以对用户行为进行分组归类，对不同类型的行为进行加权处理，如用户的显性反馈行为权重一般高于隐性反馈，经过对用户的所有行为进行完整的加权后，这样就能得到所有客户的统一爱好趋向。最终得到了一个用户，偏好的二维矩阵，一维是用户列表，另一维是物品列表，值是用户对物品的偏好。
2.找到相似的用户或物品。当对所有的用户分析完并且得到其爱好以后，可以根据用户喜好计算相似用户和物品，然后对相似的用户进行一些相关的推荐，这就是最典型的CF的两个分支：基于用户的CF 和基于物品的CF。这两种方法都需要计算相似度，基于用户的CF需要计算用户间的相似度，基于物品的CF需要计算物品间的相似度。
3.相似度的计算。关于相似度的计算，通过计算两个向量的距离，距离越近相似度越大。在推荐的场景中，在用户-物品偏好的二维矩阵中，我们可以将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度，常用的相似度计算方法：（1）欧几里德距离；（2）皮尔逊相关系数；（3）Cosine 相似度；（4）Tanimoto 系數。
4.相似邻居的计算。介绍完相似度的计算方法，下面我们根据相似度找到用户- 物品的邻居，常用的挑选邻居的原则可以分为两类。固定数量的邻居：不论邻居的“远近”，只取最近的K个，作为其邻居。这种方法对于孤立点的计算效果不好，因为，要取固定个数的邻居，当它附近没有足够多比较相似的点，就被迫取一些不太相似的点，作为邻居，这样就影响了，邻居相似的程度。
基于相似度阈值的邻居：当物品与当前点之间的相似度大于指定的阈值时，将物品作为当前点的邻居，这种方法得到的邻居个数不确定，但相似度不会出现较大的误差。对孤立点能起到有很好的过滤。
5.计算推荐。在得到物品之间的相似度后，ItemCF 通过如下公式计算用户u对一个物品j的兴趣：
，表示用户喜欢的物品的集合，是和物品i最相似的K个物品的集合，是物品i和j的相似度，是用户对物品i的兴趣。从该公式可以看出，和用户历史上该兴趣的物品越相似的物品，越有可能在用户的推荐列表中获得较高的排名。
四、协同过滤在视频网站的应用
在专业的视频网站中，视频的数量远远小于用户的数量，且视频数量比较稳定。所以视频网站适合采用基于物品的协同过滤推荐。本文基于某视频网站电影频道所有用户的观影行为，构造用户视频的二维偏好矩阵，基于余弦相似度计算各个电影间的相似度，结合用户的最近观影记录进行综合推荐。基于该推荐系统对该网站的电影频道推荐模块进行了更新和升级，上线前后对推荐模块的点击率进行了持续跟踪，点击率=推荐模块的点击次数/推荐模块的曝光次数，对比系统上线前后2周的推荐效果，上线前2周的推荐模块的日均点击率为4.47%，上线后2周的日均点击率为9.84%，提升幅度达120%，基于实验结果可知，协同过滤的推荐机制非常适用于视频类网站，相比于基于内容的视频推荐机制推荐效果明显较好。实验数据对比如下图1.
五、小结
本文简要介绍了协同过滤推荐机制、协同过滤推荐系统的实现步骤，并将协同过滤算法应用于某专业视频网站，通过实验数据显示基于物品的协同过滤在视频网站中推荐效果非常明显，后续我们会扩大协同过滤的应用范围、关注协同过滤的冷启动问题，针对冷启动采用基于内容的推荐结果进行补充或者采用主编推荐内容对新物品进行混合推荐。
参考文献：
[1]亚马逊Amazon的个性化推荐原理，
[2] 马宏伟、张光卫 李鹏，协同过滤算法综述，小型微型计算机系统，2009年7月 第7期
[3] 王国霞，刘贺平， 个性化推荐系统综述[J]计算机工程与应用，2012.48（7）：P61-75.
【关键词】信息过载 推荐系统 协同过滤 个性化
一、引言
目前电子商务系统已经被人们广泛的应用和接受，商品种类和数量快速增长，所以推荐系统就被广泛的应用起来，来帮助人们在最感兴趣的方便进行筛选，比如：书籍、文章、网页、电影、音乐、百货等。个性化推荐系统就是建立在海量数据挖掘的基础上，给客户提供一个完全个性化的决策和信息服务支持的只能平台。为了能够更好、更准确的为客户推荐， 研究者提出了多种推荐算法，以其多个优点成为大众眼里的推荐算法“No.1”，本文主要介绍协同过滤算法和实施步骤及其在视频网站的应用。
二、协同过滤
协同过滤（Collaborative Filtering）[2][3]也可叫做“协作型过滤”。CF算法是根据用户的行为与其他用户的行为来相互连通根据相关数据做一个详细的比较，找出最相似的地方，根据和它最相近的兴趣或者爱好，来判断和预测出该用户的兴趣或者爱好趋向，以辅助进行决策判定的一种算法。
三、实施步骤
要实现协同过滤，需要以下三个步骤：（一）收集用户偏好；（二）找到相似的用户或物品；（三）计算推荐。
下面详细介绍协同过滤算法的实施步骤：
1.收集用户偏好。收集用户偏好是基于用户的所有行为收集用户的偏好，这些行为包括普通的浏览、观看、搜索等行为，也包括用户显性的反馈信息，如收藏、购买、评分、评论等。针对不同应用场景可以对用户行为进行分组归类，对不同类型的行为进行加权处理，如用户的显性反馈行为权重一般高于隐性反馈，经过对用户的所有行为进行完整的加权后，这样就能得到所有客户的统一爱好趋向。最终得到了一个用户，偏好的二维矩阵，一维是用户列表，另一维是物品列表，值是用户对物品的偏好。
2.找到相似的用户或物品。当对所有的用户分析完并且得到其爱好以后，可以根据用户喜好计算相似用户和物品，然后对相似的用户进行一些相关的推荐，这就是最典型的CF的两个分支：基于用户的CF 和基于物品的CF。这两种方法都需要计算相似度，基于用户的CF需要计算用户间的相似度，基于物品的CF需要计算物品间的相似度。
3.相似度的计算。关于相似度的计算，通过计算两个向量的距离，距离越近相似度越大。在推荐的场景中，在用户-物品偏好的二维矩阵中，我们可以将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度，常用的相似度计算方法：（1）欧几里德距离；（2）皮尔逊相关系数；（3）Cosine 相似度；（4）Tanimoto 系數。
4.相似邻居的计算。介绍完相似度的计算方法，下面我们根据相似度找到用户- 物品的邻居，常用的挑选邻居的原则可以分为两类。固定数量的邻居：不论邻居的“远近”，只取最近的K个，作为其邻居。这种方法对于孤立点的计算效果不好，因为，要取固定个数的邻居，当它附近没有足够多比较相似的点，就被迫取一些不太相似的点，作为邻居，这样就影响了，邻居相似的程度。
基于相似度阈值的邻居：当物品与当前点之间的相似度大于指定的阈值时，将物品作为当前点的邻居，这种方法得到的邻居个数不确定，但相似度不会出现较大的误差。对孤立点能起到有很好的过滤。
5.计算推荐。在得到物品之间的相似度后，ItemCF 通过如下公式计算用户u对一个物品j的兴趣：
，表示用户喜欢的物品的集合，是和物品i最相似的K个物品的集合，是物品i和j的相似度，是用户对物品i的兴趣。从该公式可以看出，和用户历史上该兴趣的物品越相似的物品，越有可能在用户的推荐列表中获得较高的排名。
四、协同过滤在视频网站的应用
在专业的视频网站中，视频的数量远远小于用户的数量，且视频数量比较稳定。所以视频网站适合采用基于物品的协同过滤推荐。本文基于某视频网站电影频道所有用户的观影行为，构造用户视频的二维偏好矩阵，基于余弦相似度计算各个电影间的相似度，结合用户的最近观影记录进行综合推荐。基于该推荐系统对该网站的电影频道推荐模块进行了更新和升级，上线前后对推荐模块的点击率进行了持续跟踪，点击率=推荐模块的点击次数/推荐模块的曝光次数，对比系统上线前后2周的推荐效果，上线前2周的推荐模块的日均点击率为4.47%，上线后2周的日均点击率为9.84%，提升幅度达120%，基于实验结果可知，协同过滤的推荐机制非常适用于视频类网站，相比于基于内容的视频推荐机制推荐效果明显较好。实验数据对比如下图1.
五、小结
本文简要介绍了协同过滤推荐机制、协同过滤推荐系统的实现步骤，并将协同过滤算法应用于某专业视频网站，通过实验数据显示基于物品的协同过滤在视频网站中推荐效果非常明显，后续我们会扩大协同过滤的应用范围、关注协同过滤的冷启动问题，针对冷启动采用基于内容的推荐结果进行补充或者采用主编推荐内容对新物品进行混合推荐。
参考文献：
[1]亚马逊Amazon的个性化推荐原理，
[2] 马宏伟、张光卫 李鹏，协同过滤算法综述，小型微型计算机系统，2009年7月 第7期
[3] 王国霞，刘贺平， 个性化推荐系统综述[J]计算机工程与应用，2012.48（7）：P61-75.