推荐系统挖掘长尾了吗？

今天突然想到一个一直没仔细思考过得问题：推荐系统是用来挖掘长尾的吗？

在项亮的《推荐系统实战》中有这么一段话：从物品的角度出发，推荐系统可以更好地发掘物品的长尾（long tail）。美国《连线》杂志主编Chris Anderson在2004年发表了“The Long Tail”一文并于2006年出版了《长尾理论》一书。该书指出，传统的80/20原则（80%的销售额来自于20%的热门品牌）在互联网的加入下会受到挑战。互联网条件下，由于货架成本极端低廉，电子商务网站往往能售出比传统零售店更多的商品。虽然这些商品绝大多数都不热门，但与传统零售业相比，这些不热门的商品数量极其庞大，因此这些长尾商品的总销售额将是一个不可小觑的数字，也许会超过热门商品（即主流商品）带来的销售额。主流商品往往代表了绝大多数用户的需求，而长尾商品往往代表了一小部分用户的个性化需求。因此，如果要通过发掘长尾提高销售额，就必须充分研究用户的兴趣，而这正是个性化推荐系统主要解决的问题。推荐系统通过发掘用户的行为，找到用户的个性化需求，从而将长尾商品准确地推荐给需要他的用户，帮助用户发现那些他们感兴趣但很难发现的商品。

个人总结下上面的一大段话：在互联网上，冷门的商品比实体零售店的商品多很多，所以就有可能造成长尾商品（冷门商品）的销售总额不可忽视，甚至于会超过热门商品的销售总额。因此，我们不能忽视长尾部分的商品，要挖掘长尾商品推荐给用户。

推荐系统常用的技术就是协同过滤技术，其核心思想就是找到用户的相似邻居，这些相似邻居中多数用户都喜欢某一物品的话，就将该物品推荐给该用户。这个过程中，推荐的物品仍然是用户的相似邻居中相对来说比较热门的物品。我们假设：冷门物品是流行度很低的物品，也就是说喜欢该物品的人很少。那么，如果该物品在用户的相似邻居中的流行度还是很低的话，该物品也不会被推荐给用户。所以，一个对于用户的总体来说是流行度很低的物品，如果其在一个小的用户圈中的流行度还是很低，那么该物品仍然无法被推荐给用户。

因此，就协同过滤技术来说，使用协同过滤技术的推荐系统，仍然无法挖掘那些真正冷门的物品（对总体用来说是冷门的，对于一个小的用户圈来说还是冷门的）。那些对于整体用户来说是冷门，但在一个小的用户圈子中却不是冷门的物品（本文称之为“假冷门”），协同过滤的推荐系统是可以推荐给用户的。可以用公式表示如下：

商品的销售量=用户群体*群体流行度

商品的销售量=用户总体*总体流行度

对于总体来说流行度很低的物品，一方面的影响因素是群体规模，一方面是物品在用户群体中的群体流行度。协同过滤是站在用户群体的角度，向用户推荐群体流行度高的物品。这时，（1）如果用户的群体很小，即使成功向用户推荐一个在群体内流行度很高的物品，所带来的价值对于总体销售额来说会很小。我们这么说的前提是：物品的价值不会很大，物品的单价不会是几百万、几千万。（2）如果用户的群体规模不小，那么群体流行度很高的物品的总量也不会太少，因为有用户群体这个基数摆在那是吧。

总的来说，协同过滤的推荐系统不能挖掘真正冷门的物品。一个群体流行度低的物品，仍然不会被推荐给用户。