欢迎大家关注个人网站www.felixzhao.cn

Recommender-System论文、学习资料以及业界分享

推荐系统（Recommender System）是机器学习应用较为成熟的方向之一，在工业界中，推荐系统也是大数据领域成功的应用之一。在一个较为完整的推荐系统中，不仅包含大家熟知的召回和排序两个阶段的常用算法之外，还会涉及到内容理解的部分的相关算法。除了算法之外，还涉及到大数据相关的处理技术以及工程实践。在实际的推荐系统中，通常与搜索中使用的技术互相借鉴，如下整理和总结了搜推中的一些核心技术，主要包含如下的几个部分： - 推荐系统的概述及其技术架构 - 召回排序算法 - 内容理解 - 架构工程实践 - 工业界解决方案

(以下内容会持续更新)

1. 推荐系统的概述及其技术架构

• [2005]. Toward the Next Generation of Recommender Systems A Survey of the State-of-the-Art and Possible Extensions

  • 简介：据说是推荐系统的必读文章，2005年的state-of-the-art的推荐综述，按照content-based, CF, Hybrid的分类方法进行组织，并介绍了推荐引擎设计时需要关注的特性指标，内容非常全。

• [2010]. The YouTube video recommendation system

  • 简介：2010年的YouTube的推荐系统的文章，文章中还没有涉及到高大上的算法，但是在文章中，值得我们借鉴的是对推荐系统的理解，包括产品的理念，数据的处理，系统的设计，是一篇值得学习的实践性的文章，建议认真研读。

• Netflix公布个性化和推荐系统架构

  • 简介：介绍在Netflix中的推荐系统的技术架构，对于构建工业级的推荐系统具有很重要的意义。

• Overview of Recommender Algorithms – Part 1

• Overview of Recommender Algorithms – Part 2

• Recommender Systems in Netflix

• 推荐引擎初探

• 深度学习在推荐领域的应用

• [2017]. Deep Learning based Recommender System : A Survey and New Perspectives

• [2017]. Use of Deep Learning in Modern Recommendation System : A Summary of Recent Works

• [2020]. 从零开始了解推荐系统全貌

  • 简介：介绍了推荐系统的多个方面，包括用户画像，召回排序算法及策略，比较全面，适合初学者了解推荐系统的全貌
  • 推荐指数：* * *

2. 召回排序算法

• [2000]. Application of Dimensionality Reduction in Recommender System -- A Case Study
• [2003]. Amazon.com recommendations:Item-to-item collaborative filtering
  • 简介：经典的亚马逊item-based算法的文章
• [2007]. Predicting clicks: estimating the click-through rate for new ads
  • 简介：LR算法应用于CTR问题
  • 推荐指数：* * * * *
• [2010]. Factorization Machines
  • 简介：FM算法在CTR中的应用
  • 推荐指数：* * * * *
• [2010]. Fast Context-aware Recommendations with Factorization Machines
• [2013]. Learning deep structured semantic models for web search using clickthrough data
  • 简介：本文提出了DSSM模型，在原始论文中，最初是用于在搜索中计算用于是否点击的，现通常被应用在推荐中的相似性召回
  • 推荐指数：* * * * *
  • 阅读笔记：深度语义模型DSSM
• [2013]. Ad Click Prediction: a View from the Trenches
  • 简介：针对CTR预估中的大规模计算问题，提出FTRL在线优化算法，算法的理论性较强，同时是非常适合实际落地的方案
  • 推荐指数：* * * * *
• [2014]. Practical lessons from predicting clicks on ads at facebook
  • 简介：经典的GBDT+LR的解决方案，用于CTR预估，GBDT用于特征的处理，适合工业界落地的实践方案
  • 推荐指数：* * * * *
• [2016]. Deep Neural Networks for YouTube Recommendations
  • 简介：经典的深度学习方案在YouTube上的实践，同时包含深度学习在召回和排序过程中的应用，非常值得学习
  • 推荐指数：* * * * *
• [2016]. Wide & Deep Learning for Recommender Systems
  • 简介：经典的Wide & Deep网络结构，综合了记忆和泛化的能力，wide侧偏重记忆，deep侧偏重泛化；同时是一种适合工业界落地的深度学习方案
  • 推荐指数：* * * * *
• [2016]. Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features
• [2016]. Product-based Neural Networks for User Response Prediction
  • 简介：为解决DNN不能有效处理高维特征，且方便处理交叉特征，文章中提出PNN网络结构，利用embedding层处理高维特征，增加product层处理特征交叉
  • 推荐指数：* * * * *
• [2017]. DeepFM : A Factorization-Machine based Neural Network for CTR Prediction
  • 简介：DeepFM在Wide&Deep的基础上引入了交叉特征，使得模型能够更好的学习到组合特征
  • 推荐指数：* * * * *
• [2017]. Deep & Cross Network for Ad Click Predictions
  • 简介：
• [2017]. Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction
• [2018]. xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems
• [2018]. Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba
  • 简介：阿里提出的基于Graph Embedding的item的Embedding方案，相比传统的node2vec，通过增加side information解决冷启动的问题
  • 推荐指数：* * * *
  • 阅读笔记：基于Graph Embedding的GES和EGES
• [2018]. Real-time Personalization using Embeddings for Search Ranking at Airbnb
• [2018]. Deep Interest Network for Click-Through Rate Prediction
• [2018]. Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate
  • 简介：为解决在CVR建模过程中的样本选择以及数据稀疏问题，提出ESMM（Entire Space Multi-task Model）算法，通过在全空间上直接对CVR建模，以及利用transfer learning的策略进行特征表示
  • 推荐指数：* * * * *
• [2018]. Learning Tree-based Deep Model for Recommender Systems
  • 简介：基于向量内积的召回方式计算量较大，为解决计算量的问题，文中提出TDM模型，用树模型构建用户兴趣
  • 推荐指数：* * * *
• [2019]. SDM:Sequential Deep Matching Model for Online Large-scale Recommender System
  • 简介：分别对用户长期和短期兴趣建模，学习到用户的长期兴趣和短期兴趣
  • 推荐指数：* * * *
  • 阅读笔记：序列深度匹配SDM
• [2019]. Recommending What Video to Watch Next: A Multitask Ranking System
• [2019]. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall
• [2019]. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba
  • 简介：利用Transformer对用户行为序列建模
  • 推荐指数：* * * *
  • 阅读笔记：Transformer对用户行为序列建模算法BST
• [2019]. Real-time Attention Based Look-alike Model for Recommender System
  • 简介：实时Look-alike 算法在微信看一看中的应用
• [2019]. Deep Interest Evolution Network for Click-Through Rate Prediction
• [2019]. Deep Learning Recommendation Model for Personalization and Recommendation Systems
  • 简介：Facebook关于深度学习在推荐系统中落地的文章，文中提出DLRM模型，模型上重点在稀疏特征和稠密特征的处理上，同时对于如何在实践中落地提出了解决的方案
  • 推荐指数：* * * * *
• [2019]. Recommending What Video to Watch Next: A Multitask Ranking System
  • 简介：多目标优化是推荐系统中一个重要的研究方向，文章为解决多目标提出Multi-gate Mixture-of-Experts，以及为解决选择偏差的问题，提出对应的解决方案
  • 推荐指数：* * * * *
• [2019]. Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction
• [2019]. Deep Session Interest Network for Click-Through Rate Prediction
• [2020]. Controllable Multi-Interest Framework for Recommendation
• [2020]. Beyond Lexical: A Semantic Retrieval Framework for Textual SearchEngine
  • 简介：知乎关于向量召回文章，主要用于长尾的query
• [2020]. Towards Personalized and Semantic Retrieval: An End-to-EndSolution for E-commerce Search via Embedding Learning
  • 简介：京东电商搜索关于个性化语义召回的文章，提出DPSR模型，用于解决两个方面的问题，第一是语义相关但非词匹配的召回问题，第二是个性化的召回
• [2020]. Deep Retrieval: An End-to-End Learnable Structure Model for Large-Scale Recommendations

3. 内容理解

• [2014]. Convolutional Neural Networks for Sentence Classification
  • 简介：CNN模型解决文本分类的问题
  • 推荐指数：* * * *
  • 阅读笔记：CNN在文本建模中的应用TextCNN
• [2016]. Bag of Tricks for Efficient Text Classification
  • 简介：文本分类工具FastText的文章，FastText在当前的文本分类任务中依旧是很好的工具
  • 推荐指数：* * * *
  • 阅读笔记：文本分类fastText算法解析
• [2017]. Attention Is All You Need
  • 简介：Attention的经典文章
  • 推荐指数：* * * * *

4. 架构工程实践

• [2020]. 为什么微信推荐这么快？

5. 工业界解决方案

• [2017]. 【美团】旅游推荐系统的演进

• [2017]. 【美团】深度学习在美团点评推荐平台排序中的运用

• 【美团】美团“猜你喜欢”深度学习排序模型实践

• 【携程】推荐系统中基于深度学习的混合协同过滤模型

• [2019]. 深度召回模型在QQ看点推荐中的应用实践

  • 简介：介绍DeepMatch方案在QQ看点上的应用
  • 推荐指数：* * *

• [2020]. Embedding在腾讯应用宝的推荐实践

​