ListNet Model
LTR方法可以分为 point-wise、pair-wise、list-wise 三类, ListNet 算法就是 list-wise 方法的一种.
ListWise 方法上标表示训练集中 query 的序号, 下标表示一个特定query对应的doc 的序号:
$Q = \{q^{(1)}, q
...
牛顿法
Posted on
|
In
Mathematics
原理牛顿法收敛速度快，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂，可通过拟牛顿法简化计算过程。
因为牛顿法是通过泰勒展开推导出来的。
先看泰勒展开：$$f(x)=f(x^{(k)})+\frac {f′(x^{(k)})}{1!}(x−x^{(k)})+\frac {f′′(x^{(k)
...
From RankNet to LambdaRank to LambdaMart An Overview阅读笔记
Posted on
|
In
Model
LTR问题搜索引擎根据用户输入的Query检索得到最相关的topk个网页；推荐引擎根据用户的兴趣偏好推荐用户最感兴趣的topk个文章。涉及到topk的问题，都会涉及到排序的问题。LTR(Learning To Rank)是在处理排序问题时采用机器学习方法来训练模型的方法。可以将LTR方法分为 po
...
tensorflow datasets
Posted on
|
In
Toolkit
为了方便大家学习， tensorflow自身提供了多种数据集，并且将这些数据集进行了封装，方便我们直接使用。它使用 tensorflow-datasets 这个module封装了我们常用的各种公共数据集，在进行模型的学习过程中可以直接用该模块加载我们需要的数据集进行训练，挺方便的。本文介绍该模块的简
...
相关性打分公式
Posted on
|
In
Application
BM25BM25算法是一种常见用来做相关度打分的公式，思路比较简单，就是计算一个query里面所有term和文档的相关度，然后在把分数做累加操作, 而每个词的相关度分数受到tf/idf的影响。公式如下：$$score(Q, d) = \sum_{t \in Q} W_t R(t, d)$$其中：$R
...
EM 算法
Posted on
|
In
Mathematics
和 最大似然估计 一样， EM算法是机器学习中的一种参数估计方法，在隐式马尔科夫算法(HMM)、LDA主题模型, Gaussian mixture model 等都有应用。本文从最大似然估计作为切入点，逐步论述EM算法的使用情景和原理。
问题引入
我们有两枚硬币, C1 和 C2, 进行抛掷硬币实验
...
卡方检验
Posted on
|
In
Mathematics
卡方检验是一种用途广泛的假设检验方法，它属于非参数检验方法。用于比较两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。思想是比较理论频数和实际频数的吻合程度。
卡方分布设 $X_1, X_2, \dots ,X_n$ 是来自总体$N(0,1)$的样本,则称统计量$$\mathcal X^
...
马尔科夫链及其平稳分布
Posted on
|
In
Mathematics
马尔科夫链假设某一时刻状态转移的概率只依赖于它的前一个状态。这样做可以大大简化模型的复杂度，因此马尔科夫链在很多序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等.
马尔科夫链分布提供了使马尔科夫链和初始状态无关的一个办法，并刻画了马尔科夫链在长时间下的极限行为和平均行为。
...