偏差-方差分解
偏差方差分解(The Bias-Variance Decomposition)是用来衡量模型复杂度的数学工具，也称为(the bias variance trade-off)，是解释学习算法泛化能力的一种工具。
note: 为了说明方便，我们只讨论回归问题，损失函数使用平方和损失函数
泛化误差
假设
...
【转】相似图片搜索的原理
Posted on
|
In
Application
之前工作中需要处理相似图片, 期间尝试过本文中所说的 感知hash, 也尝试过 SIFT, CNN等方法. 先将此文转了备查.
颜色分布法每张图片都可以生成颜色分布的直方图（color histogram）。如果两张图片的直方图很接近，就可以认为它们很相似。
任何一种颜色都是由红绿蓝三原色（RG
...
动态规划-背包问题
Posted on
|
In
programming
0-1背包问题问题定义维基百科定义如下：
Given a set of items, each with a weight and a value, determine the number of each item to include in a collection so that the t
...
动态规划 - LIS and LCS
Posted on
|
In
programming
最长上升子序列（LIS）给定一个长度为n的整数序列A[]，求它的一个子序列(子序列即在原序列任意位置删除0或多个元素后的序列)，满足如下条件：
该序列单调递增；
在所有满足条件1的序列中长度是最长的。
让我们举个例子：求 2 7 1 5 6 4 3 8 9 的最长上升子序列。我们定义d[i]来表
...
动态规划(dynamic programming)
Posted on
|
In
programming
最近看了一些动态规划方面的东西，在此作一些笔记。
引例动态规划算法的核心是记住已经求过的解，记住这些解的方式有两种：自顶向下和自底向上。其中自顶向下的方法也称为 备忘录法 。【例1】为了说明动态规划的这两种方法，先举一个最简单的例子：求斐波拉契数列Fibonacci 。$$Fibonacci(n)
...
拉格朗日对偶问题
Posted on
|
In
Mathematics
拉格朗日对偶(Lagrange Dualtiy)问题在机器学习的很多模型推导中都会用到，如SVM。在日常的文章阅读过程中也多次遇到。
作用：在机器学习中拉格朗日对偶是用在 束最优化问题的求解过程中。
要理解拉格朗日对偶需要弄清楚三个问题：
原始问题
对偶问题
原问题与对偶问题的关系
下面逐个讲解
...
Matrix and Vector Products in Numpy
Posted on
|
In
Python
最近复习了numpy中的数组和广播机制并总结成两篇文章分别为【broadcasting in numpy】和【ndarray in Numpy】。本文总结Numpy提供的几个用于矩阵和向量乘法的线性代数函数。
inner(a, b)
a 和 b的最后一个维度的内积。结果的维度为a.shape[:-1
...
broadcasting in numpy
Posted on
|
In
Python
广播（broadcasting）是numpy数组的重要概念，对于它的理解有利于更深入的理解ndarray数组的计算逻辑。Numpy中有一种重要的函数叫做 universal function (ufunc) ，一个 ufunc 以两个 ndarray 作为输入并返回一个ndarray ，ufunc
...
ndarray in Numpy
Posted on
|
In
Python
ndarray 数组是我们用python进行科学计算时常用的数据类型，对它的深入了解是非常必要的。本文回顾之前学习的有关adarray的知识。
内存结构ndarray 的内存结构如下图所示：
data：指向数组中元素的二进制数据块。
dtype:定义了数组中存放的对象的数据类型，通过它可以知道如
...
假设检验
Posted on
|
In
Mathematics
看文章是每次遇到假设检验方面的内容老是犯迷糊，导致每次都需要重新翻书本。所有我决定干脆把假设检验想管的内容做一次系统性的整理。
引例某车间用一台包装机包装葡萄糖.袋装糖的净重是一个随机变量,它服从正态分布当机器正常时,其均值为0.5kg,标准差为0.015kg,某日开工后为检验包装机是否正常,随机地
...