AutoEncoder
有监督的神经网络需要我们的数据是有标注（Labeled）的，然而神经网络并不止限于处理有标注的数据，同时还能处理无标注的数据，形如：${x^{(1)},x^{(2)},x^{(3)},…} 其中 x^{(i)}\in{\mathbb{R}^n}$
其中的一种算法叫做AutoEncoder——自编码
...
从Lagrange multiplier到KKT条件
Posted on
|
In
Mathematics
最近看书的过程中遇到了几次需要用到KKT条件的地方，每次都要重新翻书。本文单独将这一块的知识点拉出来做一下笔记，备查。
note : 本文中的所有向量默认都是列向量
概述Lagrange multiplier和KKT都是用来解决非线性规划问题的。非线性规划的数学模型如下：$$\left \{\beg
...
范数正则化
Posted on
|
In
Mathematics
0 概述机器学习的中心问题是在训练集上训练出一个能够在新的输入数据上表现良好的模型。现有的很多策略是在牺牲训练误差来减小泛化误差，这些策略被统称为正则化。
和传统的机器学习算法一样，神经网络的范数正则化方法也是通过限制模型参数来减少过拟合的。但是神经网络的范数正则化也有自己的特点，为了论述方便本文将
...
信息论中的一些知识点
Posted on
|
In
Mathematics
信息量(自信息)信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的东西”. 一个事件蕴含的信息量与这条信息能够消除的不确定性是正相关的. 信息量应该满足如下条件:
事件发生的概率越低, 信息量越大;
事件发生的概率越高, 信息量越低;
多个对立事件同时发生, 总信息量是多个事
...
Hidden Markov Models
Posted on
|
In
Model
在之前学习过多次隐马模型，但是长时间不用再加上也没回头复习，回头看的时候感觉什么都忘了，所以本次重新拾起来。记得之前看过一篇英文文章讲的不错（现在无法访问了），随做了一个备份。现在以这篇文章为基础重新学习一下。目前网络上该文章的翻译版本有很多，我也会参考一些。
1 概述个人觉得学习一个新模型，首先了
...
神经网络基础
Posted on
|
In
Neural Networks
虽然学习神经网络很长时间了，但是也经常遇到问题的时候产生混乱，本次计算做一个神经网络的专题，将我看到的关于神经网络的东西按照我自己的学习和理解习惯整理下来。
本文是这个专题的第一章，介绍基本的神经网络中知识。并在最后整理了一下神经网络的设计中的几个问题，以后会逐一学习。
1 对一个神经元(neuro
...
Python函数的参数
Posted on
|
In
Python
函数定义中从形式上看存在四种形式的参数：
位置参数：tupleSqeArgs(arg1[,arg2])```12默认参数：```def tupleSqeArgs([arg1,[arg2,]] arg3='defaultB')
元组参数：tupleVarArgs([arg1, [a
...
Python编码问题
Posted on
|
In
Python
从一开始接触Python就被它的编码问题困扰，遇到问题就从网上找一个解决方案，能解决问题就用，但是也不明白其中的原理，用完就忘了，下次遇到问题的时候再去找。最近我话时间阅读了一些博客和代码，将相关的问题整理下来。
1 编码(Encode)与解码(Decode)
世界上只有两种编码：Unicode和o
...
GloVe
Posted on
|
In
Neural Networks
1. 概述做自然语言处理的时候很多时候会用的Word Embedding，目前常用的方法是word2vec算法训练词向量。不过训练词向量的方法有很多，今天介绍GloVe算法。
GloVe：Global Vectors。
模型输入：语料库 corpus
模型输出：每个词的表示向量
2. 基本思想2.1
...