本文共 837 字，大约阅读时间需要 2 分钟。

Terminology of Machine Learning

A

1. AdaGrad
   一种复杂的梯度下降算法，重新调节每个参数的梯度，高效地给每个参数一个单独的学习率。详见论文：Adaptive Subgradient
2. AUC,ROC

C

1. Converence
   收敛
   • 训练一定次数后，再迭代，训练损失和验证损失，改变很小或不变；
   • 对当前数据再训练已经无法再提升模型表现水平的时候，即收敛。

2. Concex function

   凸函数
   形状大致呈“U”形或“碗”形的函数，例如：
   • L2损失函数
   • Log损失函数
   • L1正则化函数
   • L2正则化函数

   两个凸函数相加后任然是凸函数。

3. Cross-entropy
   交叉熵
   • 多类别分类问题中对Log损失函数的推广。
   • 交叉熵量化两个概率分布之间的区别。
   • 参见困惑度（perplexity）。

D

1. Decision boundary
   决策边界
   • 二元分类或多类别分类问题中模型学习的类别之间的分离器
2. Dense feature
   密集特征←→ 稀疏特征(sparse feature)
   • 大多数取值为非零的一种特征，通常用取浮点值的张量（tensor）表示
3. derived feature
   派生特征，合成特征（synthetic feature）
4. discrete feature
   离散特征，有限个取值的特征
5. Dynamic model
   动态模型
   • 以连续更新的方式在线训练的模型。即数据连续不断的输入模型。

P

1. perplexity
   困惑度
   • 对模型完成任务的程度的一种度量指标。
     P=2−CrossEntropy
     $$P=2^{-CrossEntropy}$$

S

1. Softmax
2. synthetic feature
   合成特征

W

1. wide model
   宽模型 ←→ 深度模型
   • 线性模型通常具备很多稀疏输入特征
   • 具有大量与输出节点直接连接的输入，是一种特殊类型的神经网络
   • 尽管宽模型无法通过隐藏层表达非线性，但它们可以使用特征交叉和 bucketization 等转换用不同方式对非线性建模。

Refer

转载地址：http://taktd.baihongyu.com/