机器学习中的数学——概率与统计

全文共 1888 个字

条件概率

事物A独立发生的概率为 $机器学习中的数学——概率与统计$ ，事物B独立发生的概率为 $机器学习中的数学——概率与统计$ ，那么有：

$机器学习中的数学——概率与统计$ 表示事物B发生之后事物A发生的概率；

$机器学习中的数学——概率与统计$ 表示事物A发生之后事物B发生的概率；

全概率

我们可以将公式写成全量的形式：

$机器学习中的数学——概率与统计$ 表示全量相互排斥且性质关联的事物，即：

$机器学习中的数学——概率与统计$ ， $机器学习中的数学——概率与统计$

那么可以得到

$机器学习中的数学——概率与统计$ ,这就是全概率公式。

全概率公式的意义在于：无法知道一个事物独立发生的概率，但是我们可以将其在各种条件下发生的概率进行累加获得。

全概率的例子

例1，已知某种疾病的发病率是0.001，即1000人中会有1个人得病。现有一种试剂可以检验患者是否得病，它的准确率是0.99，即在患者确实得病的情况下，它有99%的可能呈现阳性。它的误报率是5%，即在患者没有得病的情况下，它有5%的可能呈现阳性。一个人检测为阳性的概率是多少。

$机器学习中的数学——概率与统计$

例2，袋子中50个球，20个黄球，30个白球。2个人一次从袋中各获取一个球，且不放回，求第二个人取得黄球的概率。

$机器学习中的数学——概率与统计$

从另外一个角度说，无论前面的人抽了多少次，后面的人抽签总体概率是不变的。

例3，5张卡片上分别标记了1,2,3,4,5，每次取2张，连续取2次，取出后不放回。求第二次取出的卡片，比第一次取出的卡片大的概率。

$机器学习中的数学——概率与统计$

例4，甲袋有5只白球、7个红球，乙袋有4只白球、2只红球。任意取一个袋子，求从袋子取得白球的概率。

$机器学习中的数学——概率与统计$

*贝叶斯公式

$机器学习中的数学——概率与统计$

贝叶斯公式的理解：

可以理解他是全概率公式的反向应用，他是求某个条件出现时某个事件发生的概率。定义如下：

$机器学习中的数学——概率与统计$

沿用前面医学的例子：

例1，已知某种疾病的发病率是0.001，即1000人中会有1个人得病。现有一种试剂可以检验患者是否得病，它的准确率是0.99，即在患者确实得病的情况下，它有99%的可能呈现阳性。它的误报率是5%，即在患者没有得病的情况下，它有5%的可能呈现阳性。一个人检测为阳性时候，他确切患病的几率是多少。

$机器学习中的数学——概率与统计$ $机器学习中的数学——概率与统计$

从结论看，这个试剂挺不可靠的。

将贝叶斯公式的底部展开为全概率公式：

$机器学习中的数学——概率与统计$

使用全概率公式展开之后有个很直观的发现：当我们考察某一个事件的条件概率时——事件 $机器学习中的数学——概率与统计$ 发生之后 $机器学习中的数学——概率与统计$ 发生的概率，需要将整个样本空间中其他概率事件也加入到其中来。

似然函数

似然函数个人理解是一种更加“公式化”的条件概率表达式，因为他书写的形式和条件概率相比并没有太大区别—— $机器学习中的数学——概率与统计$ ,只是解读方式不同。这里的 $机器学习中的数学——概率与统计$ 表示样本特征数据， $机器学习中的数学——概率与统计$ 表示模型参数。

如果 $机器学习中的数学——概率与统计$ 已知并且固定，那么表示这个是一个概率计算模型，表示：不同的样本 $机器学习中的数学——概率与统计$ 在固定的模型参数 $机器学习中的数学——概率与统计$ 的概率值。

如果 $机器学习中的数学——概率与统计$ 已经并且固定，表示这是一个似然计算模型（统计模型），表示不同的样本用于求解模型参数 $机器学习中的数学——概率与统计$ 。

极大似然估计

按照前面似然函数 $机器学习中的数学——概率与统计$ 的介绍，似然函数可以看做 $机器学习中的数学——概率与统计$ 是已知的， $机器学习中的数学——概率与统计$ 是未知的，极大似然估计就是在已知 $机器学习中的数学——概率与统计$ 的情况下求取 $机器学习中的数学——概率与统计$ 。

在现实的生产生活中也常常会遇到这样的问题。我们以及有了样本以及对应的标签（结论），如何根据这些样本来计算（推算）条件 $机器学习中的数学——概率与统计$ 是一件很困难的事情。而极大似然估计就是一个根据样本值 $机器学习中的数学——概率与统计$ 和结论数据 $机器学习中的数学——概率与统计$ 计算条件参数 $机器学习中的数学——概率与统计$ 的过程。

总的来说，极大似然估计是一种参数估计算法。使用极大似然估计有一个很重要的先决条件——每一组样本都是独立的，并且有充分的训练样本。

先看看样本独立的判断公式： $机器学习中的数学——概率与统计$ ，即2个事物同时发生的概率等于事物独立发生概率的乘积。

极大似然评估的公式及像这个公式。

设有一组样本 $机器学习中的数学——概率与统计$ ,所有样本的联合概率密度 $机器学习中的数学——概率与统计$ 称为相对于样本 $机器学习中的数学——概率与统计$ 的似然函数。那么由独立判定公式推断出所有样本的概率为：

$机器学习中的数学——概率与统计$ 。

设 $机器学习中的数学——概率与统计$ 是使得 $机器学习中的数学——概率与统计$ 取得最大值的 $机器学习中的数学——概率与统计$ 值，那么 $机器学习中的数学——概率与统计$ 是 $机器学习中的数学——概率与统计$ 的极大似然估计量。可以使用下面的公式表示 $机器学习中的数学——概率与统计$ 与 $机器学习中的数学——概率与统计$ 的关系：

$机器学习中的数学——概率与统计$ , $机器学习中的数学——概率与统计$

实际计算时，计算连乘比较麻烦，我们可以引入对数将其转换为一个求和的过程：

$机器学习中的数学——概率与统计$ ,因为 $机器学习中的数学——概率与统计$ 。 $机器学习中的数学——概率与统计$ 也称为对数似然函数。

如果 $机器学习中的数学——概率与统计$ 连续可微，那么可以使用导数为0求函数的凸点。即：

$机器学习中的数学——概率与统计$ 。

将条件因子扩展为M个，即 $机器学习中的数学——概率与统计$ ,则似然函数（对数似然函数变成）：

$机器学习中的数学——概率与统计$

此时每一个 $机器学习中的数学——概率与统计$ 的求导变成一个求偏导数的过程：

$机器学习中的数学——概率与统计$ ,每一个 $机器学习中的数学——概率与统计$ 都要对 $机器学习中的数学——概率与统计$ 求导。

最大似然评估的案例

最大似然评估计算

最大似然评估（也称为极大似然评估）的用处是什么？首先可以将每个字眼拆解开来看。最大就是要找最大值，似然说明并不精确似乎就是这个值，评估指的是这是一个过程。

现实生活中的例子：2对夫妇 $机器学习中的数学——概率与统计$ 和 $机器学习中的数学——概率与统计$ 和一个小孩 $机器学习中的数学——概率与统计$ 。从外观上看，小孩 $机器学习中的数学——概率与统计$ 长相比较接近夫妇 $机器学习中的数学——概率与统计$ ，有点像 $机器学习中的数学——概率与统计$ ，不像 $机器学习中的数学——概率与统计$ ,让你猜测 $机器学习中的数学——概率与统计$ 是谁的小孩。思维正常一点的人肯定会说 $机器学习中的数学——概率与统计$ 是 $机器学习中的数学——概率与统计$ 的小孩，这本身就是一个自然而然的判断过程，用数学解释：