实际上绝大多数概率模型是无法進行精确推断的我们不得不寻找某种形式的近似。第10章的推断算法是基于确定的近似（如变分贝叶斯和期望传播）这里我们考虑基于數值基本采样法的近似推断。

对于绝大多数情况后验概率主要是用来计算期望的，比如在预测时因此这一章要解决的问题是计算函数 關于概率分布 的期望：

(如果是连续的情况)，解析方式的求出期望非常复杂

基本采样法方法的思想：从分布 中独立的取样获得 .（11.1）的结果鈳以近似为如下形式：

的均值估计为 ,方差估计为 ,这是函数 在分布 下的方差。需要指出的是估计的精度和 的维度没关系原则上相对较少的基本采样法就能获得高准确率。

11.1标准分布（可解析计算基本采样法的）

问题：如何从简单的非均匀分布生成随机数

设 在 服从均匀分布，使用某个函数 对 进行变换那么 的分布就变成了

这里 .我们的目的是选择合适的函数 使得分布

对（11.5）移项积分后可得

从而有 即我们需要的函數 是想要的分布的不定积分的逆函数。

代入（11.6）计算嘚 .因此如果用函数 对均匀分布变量 作变换，则 服从指数分布

这种情况下可以用正切函数来表示不定积分的逆函数。

推广到多个变量的方式直接用雅克比矩阵来变换如：

首先假设一堆服从均匀分布的变量 (注：可以通过 上的均匀分布变换 得到)

接下来我们只选择满足 的点对。洳图11.3所示

这产生了落在单位圆内部的点的均匀分布：

然后对每对 我们计算：

如果 是均值为零方差为一的高斯分布则 服从均值为

为了产生均值为 协方差矩阵为 多维高斯分布，我们可以利用乔里斯基分解： 如果 是向量值随机变量（其中每一个独立组成都服从均值为零方差为┅的高斯分布）那么 的均值为 协方差矩阵为 .

小节：这些解析计算只能对有限的简单分布适用。下面我们考虑拒绝基本采样法和重要基本采樣法

假设我们要从一个和普通标准分布不同的不常见分布 中基本采样法，直接从 中取样不太现实但我们通常可以对任意给定的 值计算 :

其中 可以计算但 却是未知的。

是从分布 中产生的这些样本被接受的概率为 ,故一个样本被接受的概率为

我们可以看到拒绝的比例依赖于取決于曲线 下方为归一化分布 的面积，同时常数 在满足 的条件下越小越好

11.1.3自适应拒绝基本采样法

在拒绝基本采样法的实际应用中寻找合适嘚解析形式的分布 比较困难。可以基于在 上已经测定的值构建包络函数当 是对数凹分布（也就是 的导数是关于 的非增函数）的时候构造包络函数非常简单。构造合适的包络函数示意图如图11.6

及其梯度可以通过一些初始点来计算用得到的切线交点构建包络函数。接下来从包絡分布中取一个样本值这是很直接的因为包络分布的对数由一系列连续的线性函数组成，因此包络分布本身是一系列分段指数分布组成：

（原书这里公式11.17和图11.6对应看有些错误大家可参考马春鹏中文译版的修正。）

如果样本从 中产生就可以应用拒绝原则进行判断是否保留如果被拒绝可以通过这个点更新包络函数使得包络函数更加接近分布 ,继而拒绝概率也会降低。

有一种该方法的变体可以避免计算导数洎适应拒绝基本采样法框架也可以拓展到非对数凹函数情况，这就是自适应拒绝Metroplis基本采样法此处不细说。

为了解释高维空间中的拒绝基夲采样法我们考虑这样一个问题：从零均值的多维高斯分布中基本采样法，其协方差矩阵为 是单位矩阵。

那么提议分布可以是一个零均值高斯分布协方差矩阵为 ，为了保证 则必有 考虑 维情况， 的最优值为 由于这两个分布都是归一化的因此接受率为 ,那么接受率会随著维度增加而指数减小。做个计算：如果 比 大百分之一在1000维的时候接受率为1/20000。这个例子里比较函数和真实分布已经非常接近对于实际應用，真实分布可能有多峰尖峰找到一个提议分布和比较函数是非常困难的。所以拒绝基本采样法在一二维分布中效果不错但在高维空間中的基本采样法算法中充当子程序的角色

不要忘了我基本采样法的目的是为了计算期望（11.1），重要基本采样法提供了直接近似期望的框架并没有提供从分布 中基本采样法的方法。

假设不能直接从 基本采样法但给定 的值可以容易的计算 ,一个计算期望的简单策略就是将積分变成求和的形式：

很明显存在求和项随着 的维度增加指数增加。我们感兴趣的分布概率分布通常把大部分“质量”集中在了 空间中相對较小的区域里因此从 的空间中均匀基本采样法效率很低，只有很少一部分样本对求和式11.18起作用我们希望从 较大的区域或者说乘积 较夶的区域基本采样法。

我们利用重要基本采样法分布 , 是归一化常数那么期望可以写为：

其中 。我们可以用同样的样本集来计算 :

和拒绝基夲采样法一样重要基本采样法的效果关键也取决于 和 的近似程度。通常情况是 急剧变化并且大部分“质量”集中在 空间的小部分区域吔就是期望计算值可能由权重较大的小部分大权值 决定，其余小权值项的贡献很小如果在 较大的区域没有样本采到问题更加严重，这样嘚话即使期望的估计严重错误 和 的表面方差也可能很小因此期望计算结果任意差的话也没有指标能看出来。这就要求 不应该在 较大的地方取值较小或为零

图模型的联合概率分布为

式中， 表示节点 的父节点变量集合 是节点 的变量集合。

联合概率分布中的样本获得过程：

偠点分析：变量的基本采样法顺序可变当后验概率和均匀分布相差较大时，这个方法的效果比较差

11.1.2中的拒绝基本采样法的效果也取决於常数 的选择，对于许多情况很难确定合适的 足够大的 虽然满足条件但会让接受率很小。

SIR也用到了基本采样法分布 但不用设置合适的常數 这个方法过程如下：

结果中的 个样本只是接近分布 ,但当 时分布就接近正确分布。

通过一个单变量的例子来说明这点：

重基本采样法值嘚累积分布为：

是示性函数当 ,假定分布进行了正则化，将求和式转化为积分：

这就是 的累积分布函数同样这里不需要 归一化。

对于有限的值 给定一个初始样本集合，重基本采样法值仅仅近似从真实分布(即 )中基本采样法像拒绝基本采样法那样这个近似会随着 接近 而改善。当 时,初始样本 即服从分布 权值相等为 ，重基本采样法的也服从分布

如果需要分布 的矩，可以直接用带权重的初始样本计算因为

EM算法中E步模型不能解析计算，可以通过基本采样法来近似

考虑这样一个模型，隐变量为 观者变量为 ,参数为 。在M步通过参数 来优化完全數据的似然函数：

可以通过基本采样法方法通过有限样本（样本是从后验分布 中抽取的）的求和来近似积分：

函数 在M步如以往优化这个過程称为蒙特卡洛EM算法。

当先验分布 已经定义好时这个方法可以直接拓展到求解 后验分布最大值（MAP）的问题上，在M步之前直接把 加到函數

蒙特卡洛EM算法的一个特殊例子，称为随机EM如果考虑有限数量的混合模型，在E步只取一个样本对应哪个分布生成的每个数据点在E步， 的一个样本从后验分布 （ 是数据集）采取在M步，这个后验分布的基本采样法近似如往常用来更新参数

不考虑最大似然完全从贝叶斯嘚角度出发

我们想从参数向量 的后验分布基本采样法。原则上可以从联合后验 中基本采样法假设非常困难，从完整数据参数后验分布 基夲采样法比较简单这就对应下面的数据增广算法。分为I步和P步（分别类似E步和M步）：

不能直接从 基本采样法可以曲线救国。因为有：

先从 的当前估计基本采样法 然后根据这些样本从分布 中采一个样本

根据I步中采得的样本 可将

根据假设在I步中从这个近似中基本采样法是鈳行的。

为保证浮选机正常工作应定期清理（）。 ["矿浆所含的泥质、碎片及其它杂物 ","稳流筛篦子 ","液位调整闸门的沟槽 ","循环孔中煤泥 ","浮选机入料阀门"] 脱甲烷塔开车前准备工作正確的是（）。 ["A．氮气置换合格","B．氮气干燥合格","C．现场所有导淋关闭安全阀旁路关闭","D．现场所有调节阀上下游阀打开，旁路关闭"] 低沸物主偠是指（）高沸物主要是指（）。 学校管理常用的基本的方法由哪些运用这些方法要注意哪些问题？ 社会调查研究按调查对象的规模戓范围分为哪几类各有何功能及特点？举例说明 概率抽样有哪些类型？其基本方法如何其中简单随机抽样的特点和适用性如何。

概率抽样有哪些类型其基本方法如何？其中简单随机抽样的特点和适用性如何