【机器学习】EM——期望最大(非常详细) - 知乎
EM 算法,全称 Expectation Maximization Algorithm。 期望最大算法是一种迭代算法,用于含有 隐变量 (Hidden Variable)的概率参数模型的最大似然估计或极大后验概率估计。
Searching…
EM 算法,全称 Expectation Maximization Algorithm。 期望最大算法是一种迭代算法,用于含有 隐变量 (Hidden Variable)的概率参数模型的最大似然估计或极大后验概率估计。
在 统计 计算 中, 最大期望(EM)算法 是在 概率模型 中寻找 参数 最大似然估计 或者 最大后验估计 的 算法,其中概率模型依赖于无法观测的 隐变量。 最大期望算法经常用在 机器学习 和 计算机视觉 的 数据聚类 (Data Clustering)领域。
EM算法的标准计算框架由E步(Expectation-step)和M步(Maximization step)交替组成,算法的收敛性可以确保迭代至少逼近局部极大值。 EM算法是MM算法(Minorize-Maximization algorithm)的特例之一,有多个改进版本,包括使用了贝叶斯推断的EM算法、EM梯度算法、广义EM算法等。
文章浏览阅读4.5w次,点赞156次,收藏336次。 本文深入讲解EM算法,从直观理解到数学推导,通过硬币抛掷实例剖析算法原理,探讨Jensen不等式作用,详述EM算法的E-step与M-step,最终应用于混合高斯模型与K-means聚类。
好了,我们参照上文推导的EM算法的思路来推导一下高斯混合模型。 这里为了区分变量名,我们将π用φ替换。 第一步: 给φ,μ,σ赋初值,开启迭代; 第二步:E步。 如果是首轮迭代,那么φ,μ,σ分别为我们给定的初值;否则φ,μ,σ取决于上一轮迭代的值。
Oct 1, 2023 · 本文介绍了EM算法的基本思想和步骤,以及在K-means算法和硬币投掷模型中的应用。还给出了使用python编程实现EM算法的代码和测试数据。
EM算法是最常见的 隐变量估计 方法,在机器学习中有极为广泛的用途,例如常被用来学习 高斯混合模型 (Gaussian mixture model,简称GMM)的参数; 隐式马尔科夫算法 (HMM)、 LDA主题模型 的变分推断等等。 本文就对EM算法的原理做一个详细的总结。
Nov 28, 2023 · 本文深入探讨了期望最大化(EM)算法的原理、数学基础和应用。 通过详尽的定义和具体例子,文章阐释了EM算法在 高斯混合模型 (GMM)中的应用,并通过Python和PyTorch代码实现进行了实战演示。 关注TechLead,分享AI全维度知识。
May 27, 2017 · 本文介绍了EM算法的基本思想、推导过程和应用场景,以及如何用数学语言描述EM算法的E步和M步。EM算法是一种迭代求解最大值的算法,常用于处理含有未观察数据的模型参数估计问题,如隐式马尔科夫模型、主题模型等。
Nov 27, 2023 · 本文深入探讨了期望最大化算法(EM算法)的原理、数学基础和应用,通过具体例子和Python代码实现。EM算法是一种迭代优化算法,主要用于估计含有隐变量的概率模型参数,如高斯混合模型、隐马尔可夫模型等。