「隐马尔可夫模型java」隐马尔可夫模型语音识别

今天给各位分享隐马尔可夫模型java的知识，其中也会对隐马尔可夫模型语音识别进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、java 隐马尔可夫评估有什么用
• 2、隐马尔可夫模型（二）-骰子的故事
• 3、隐马尔可夫模型
• 4、隐马尔科夫模型（HMM）

java 隐马尔可夫评估有什么用

隐马尔可夫模型最初是在20世纪60年代后半期Leonard E. Baum和其它一些作者在一系列的统计学论文中描述的。HMM最初的应用之一是开始于20世纪70年代中期的语音识别。

在1980年代后半期，HMM开始应用到生物序列尤其是DNA的分析中。此后，在生物信息学领域HMM逐渐成为一项不可或缺的技术。

隐马尔可夫模型（二）-骰子的故事

整理自：

隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。

下面用一个简单的例子来阐述：

假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

这串数字叫做可见状态链。但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。在这个例子里，这串隐含状态链就是你用的骰子的序列。比如，隐含状态链有可能是：D6 D8 D8 D6 D4 D8 D6 D6 D4 D8

一般来说，HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存在转换概率（transition probability）。在我们这个例子里，D6的下一个状态是D4，D6，D8的概率都是1/3。D4，D8的下一个状态是D4，D6，D8的转换概率也都一样是1/3。这样设定是为了最开始容易说清楚，但是我们其实是可以随意设定转换概率的。比如，我们可以这样定义，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1。这样就是一个新的HMM。

同样的，尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫做输出概率（emission probability）。就我们的例子来说，六面骰（D6）产生1的输出概率是1/6。产生2，3，4，5，6的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如，我有一个被赌场动过手脚的六面骰子，掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。

其实对于HMM来说，如果提前知道所有隐含状态之间的转换概率和所有隐含状态到所有可见状态之间的输出概率，做模拟是相当容易的。但是应用HMM模型时候呢，往往是缺失了一部分信息的，有时候你知道骰子有几种，每种骰子是什么，但是不知道掷出来的骰子序列；有时候你只是看到了很多次掷骰子的结果，剩下的什么都不知道。如果应用算法去估计这些缺失的信息，就成了一个很重要的问题。这些算法我会在下面详细讲。

回到正题，和HMM模型相关的算法主要分为三类，分别解决三种问题：

1）知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子掷出的结果（可见状态链），我想知道每次掷出来的都是哪种骰子（隐含状态链）。

这个问题呢，在语音识别领域呢，叫做解码问题。这个问题其实有两种解法，会给出两个不同的答案。每个答案都对，只不过这些答案的意义不一样。第一种解法求最大似然状态路径，说通俗点呢，就是我求一串骰子序列，这串骰子序列产生观测结果的概率最大。第二种解法呢，就不是求一组骰子序列了，而是求每次掷出的骰子分别是某种骰子的概率。比如说我看到结果后，我可以求得第一次掷骰子是D4的概率是0.5，D6的概率是0.3，D8的概率是0.2.第一种解法我会在下面说到，但是第二种解法我就不写在这里了，如果大家有兴趣，我们另开一个问题继续写吧。

2）还是知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子掷出的结果（可见状态链），我想知道掷出这个结果的概率。

看似这个问题意义不大，因为你掷出来的结果很多时候都对应了一个比较大的概率。问这个问题的目的呢，其实是检测观察到的结果和已知的模型是否吻合。如果很多次结果都对应了比较小的概率，那么就说明我们已知的模型很有可能是错的，有人偷偷把我们的骰子给换了。

**3）知道骰子有几种（隐含状态数量），不知道每种骰子是什么（转换概率），观测到很多次掷骰子的结果（可见状态链），我想反推出每种骰子是什么（转换概率）。 **

这个问题很重要，因为这是最常见的情况。很多时候我们只有可见结果，不知道HMM模型里的参数，我们需要从可见结果估计出这些参数，这是建模的一个必要步骤。

问题阐述完了，下面就开始说解法，我们首先来看一个简单的问题：

知道骰子有几种，每种骰子是什么，每次掷的都是什么骰子，根据掷骰子掷出的结果，求产生这个结果的概率。

解法无非就是概率相乘：

接下来 ，我们就开始解决上面提到的三个问题：

**1.看见不可见的，破解骰子序列 **

这里我说的是第一种解法，解最大似然路径问题。

举例来说，我知道我有三个骰子，六面骰，四面骰，八面骰。我也知道我掷了十次的结果（1 6 3 5 2 7 3 5 2 4），我不知道每次用了那种骰子，我想知道最有可能的骰子序列。

其实最简单而暴力的方法就是穷举所有可能的骰子序列，然后依照第零个问题的解法把每个序列对应的概率算出来。然后我们从里面把对应最大概率的序列挑出来就行了。如果马尔可夫链不长，当然可行。如果长的话，穷举的数量太大，就很难完成了。

另外一种很有名的算法叫做Viterbi algorithm. 要理解这个算法，我们先看几个简单的列子。

首先，如果我们只掷一次骰子：

看到结果为1.对应的最大概率骰子序列就是D4，因为D4产生1的概率是1/4，高于1/6和1/8.

把这个情况拓展，我们掷两次骰子：

同样，我们计算第三个骰子分别是D6，D4，D8的最大概率。我们再次发现，要取到最大概率，第二个骰子必须为D6。这时，第三个骰子取到D4的最大概率是

同上，我们可以计算第三个骰子是D6或D8时的最大概率。我们发现，第三个骰子取到D4的概率最大。而使这个概率最大时，第二个骰子为D6，第一个骰子为D4。所以最大概率骰子序列就是D4 D6 D4。

写到这里，大家应该看出点规律了。既然掷骰子一二三次可以算，掷多少次都可以以此类推。我们发现，我们要求最大概率骰子序列时要做这么几件事情。首先，不管序列多长，要从序列长度为1算起，算序列长度为1时取到每个骰子的最大概率。然后，逐渐增加长度，每增加一次长度，重新算一遍在这个长度下最后一个位置取到每个骰子的最大概率。因为上一个长度下的取到每个骰子的最大概率都算过了，重新计算的话其实不难。当我们算到最后一位时，就知道最后一位是哪个骰子的概率最大了。然后，我们要把对应这个最大概率的序列从后往前推出来。

2.谁动了我的骰子？

比如说你怀疑自己的六面骰被赌场动过手脚了，有可能被换成另一种六面骰，这种六面骰掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。你怎么办么？答案很简单，算一算正常的三个骰子掷出一段序列的概率，再算一算不正常的六面骰和另外两个正常骰子掷出这段序列的概率。如果前者比后者小，你就要小心了。

比如说掷骰子的结果是：

要算用正常的三个骰子掷出这个结果的概率，其实就是将所有可能情况的概率进行加和计算。同样，简单而暴力的方法就是把穷举所有的骰子序列，还是计算每个骰子序列对应的概率，但是这回，我们不挑最大值了，而是把所有算出来的概率相加，得到的总概率就是我们要求的结果。这个方法依然不能应用于太长的骰子序列（马尔可夫链）。

我们会应用一个和前一个问题类似的解法，只不过前一个问题关心的是概率最大值，这个问题关心的是概率之和。解决这个问题的算法叫做前向算法（forward algorithm）。

所以我们根据下表计算出得到该序列的概率：

同样的，我们一步一步的算，有多长算多长，再长的马尔可夫链总能算出来的。用同样的方法，也可以算出不正常的六面骰和另外两个正常骰子掷出这段序列的概率，然后我们比较一下这两个概率大小，就能知道你的骰子是不是被人换了。

隐马尔可夫模型

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程。

隐马尔可夫模型的形式定义如下：

设 是所有可能 状态的集合 ， 是所有可能 观测的集合 ：

其中 为可能状态数， 为可能观测数。

是长度为 的 状态序列 ， 是对应的 观测序列 ：

是 状态转移概率矩阵 ：

其中：

是 观测概率矩阵 ：

其中：

是 初始状态概率向量 ：

其中：

隐马尔可夫模型由初始状态概率向量 、状态转移概率矩阵 和观测概率矩阵 决定。 因此隐马尔可夫模型 可表示为：

具体来说，长度为 的观测序列的生成过程如下：按照初始状态分布 产生状态 ，按状态 的观测概率分布 生成 ，按状态 的状态转移概率分布 产生状态 ，依次递推。

（1） 齐次马尔可夫性假设 ，即隐藏的马尔科夫链在任意时刻 的状态只依赖于其前一时刻的状态，与其他时刻状态及观测无关，也与时刻 无关。

（2） 观测独立性假设 ，即任意时刻的观测只依赖于该时刻的马尔科夫链状态，与其它观测状态无关。

（1） 概率计算问题 ：给定模型 和观测序列 ，计算在模型 下序列 出现的概率 。

（2） 学习问题 ：已知观测序列 ，估计模型 参数，使得在该模型下观测序列 最大。

（3） 预测问题 ：已知模型 和观测序列 ，求使得 最大的状态序列 。

接下来分别阐述这三个问题的解决方法。

状态 的概率是：

对固定的 观测序列 的概率是：

同时出现的联合概率为：

从而：

可以看到，上式是对所有可能的 序列求和，而长度为 的 序列的数量是 数量级的，而 的计算量是 级别的，因此计算量为 ，非常大， 这种算法在实际中不可行 。

首先定义 前向概率 ：给定隐马尔可夫模型 ，定义到时刻 部分观测序列为 且状态为 的概率为前向概率，记作：

观测序列概率的前向算法 如下：

（1）初值：

（2）递推，对 ：

（3）终止：

前向算法高效的关键是 局部计算前向概率，然后利用路径结构将前向概率递推到全局，得到 。前向概率算法计算量是 级别的。

首先定义 后向概率 ：给定隐马尔可夫模型 ，定义在时刻 状态为 的条件下，从 到 部分观测序列为 的概率为后向概率，记作：

观测序列概率的后向算法 如下：

（1）初值：

（2）递推，对 ：

（3）终止：

若有 个长度相同观测序列和对应状态序列 则可利用极大似然估计得到隐马尔可夫模型参数：

设样本中时刻 处于状态 时刻 转移到状态 的频数为 ，那么状态转移概率 的估计为：

设样本中状态为 观测为 的频数为 ，那么观测概率 的估计为：

初始状态 的估计 为 个样本中初始状态为 的频率。

假设给定训练数据只包含 个长度为 的观测序列 而没有对应状态序列，我们可以把状态数据看作不可观测的隐数据 ，则隐马尔可夫模型事实上是一个含有隐变量的概率模型：

其参数可由EM算法实现。

近似算法的思想是，在每个时刻 选择在该时刻最有可能出现的状态 ，从而得到一个状态序列 。

近似算法的优点是计算简单，缺点是不能保证预测的状态序列整体是最有可能的状态序列，因为预测的状态序列可能有实际不发生的部分，比如存在转移概率为0的相邻状态。尽管如此，近似算法还是有用的。

维特比算法实际上是用动态规划解隐马尔可夫模型预测问题，即用动态规划求概率最大路径（最优路径），此路径对应一个状态序列。

定义 在时刻 状态为 的所有单个路径 中概率最大值 为：

由定义得递推式：

定义 在时刻 状态为 的所有单个路径 中概率最大路径的第 个结点 为：

维特比算法 如下：

（1）初始化：

（2）递推，对 :

（3）终止：

（4）回溯，对 ：

最优路径为

隐马尔科夫模型（HMM）

隐马尔可夫模型(Hidden Markov Model)，简称HMM， 是一种基于 概率统计 的模型，是一种结构最简单的 动态贝叶斯网 ，是一种重要的 有向图模型 。它用来描述一个含有隐含未知参数的 马尔可夫过程(Markov Process) 。其难点是从 可观察参数 中确定该过程的 隐参数 ，然后利用这些参数来作进一步的分析。

马尔可夫过程 (Markov Process)，它因俄罗斯数学家安德烈·马尔可夫而得名，代表数学中具有马尔可夫性质的离散 随机过程 。它的原始模型马尔可夫链，由安德烈·马尔可夫于1907年提出。

X1, … , Xn，每个状态值取决于前面有限个状态。如果 Xn+1 对于过去状态的条件概率分布仅是 Xn 的一个函数，则

在马尔科夫链中，每一个圆圈代表相应时刻的状态，有向边代表了可能的状态转移，权值表示状态转移概率。 

这里“隐”指的是马尔科夫链中任意时刻的状态变量是不可见的，也就是说状态序列S0,S1,...,St无法直接观测到。但是HMM中每时刻有一个可见的观测值Ot与之对应，而且Ot有且仅于当前时刻隐状态St有关，St外化表现为Ot的概率称为输出概率，因此隐马尔科夫模型的结构图如下所示。

因此,隐马尔科夫模型中马尔科夫链指的是隐状态S0,S1,...,St序列。

HMM模型可以用五元组(O,S,A,B,π)表示。其中

根据以上HMM模型五元组表示，我们可以归纳出HMM模型解决的三个经典的问题。 

如何用简单易懂的例子解释隐马尔可夫模型？

隐马尔可夫模型java的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于隐马尔可夫模型语音识别、隐马尔可夫模型java的信息别忘了在本站进行查找喔。