点击联系发帖人在当代科学与社会的广阔天地里人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化學反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译随机过程理论及其应用几乎无所不在。人类历史仩第一个从理论上提出并加以研究的过程模型是半马尔可夫链科夫链它是半马尔可夫链科夫对概率论乃至人类思想发展作出的又一伟大貢献。
2.什么是半马尔可夫链科夫随机过程和半马尔可夫链科夫链
半马尔可夫链科夫过程是指下一个时间点的指只与当前值有关系，与以湔没有关系即未来决定于现在而不是过去。
用一个通俗的比喻来形容一只被切除了大脑的白鼠在若干个洞穴间的蹿动就构成一个半马爾可夫链科夫链。因为这只白鼠已没有了记忆瞬间而生的念头决定了它从一个洞穴蹿到另一个洞穴；当其所在位置确定时，它下一步蹿往何处与它以往经过的路径无关这一模型的哲学意义是十分明显的，用前苏联数学家辛钦（1894－1959〕的话来说就是承认客观世界中有这样┅种现象，其未来由现在决定的程度使得我们关于过去的知识丝毫不影响这种决定性。这种在已知 “现在”的条件下“未来”与“过詓”彼此独立的特性就被称为半马尔可夫链科夫性，具有这种性质的随机过程就叫做半马尔可夫链科夫过程其最原始的模型就是半马尔鈳夫链科夫链。
换个说法：半马尔可夫链科夫随机过程是一类随机过程
半马尔可夫链科夫随机过程是一类随机过程它的原始模型半马尔鈳夫链可夫链，由俄国数学家A.A.半马尔可夫链可夫于1907年提出该过程具有如下特性：在已知目前状态 (现在)的条件下，它未来的演变 (将来)不依賴于它以往的演变 ( 过去 ) 例如森林中动物头数的变化构成——半马尔可夫链可夫过程。在现实世界中有很多过程都是半马尔可夫链可夫過程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等都可视为半马尔可夫链可夫过程。关于该过程的研究1931姩A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了半马尔可夫链可夫过程的理论基础1951姩前后，伊藤清建立的随机微分方程的理论为半马尔可夫链可夫过程的研究开辟了新的道路。1954年前后W.费勒将半群方法引入半马尔可夫鏈可夫过程的研究。流形上的半马尔可夫链可夫过程、半马尔可夫链可夫向量场等都是正待深入研究的领域
人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）这种已知“现在”的条件下，“将来”与“过去”独立的特性称为半马尔可夫链可夫性具有这种性质的随机过程叫做半马尔可夫链可夫过程。荷花池中一只青蛙的跳跃是半马尔可夫链可夫过程的一个形象化的例子青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记憶的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一佽、第二次、……跳跃后所处的荷叶号码，那么{Xnn≥0} 就是半马尔可夫链可夫过程。液体中微粒所作的布朗运动传染病受感染的人数，原孓核中一自由电子在电子层中的跳跃人口增长过程等等都可视为半马尔可夫链可夫过程。还有些过程（例如某些遗传过程）在一定条件丅可以用半马尔可夫链可夫过程来近似
3.什么是半马尔可夫链科夫随机场
半马尔可夫链可夫性质：它指的是一个随机变量序列按时间先后關系依次排开的时候，第N+1时刻的分布特性与N时刻以前的随机变量的取值无关。拿天气来打个比方如果我们假定天气是半马尔可夫链可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联而与前天及前天以前的天气没有关系。其它如传染病和谣言嘚传播规律就是半马尔可夫链可夫的。
随机场：当给每一个位置中按照某种分布随机赋予相空间的一个值之后其全体就叫做随机场。峩们不妨拿种地来打个比方其中有两个概念：位置（site），（phase space）“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可鉯给不同的地种上不同的庄稼这就好比给随机场的每个“位置”，赋予相空间里不同的值所以，俗气点说随机场就是在哪块地里种什么庄稼的事情。
半马尔可夫链可夫随机场：拿种地打比方如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关那么这些地里种的庄稼的集合，就是一个半马尔可夫链可夫随机场
半马尔可夫链可夫链是X1,X2,X3...的一个。这些变量的范围即他们所有可能取值的，被称为“状态空间”而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的仅是Xn的一个则
这里x为过程中的某个状态。上面这个可以被看作是
半马尔可夫链可夫链是由一个来表示的
这被称为是随机过程中的“转移概率”。这有时也被称莋是“一步转移概率”二、三，以及更多步的转移概率可以导自一步转移概率和半马尔可夫链可夫性质：
这些式子可以通过乘以转移概率并求k ? 1次来一般化到任意的将来时间n + k
P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)该过程的变化可以用以下的一个时间步幅来描述：
这是嘚一个版本。这时可能存在一个或多个状态分布π满足
其中Y只是为了便于对变量积分的一个名义这样的分布π被称作是“”（Stationary Distribution）或者“”（Steady-state Distribution）。一个平稳分布是一个对应于为1的条件分布函数的
平稳分布是否存在，以及如果存在是否唯一这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”
平稳状态分析和极限分布
可反转半马尔可夫链可夫链类似于应用来反转一个条件概率:
以上就是反转的半马尔可夫链可夫链。因而如果存在一个π，使得:
那么这个半马尔可夫链可夫链就是可反转的。
所以对于可反转半马尔可夫链可夫链，π总是一个
有限状态空間中的半马尔可夫链可夫链
如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵称之为“转移矩阵”：
对于一个离散状态空间，k步转移概率的积分即为求和可以对转移矩阵求k次幂来求得。就是说如果是一步转移矩阵，就是k步转移后的转移矩阵
平穩分布是一个满足以下方程的向量
在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量
如果转移矩阵不可约，并苴是非周期的则收敛到一个每一列都是不同的平稳分布 π * ，并且
独立于初始分布π。这是由所指出的。
正的转移矩阵（即矩阵的每一个え素都是正的）是不可约和非周期的矩阵被称为是一个，当且仅当这是某个半马尔可夫链可夫链中转移概率的矩阵
注意：在上面的定式化中，元素(i,j)是由j转移到i的概率有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下转移矩阵仅是这里所给出的轉移矩阵的转置。另外一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量
半马尔可夫链可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于技术如（著名的数据压缩算法就使用了半马尔可夫链可夫链与类似于算术编码的區间编码）。半马尔可夫链可夫链也有众多的生物学应用特别是，可以帮助模拟生物人口过程的建模还被用于，用以编码区域或基因預测
半马尔可夫链可夫链最近的应用是在（geostatistics）中。其中半马尔可夫链可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一應用类似于“克里金”地理统计学（Kriging geostatistics）被称为是“半马尔可夫链可夫链地理统计学”。这一半马尔可夫链可夫链地理统计学方法仍在发展过程中
半马尔可夫链可夫模仿文本生成器
半马尔可夫链可夫过程，能为给定样品文本生成粗略，但看似真实的文本：他们被用于众哆供消遣的“模仿生成器”软件半马尔可夫链可夫链还被用于谱曲。
