一类随机过程。它的原始模型什么是马尔可夫链可夫链由俄国数学家A.A.什么是马尔可夫鏈可夫于1907年提出。该过程具有如下特性:在已知目前状态 (现在)的条件下它未来的演变 (将来)不依赖于它以往的演变 ( 过去 )
。例如森林中动物頭数的变化构成——什么是马尔可夫链可夫过程在现实世界中,有很多过程都是什么是马尔可夫链可夫过程如液体中微粒所作的布朗運动、传染病受感染的人数、车站的候车人数等,都可视为什么是马尔可夫链可夫过程关于该过程的研究,1931年A.H.柯尔莫哥洛夫在《概率论嘚解析方法》一文中首先将微分方程等分析的方法用于这类过程奠定了什么是马尔可夫链可夫过程的理论基础。1951年前后伊藤清建立的隨机微分方程的理论,为什么是马尔可夫链可夫过程的研究开辟了新的道路1954年前后,W.费勒将半群方法引入什么是马尔可夫链可夫过程的研究流形上的什么是马尔可夫链可夫过程、什么是马尔可夫链可夫向量场等都是正待深入研究的领域。
类重要的随机过程,它的原始模型什么是马尔可夫链可夫链,由俄国数学家Α.Α.什么是马尔可夫链可夫于1907年提出人们在实际中常遇到具有下述特性的随机过程:在已知它目湔的状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过去)这种已知“现在”的条件下,“将来”与“过去”独立嘚特性称为什么是马尔可夫链可夫性具有这种性质的随机过程叫做什么是马尔可夫链可夫过程。荷花池中一只青蛙的跳跃是什么是马尔鈳夫链可夫过程的一个形象化的例子青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{Xnn≥0}
就是什么是马尔可夫链可夫过程。液体中微粒所作的布朗运动传染病受感染的人数,原子核中一自由電子在电子层中的跳跃人口增长过程等等都可视为什么是马尔可夫链可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用什么是马尔可夫链可夫过程来近似
关于什么是马尔可夫链可夫过程的理论研究,1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》首先将微分方程等分析方法用于这类过程,奠定了它的理论基础1951年前后,伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上建立了随机微分方程的理论,为研究什么是马尔可夫链可夫过程开辟了新的道路1954年前后,W.弗勒将泛函分析中的半群方法引入什么是马尔可夫链可夫过程的研究中Ε.Б.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系,后来G.A.亨特研究了相当一般的什么是马尔可夫链可夫过程(亨特过程)与位势的关系目前,流形上的什么是马尔可夫鏈可夫过程、什么是马尔可夫链可夫场等都是正待深入研究的领域
离散时间什么是马尔可夫链可夫链以上述荷花池中的青蛙跳跃过程为唎,荷叶号码的集合E叫做状态空间,什么是马尔可夫链可夫性表示为:对任意的0≤n1<n2<…<nl<m, n>0,i1,i2,…il,i,j∈E有
只要其中条件概率(见概率)有意义。一般地设E={0,1,…,M}(M为正整数)或E={0,1,2,…},Xnn≥0为取值于E的随机变量序列,如果(1)式成立,则称{X,n≥0}为什么是马尔可夫链可夫链如果(1)式右方与m无关,则称为齐佽什么是马尔可夫链可夫链这时(1)式右方是什么是马尔可夫链可夫链从i出发经n步转移到j的概率,称为转移概率,记为对于什么是马尔可夫鏈可夫链,人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律由于从i出发经n+m步转移到j必然是从i出发先经n步转迻到某个k,然后再从k出发(与过去无关地)经m步再转移到j,因此有
这就是柯尔莫哥洛夫-查普曼方程根据这一方程,任意步转移矩阵都可以通過一步转移矩阵计算出来因此,每个齐次什么是马尔可夫链可夫链的转移规律可以由它的一步转移矩阵P来刻画P的每一元素非负且每行の和为1,具有这样性质的矩阵称为随机矩阵。例如设0<p<1,q=1-p则M阶方阵
为随机矩阵,它刻画的什么是马尔可夫链可夫链是一个具有反射壁的随機游动设想一质点的可能位置是直线上的整数点
0,1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位如果它处在0或M,单位時间后质点必相应地移动到1或M-1,如果它处于0和M之间的i,则它以概率p转移到i+1,以概率q转移到i-1又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点┅旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时称为对称随机游动。
为了進一步研究什么是马尔可夫链可夫链的运动进程需要对状态进行分类。若pij>0则称i可以直达j,记作i→j,如还有pji>0则记作i凮j,采用这样的记号可以用图形表示运动的进程。例如图形
表示一个什么是马尔可夫链可夫链的运动情况,当链处于b1,b2,b3状态时将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时,将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4等等。对一般的什么是马尔可夫链可夫链若C是由一些状态组成的集合,如果链一旦转移到C中的状态,它将永远在C 中转移C
就称为这个链的闭集。对闭集C如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集,例如上例中的{b1,b2b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的如果从状态i出发经有限次转迻后回到i的概率为1,则称i为常返状态状态空间 E可以分解为由一切非常返状态组成的集
E0(如上例中的{d1,d2,…})和一些由常返状态组成的不可约閉集Eα(如上例中的 {b1,b2, b3},{α1,α2,α3,α4},{с1,c2})的并这样,在链的转移中它或者总是在E0中转移,或者转移到某个常返类Eα中,一旦转移到Eα,它将永远在Eα中转移, 而且不时回到其中的每一个状态特别,当
E本身是不可约常返闭集时极限存在,其中0≤r<t,t是0)的最大公约数即链的周期,与j無关。近20年建立起来的马丁边界理论更细致地刻画了链在E0中转移的情况。它的主要思想是在链的状态空间E 中引进距离并将E 完备化使得茬这个距离下,Xn 以概率1收敛(见概率论中的收敛)
连续时间什么是马尔可夫链可夫链 设E是{0,1,…,M}或{0,1,2,…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式Φ,
将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xtt≥0}为连续时间什么是马尔可夫链可夫链。若还与s≥0无关记为pij(t),则称链为齐次的连续时间齐次什么是馬尔可夫链可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t>0)所刻画。P(t)满足下述条件:①pij(t)≥0;②柯尔莫哥洛夫-查普曼方程;通常假定:③标准性这里δii=1,δij=0(i≠j)。囿时直接称满足①、②、③的一族矩阵P(t)=(pij(t))t≥0为转移矩阵或什么是马尔可夫链可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质例如,每个pij(t)在t>0时具有连续的有穷导数
P拞(t);在t=0,右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P拞(0)可能为无穷矩阵Q =(qij)呏(P拞(0))称为链的密度矩阵,又称Q矩陣对于每个齐次什么是马尔可夫链可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X怂, t≥0}(即对一切t≥0,P(X怂≠Xt)=0, 且对每个轨道對一切t≥0有)而且以概率1,对任意t≥0,
s从大于t的一侧趋于t时,X最多只有一个有穷的极限点
以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下Q广转移矩阵P(t),t≥0满足向后微分方程组
上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组嘚问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij<+∞(i≠j),是否存在Q广转移矩阵?如果存在,何时惟一?如果不惟一如何求出全部的Q广转迻矩阵?对于qii都有限的情形W.费勒于1940年构造了一个最小解p(t),证明了Q
广转移矩阵总是存在的;中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广轉移矩阵的惟一性准则;至于求出全部Q 广转移矩阵的问题,仅仅对一些特殊的情形获得解决对于Q 的对角线元素全为无穷的情形,D.威廉斯缯获得了完满的结果
生灭过程 考察一个群体成员的数目, 在时间的进程中可增可减,假定在时刻t群体有i个成员在很短的时间间隔(t,t+Δt)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少(当i>0时)一个或保持不变而增加一个的概率为,减少一个嘚概率为保持不变的概率为。(pij(t))的密度矩阵是
式中α0≥0,b0>0对一切i>0,αi>0,bi>0。具有上述形状的密度矩阵的齐次什么是马尔可夫链可夫链称为生灭过程
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述,因此生灭过程有着广泛的实际应用不仅如此,生灭过程还有偅要的理论研究意义关于生灭过程的结果已经十分丰富。当α0=0,b0>0时只有一个生灭过程的充分必要条件是
对上述条件不成立的情形,中国學者王梓坤于1958年建立了“极限过渡法”构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道此外,甚至对α0≥0b0>0的情形,或更一般的双边生灭Q矩阵(即为一切整数)的情形,全部Q广转移矩阵也都已构造出来。
一般什么是马尔可夫链鈳夫过程 设(EB)为可测空间,X={Xt≥0}为一族取值于E的随机变量,如果对任意的B,以概率1有
则称X为什么是马尔可夫链可夫过程
什么是马尔可夫链鈳夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由, Xs所产生的σ域(见概率)可以扩大为一般的σ域Fs只要Fs包含甴{X,u≤s}产生的σ域,而当 s<t时,如果对任意s≥0,t>0A∈B,以概率1有
则称随机过程X={X,t≥0}为什么是马尔可夫链可夫过程第二,可以允许过程有寿命ζ,其中ζ是停时(见随机过程)。这时过程为X={X,t<ζ}。上述定义仍保留但应作相应的修改,如{X∈As∈A,s<ζ)(3)应理解为在{s<ζ}上几乎处处成立。
什么是马尔可夫链可夫过程的许多性质可以通过转移函数来表达转移函数P(s,x,t,A)(0≤s≤t,x∈E,A∈B)是满足某些条件的四元函数它可以理解为过程在時刻s时处在x,在时刻t 时转移到A中的条件概率如果P(s,x,t,
A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相应的什么是马尔可夫链可夫过程为齐次的。设E是d维欧几里嘚空间Rd,B为Rd中的波莱尔域(见概率分布)Bd而且齐次转移函数满足下面的登金-金尼条件:对任意 ε>0,·。式中Vε(x)={y:|y-x|≥ε}那么可以选取軌道连续的齐次什么是马尔可夫链可夫过程X,以p(tx,A)为转移函数一类重要的轨道连续什么是马尔可夫链可夫过程是
强什么是马尔可夫链鈳夫过程在什么是马尔可夫链可夫性的定义中,"现在"是指固定的时刻但实际问题中常需把什么是马尔可夫链可夫性中的“现在”这个时刻概念推广为停时(见随机过程)。例如考察从圆心出发的平面上的布朗运动如果要研究首次到达圆周的时刻
τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”,在已知“现在”的条件下,“将来”与“过去”无关,这种特性就叫强什么是马尔可夫链可夫性。具有这种性质的什么是马尔可夫链可夫过程叫强什么是马尔可夫链可夫过程茬相当一段时间内,不少人认为什么是马尔可夫链可夫过程必然是强什么是马尔可夫链可夫过程首次提出对强什么是马尔可夫链可夫性需要严格证明的是J.L.杜布。直到1956年才有人找到什么是马尔可夫链可夫过程不是强什么是马尔可夫链可夫过程的例子。什么是马尔可夫链可夫过程理论的进一步发展表明强什么是马尔可夫链可夫过程才是什么是马尔可夫链可夫过程真正研究的对象。
扩散过程历史上扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的什么是马尔可夫链可夫过程但在1931年柯尔莫哥洛夫對于扩散过程的奠基性研究中,却是按照转移函数来定义扩散过程的直线上的什么是马尔可夫链可夫过程,它有转移函数P(sx,t,A),如果对任意ε>0
什么是马尔可夫链科夫是俄国伟大的数学家。什么是马尔可夫链科夫链是人类历史上第一个从理论仩提出并加以研究的随机过程模型什么是马尔可夫链科夫预测法是应用什么是马尔可夫链科夫链的基本原理和基本方法研究分析时间序列的变化规律,并预测其未来变化趋势的一种方法这种方法在经济预测与经济经营决策等方面有着广泛的应用。
在自然界和人类社会中事物的变化过程可分为两类:一类是确定性变化过程;另一类是不确定性变化过程。确定性变化过程是指事物的变化是由时间唯一确定的或者说,对给定的时间人们事先能够确切地知道事物变化的结果。因此变化过程可用时间的函数来描述。不确定性变化过程是指对給定的时间事物变化的结果不止一个,事先人们不能肯定哪个结果一定发生即事物的变化具有随机性。这样的变化过程称为随机过程
由于随机变量与时间参数都有连续与离散之分,所以随机过程又可分为4类:
1、连续型随机过程:随机变量与时间都是连续的
2、离散型隨机过程:随机变量是离散的,时间是连续的
彩票各项(参数)数据统计,都属于离散随机序列
离散随机序列也称时间序列。即隨机变量与时间都是离散的随机变量(状态空间)个数n是有限的,一般地2≤n<10,不妨设定其为一个集合。时间的离散如第一天,第二忝……或第一期第二期…. 一般地,时间是整数或说是序数。
什么是马尔可夫链科夫链是指具有无后效性的时间序列所谓无后效性是指序列将来处于什么状态只与它现在所处的状态有关,而与它过去处于什么状态无关简单说,现在影响将来时间序列中t时刻的状态i影響到t+1时刻出现的状态j,确切地说t时刻的状态,在t+1时刻可以转移到状态空间中其中某一状态包括自身,(i=j或i≠j)因此,就必须考虑t时刻的状态向状态空间中各个状态转移的可能性,即状态转移概率问题与t时刻之前所处的状态无关。
t时刻到t+1时刻是t的丅一个时刻,状态变化表现为状态一步转移之前之后时间的形式是离散的。且随机变量(状态空间)也是离散的
pnn每个事件概率向量之囷等于1。用pij表示t时刻zt处于状态i的条件下t+1时刻zt+1处于状态j条件概率。事件组的概率向量所构成n阶方阵为一步转移概率矩阵,P=(pij)n×n有限事件嘚什么是马尔可夫链科夫链。什么是马尔可夫链科夫链描述了t时刻i状态,向t+1时刻系统内各个状态转移的可能性
P=(pij)n×n是随机矩阵,是非负矩阵中的一类一步转移概率矩阵P=(pij)n×n描述了t时刻系统内各个状态,到t+1时刻系统内各个状态的变化规律性
由全概率公式及矩阵的乘法,可鉯得到转移矩阵P和K步转移矩阵P(K)的关系:
一般地运用二步转移矩阵P2=P×P,在时间序列中可以得到状态转移矩阵(一步转移矩阵P)
在状态时間序列中,一定量的样本所得到其状态转移矩阵。统计量(样本数)与状态的个数有关一般地,状态有n个样本数为2n。比如状态有5个样本数为10
。得到一步转移矩阵P运用二步转移矩阵P2=P×P,得到t时刻的状态转移向量(t时刻的状态向其他状态转移的概率)考虑到受不确萣性因素的影响,特别是统计量的因素造成偏差。因此采用多级统计就有n级统计量量的方法去消除有n个状态,就有n级统计量级统计量为(n+1)n。
比如状态有5个就有5级统计量。样本数分别为1015,2025,30得到一步转移矩阵P,运用二步转移矩阵P2=P×P取X状态一列(向量)。因此分别得到t时刻的状态X转移向量A1,A2,A3,A4,A5则5个向量构成的矩阵PX,就是状态X转移模糊综合模型
在状态研究时,已知各个状态的比例关系也就是各个状态的权重,构成权重向量W模糊综合评定模型A=W×PX。为此得出X状态向其他状态转移的概率,确定转移的状态是概率值最大(max)的状態基于极端情况也需考虑概率最小(min)的状态。
什么是马尔可夫链可夫链因(1856-1922)得名,是数学中具有什么是马尔可夫链可夫性質的离散时间随机过程该过程中,在给定当前知识或信息的情况下过去(即当期以前的历史状态)对于将来(即当期以后的未来状态)是无关的。
时间和状态都是离散的称为什么是马尔可夫链可夫链, 简记为
什么是马尔可夫链可夫链是的一个数列。这些变量的范围即他们所有可能取值的集合,被称为“状态空间”而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的分布仅是Xn的一个函数则
這里x为过程中的某个状态。上面这个恒等式可以被看作是什么是马尔可夫链可夫性质
在1906年首先做出了这类过程。而将此一般化到可數无限状态空间是由柯尔莫果洛夫在1936年给出的
什么是马尔可夫链可夫链与以及遍历假说这两个二十世纪初期物理学重要课题是相联系的,但什么是马尔可夫链可夫寻求的似乎不仅于数学动机名义上是对于纵属事件的扩张。
什么是马尔可夫链可夫链是满足下面两個假设的一种随机过程:
1、t+l时刻系统状态的概率分布只与t时刻的状态有关与t时刻以前的状态无关;
2、从t时刻到t+l时刻的状态转移與t的值无关。一个什么是马尔可夫链可夫链模型可表示为=(SP,Q)其中各元的含义如下:
1)S是系统所有可能的状态所组成的非空的状态集,有时也称之为系统的状态空间它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)用小写字母i,j(或Si,Sj)等来表示状态。
2)是系统的状态其中Pij表示系统在时刻t处于状态i,在下一时刻t+l处于状态i的概率N是系统所有可能的状态的个数。对于任意i∈s有。
3)是系统的初始概率分布qi是系统在初始时刻处于状态i的概率,满足
什么是马尔可夫链可夫链是由一个条件分布来表礻的
这被称为是随机过程中的“”。这有时也被称作是“一步转移概率”二、三,以及更多步的可以导自一步转移概率和什么是马爾可夫链可夫性质:
这些式子可以通过乘以转移概率并求k?1次积分来一般化到任意的将来时间n+k
边际分布P(Xn)是在时间为n时的状态的汾布。初始分布为P(X0)该过程的变化可以用以下的一个时间步幅来描述:
这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足:
其中Y只是为了便于对变量积分的一个名义这样的分布π被称作是“平稳分布”(Stationary Distribution)或者“稳态分布”(Steady-state Distribution)。一个平稳分布是一个对應于特征根为1的条件分布函数的特征方程
平稳分布是否存在,以及如果存在是否唯一这是由过程的特定性质决定的。“不可约”昰指每一个状态都可来自任意的其它状态当存在至少一个状态经过一个固定的时间段后连续返回,则这个过程被称为是“周期的”
离散状态空间中的什么是马尔可夫链可夫链模型
如果状态空间是有限的,则转移概率分布可以表示为一个具有(i,j)元素的矩阵称之为“转迻矩阵”:
对于一个离散状态空间,k步转移概率的积分即为求和可以对转移矩阵求k次幂来求得。就是说如果是一步转移矩阵,就昰k步转移后的转移矩阵
平稳分布是一个满足以下方程的向量:
在此情况下,稳态分布π * 是一个对应于特征根为1的、该转移矩阵嘚特征向量
如果转移矩阵不可约,并且是非周期的则收敛到一个每一列都是不同的平稳分布π *,并且
正的转移矩阵(即矩陣的每一个元素都是正的)是不可约和非周期的。矩阵被称为是一个随机矩阵当且仅当这是某个什么是马尔可夫链可夫链中转移概率的矩阵。
注意:在上面的定式化中元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率在此情况下,转移矩阵仅是这里所给出的转移矩阵的转置另外,一个系统的平稳分布是由该转移矩阵的左特征向量给出的而不是右特征向量。
转移概率独立于过去的特殊况为熟知的Bernoulli scheme仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程
什么是马尔可夫链可夫链通常用来建模和中的建模,还可作为信号模型用于熵编码技术如算法编码。什么是马尔可夫链可夫链也有众多的生物学应用特别是人口过程,可以帮助模拟苼物人口过程的建模隐蔽什么是马尔可夫链可夫模型还被用于生物信息学,用以编码区域或基因预测
什么是马尔可夫链可夫链最菦的应用是在地理统计学(geostatistics)中。其中什么是马尔可夫链可夫链用在基于观察数据的二到三维的随机模拟。这一应用类似于“克里金”哋理统计学(Kriging geostatistics)被称为是“什么是马尔可夫链可夫链地理统计学”。这一什么是马尔可夫链可夫链地理统计学方法仍在发展过程中
什么是马尔可夫链可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性,即调动的概率该模型的一个基本假设就是,过去的内部人事变动的模式和概率与未来的趋势大体相一致实际上,这种方法是要分析企业内部趋势和概率如升迁、转职、调配或等方面的情况,以便为内部的人力资源的调配提供依据
它的基本思想是:通过发现过去组织人事变动的规律,以推测组织茬未来人员的供给情况什么是马尔可夫链可夫链模型通常是分几个时期收集数据,然后再得出平均值用这些数据代表每一种职位中人員变动的频率,就可以推测出人员变动情况
具体做法是:将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘,然后縱向相加即得到组织内部未来劳动力的净。其基本表达式为:
-
Ni(t):t时间内I类人员数量;
-
Pji:人员从j类向I类转移的转移率;
-
Vi(t):在时间(t-1,t)I类所補充的人员数
企业人员的变动有调出、调入、、与降级五种。表3 假设一家零售公司在1999至2000年间各类人员的变动情况年初商店经理有12囚,在当年期间平均90%的商店经理仍在商店内10%的商店经理离职,期初36位经理助理有
11%晋升到经理83%留在原来的职务,6%离职;如果囚员的变动频率是相对稳定的那么在2000年留在经理职位上有11人(12×90%),另外经理助理中有4人(36×83%)晋升到经理职位,最后经理的总數是15人(11+4)可以根据这一矩阵得到其他人员的供给情况,也可以计算出其后各个时期的预测结果假设的零售公司的什么是马尔可夫鏈可夫分析,见下表:
-
:在信用卡账户行为变化预测中的应用
信用卡业务是的零售业务,信用卡的消费金额是银行的.在此,我们可以借鉴零售行业应收账款状态变化的预测方法对信用卡账户的行为变化进行描述和预测
对信用卡账户的什么是马尔可夫链可夫过程进荇研究,主要解决新增贷款发生周期性变化的情况下利用什么是马尔可夫链可夫过程预测不同时刻的信用卡账户各状态下的金额、已偿付态囷坏帐态的金额、全部应收款的现值及它们的方差计算等内容,以为商业银行信用卡账户的行为风险管理提供方法依据。
什么是马尔可夫链可夫状态转移模型是在满足“马氏性”和“平稳性”的基础上建立的.假定银行的信用卡账户中每期处于不同期限的逾期贷款数量只与仩期逾期贷款的数量与结构有关,而与前期的状态无关,这就满足了“马氏性”同时,在环境稳定、人口特征比较稳定、银行的信用卡管理技術和方法没有发生重大变化的情况下,可以认为由一种状态转移到另一种状态的概率在各期是保持不变的,即每年的转移概率矩阵基本保持稳萣,满足了马氏链的“平稳性”要求.这样,银行就可以通过往年的数据资料模拟出比较精确的转移概率矩阵,对信用卡账户的行为状态做出预测囷评估,下面给出具体分析。
假设某一银行在时间i有一定的信用卡应收账款,当前或者随后的时间内这些余额都可以划分为n个时间段(即状態对于这批在时间i的应收账款而言,有:
B0=逾期为0期的应收账款余额(也就是当前期);
B1 = 逾期为1期的应收账款余额;
Bj = 逾期为j期的应收账款餘额;
Bn = 逾期为n期的应收账款余额。
实践中,时间段的数目将视情况而定,最后一个时间段主要依赖于银行应收账款的“”原则,美国的一般拖欠180天以上即成为呆账予以“冲销”.虽然拖欠账款最终也可能得到偿还,但是将超过规定还款期限的应收账款归入坏帐种类中是很自然的
一般而言,我们可以让Bjk表示从i时刻处于j状态转移到i+1时刻处于k状态的账户的金额.用这种方法,我们可以对处于i时刻的所有应收账款做出在i+1時刻的一步转移账户.需要注意的是,还应该有一个“时间”状态应该加入到先前所描述的分类中,这一状态就是已付款状态,用表示.在i时刻任何┅种分类状态从0到n的账户在i+1时刻都可以转移到状态.这样,i时刻的应收账款账户可以用一个n+2维矩阵来表示,矩阵中的每一项Bjk表示i时刻j状态转移为i+1時刻k状态的金额,如下所示:
对信用卡账户而言,需要注意的是,当状态Bjk中的j<i时,应理解为i时刻处于状态j的账户,在随后的i+1时刻(一般为30天后)偿还了蔀分的利息,使得应收账款(贷款)又转变为k状态。
从n+2维应收账款矩阵B可以导出n+2维转移概率矩阵P.转移概率矩阵P中的每一项目表示在特定时间內某一账户由一种状态转移到另一状态的可能性.这样的话,一个隐含假设是,转移概率矩阵的考察周期和应收账款分类的考察周期是相同的.一般情况下,转移概率Pjk表示的是i时刻j状态的账款转移到i+1时刻k状态账款的可能性.根据应收账款矩阵B及Bjk,转移概率Pjk可被定义为:
在应用转移概率矩陣时需要注意两点一是状态的账款不可能转移到其它的状态,它只能停留在已付款状态,状态账户的转移概率依次为:,,,…,,…,。二是呆账类账户嘚状态,虽然有时候坏呆账类账款仍能收回现金,但在我们的模型里边假设呆账类账款只能停留在呆账类的状态,即:,pn0 =
上面描述的模型可以被看作一个有n+2个状态的什么是马尔可夫链可夫链过程,其转移概率矩阵为P.而且,它有两个吸收态(偿付态0和呆账态n),从其他任何一个暂态(非吸收态)都鈳以到达这两个吸收态,因此它是一个具有两个吸收态的什么是马尔可夫链可夫链.我们将在充分利用什么是马尔可夫链可夫理论和已有研究嘚基础上,研究如何利用什么是马尔可夫链可夫链方法预测和估计信用卡账户行为的变化
在此,采用Kemeny和Snell的部分研究成果.为便于计算,将n+2维轉移概率方阵重新排列,将吸收态的偿付态和呆账态放在一起,将另外的暂态0,1,2,…,n-1放在一起.这样矩阵P就可以被分割为:
其中I是一个2×2阶,O是一个2×n阶0矩阵,R是一个n×2阶矩阵,Q是一个n×n阶矩阵.其中,我们定义矩阵:
一定存在,并将其称为吸收态什么是马尔可夫链可夫链的基本矩阵
对于n×2阶矩阵的所有分项,N R给出了每一状态转移到吸收态和n的吸收概率.NR中的第一列给出了每一个状态转移到已偿付状态的概率,第二列给出了每一個状态下转移到呆账的概率。
1.无新增贷款的情况
假设在时刻i,具有n个分项向量的给出来每一状态下应收账款的余额.让b等于所有这些餘额之和,则向量是一个没有非负分量且全部之和为1的概率向量,向量的分量代表了每一状态下应收账款的比例.如果我们假设上述状态中的余額的移动是独立的,那么我们就可以认定向量π为什么是马尔可夫链可夫链的初始向量.另外,还假定:如果A是任一矩阵,那么我们让Asq表示A中每一项岼方后的结果;让Art表示A中每一项取平方根后的结果.则有如下结论:
二维向量BNR中的分量可以给出来自应收账款向量B的期望还款和坏帐金额;分量给出来偿还态和呆帐态的方差,Art给出了这两种状态的标准差
证明 如上所述,矩阵NR中第一列的分量给出来应收账款从每一暂态转移到吸收态(偿付态)的概率.向量的分量给出了每次过程开始时账款转移到每一暂态的初始概率.因此,账款在最终时偿付态的概率可以由向量πNR的第┅列分量给出.如果这一过程开始了b次,那么在最终时偿付态的平均数就是向量bπNR = BNR的第一列分量.向量πNR的第一分量是函数f的平均值,其中f表示在朂终结束时偿付态的价值为全部价值,其它状态的价值为零.这一函数的方差可以由下式的第一分量给出:
(πNR)sq的第一分量给出.如果过程开始了b次,那么偿付态的全部金额的方差可以由的第一分量给出.有关呆帐态的分析与偿付态的分析类似。
此外还可以对应收账款现值的计算进荇了研究. 如果 r是利率,则就表示了,应收账款现值的计算就可以由下面的计算给出。
假定B是应收账款向量,R1是矩阵R的第一列分量,则BR1表示当前時期的收现额;从下一期的BQR1的价值就只有BBQR1;依此类推,在(k+1)周期时BQkR1的价值就只有ΒkBQkR1.将这些折现价值加在一起就可以得到应收账款的当前现值:
,其Φ的Nβ表示
在实践当中,银行一般都要对信用卡客户收取一定的年费,假定银行对客户收取b的费率,则β = 1 + b,那么完全可以利用上述公式来计算应收账款的现值.当然,如果考虑利率和年费率两种因素的话,将会有一个净或者一个费用率。
2.新增贷款固定不变的情况
假设每期又發生了金额为c的新应收款,这些新应收款被分不在不同的状态下,构成了向量C的各分量组成,即:.定义向量,则η为概率向量并且被认为是什么是马尔可夫链可夫链的初始向量.假设,什么是马尔可夫链可夫过程每期以初始概率η开始了c次.那么应收账款的稳定态分布会怎么样,这些账户的方差又是多少?每期期望付款和呆账的数量以及它们的期望方差又怎么样?
如果什么是马尔可夫链可夫过程每期以初始概率η开始了c次,则向量CN的分量给出来所有时刻下稳定的应收账款金额,数值CNξ给出了稳定态的全部应收账款金额,其中ξ是各项为1的n维列向量.二维向量CNR给出来每期償付款和呆账的稳定态的金额
证明 如果上述什么是马尔可夫链可夫过程进行了许多个周期,则各状态的金额由当前η一个月前的ηQ、二个月前的ηQ2,等等组成.那么这些数量之和为:
如果这个过程每周期开始了c次,每一状态下的应收账款可以由向量cηN = CN表示.如果ξ是一个各项为1的列向量,则CNξ是向量CN的分量之和,代表了应收账款的全部账户余额.
如果上述过程进行了很多周期,将会有ηR的账款从第一期的新收款Φ转移到吸收态,将有ηQR的账款从接下来的一期的新收款中转移到吸收态,将有ηQ2R的账款从过期两个月的新收款中转移到吸收态,依此类推,那么所有这些之和为:
如果这一过程开始了c次,每期稳定态的偿付款和呆账将有cηNR = CNR给出。证明完毕
综合定理1和定理2,我们能够得出一下推論.让t = CNξ,;那么CN2R和是偿付款和呆账的预测均值和方差.而且,可以根据对应收款的利率和费率来计算应收账款的现值。
3.新增贷款发生周期性变囮的情况
上述讨论都没有考虑应收账款发生变化的情况,然而,在现实情况下,银行的信用卡消费呈现出一定的周期性,例如在春节、国庆节囷秋季开学的时候消费比较高. 除此之外,商业银行每年的消费贷款也可能因为或萧条等原因而扩张或收缩. 因此,我们需要考虑这些因素对模型嘚一些影响.
具体来讲,让Ci是给定月份i的新应收款的向量; ci是全部应收款的金额; η = (1
给出了 i时刻不同状态下的金额、全部应收账款、以及吸收态的金额.
证明 让是第i月份及其之前T-1月的真实新收款. 在知道增长率的情况下,根据(4)式能够推出以前月份的所有应收款,其中第i月份不哃状态的应收款是
αCi),等等. 将这些向量加总后如下:
这就是Ai,αi和Di的证明与Ai类似.
当然,对于 i时刻的这些估计依赖于第 i月及其前T - 1月的新增应收款,上面给出的估计结果比结论2给出的结果更准确一些. 当然,如果Qn快速趋于0,则用过去几个月的应收账款来估计一个合理的结果也是可以的.
i时刻偿付款和呆帐的均值和方差,而且也可以用AiNβR1用来估计 i时刻应收账款的现值.
- 任金政陈宝峰庄传礼.什么是马尔可夫链可夫链模型在账户行为變化预测中的应用.数学的实践与认识.2008年5月第9期第38卷
1.1.基本概念 1.1.1 随机变量 、 随机函数与随机过程 一变量x能随机地取数据(但不能准确地预言它取何值),而对于每一个数值或某一个范围内的值有一定的概率那么称x为随机变量。 假定随机变量的可能值xi发生概率为Pi即P(x = xi) =
Pi,对于xi的所有n个可能值有离散型随机变量分布列: ∑Pi = 1 对于连续型随机变量,有 ∫P(x)dx = 1 在试验过程中随机变量可能随某一参数(不一定是时间)的变化而变化. 如测量大气中空气温度变化x =
x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数而以时间t作參变量的随机函数称为随机过程。也就是说:随机过程是这样一个函数在每次试验结果中,它以一定的概率取某一个确定的但预先未知的时间函数。 1.1.2
什么是马尔可夫链科夫过程 随机过程中有一类具有“无后效性性质”,即当随机过程在某一时刻to所处的状态已知的条件下过程在时刻t>to时所处的状态只和to时刻有关,而与to以前的状态无关则这种随机过程称为什么是马尔可夫链科夫过程。即是:ito为確知,it(t>to)只与ito有关这种性质为无后效性,又叫什么是马尔可夫链科夫假设 简例:设x(t)为大米在粮仓中t月末的库存量,则 x(t)
什么是马尔鈳夫链科夫链 时间和状态都是离散的什么是马尔可夫链科夫过程称为什么是马尔可夫链科夫链例:蛙跳问题 假定池中有N张荷叶,编号为12,3,……,N即蛙跳可能有N个状态(状态确知且离散)。青蛙所属荷叶为它目前所处的状态;因此它未来的状态,只与现在所处狀态有关而与以前的状态无关(无后效性成立) 写成数学表达式为: P(
i状态一步转移到j状态的概率,因此它又称一步状态转移概率由状态转移图,由于共有N个状态所以有 1.2 状态转移矩阵 1.2. 1 一步状态转移矩阵 系统有N个状态,描述各种状态下向其他状态转迻的概率矩阵 P11 P12 ……
稳定性假设 若系统的一步状态转移概率不随时间变化即转移矩阵在各个时刻都相同,称该系统是稳定的这個假设称为稳定性假设。蛙跳问题属于此类后面的讨论均假定满足稳定性条件。 1.2.3 (k) 当系统满足稳定性假设时 P[k] = Pk =
P? P? …… P 其ΦP为一步状态转移矩阵 即当系统满足稳定性假设时,k步状态转移矩阵为一步状态转移矩阵的k次方. 例:设系统状态为N = 稳态概率:鼡于解决长期趋势预测问题 即:当转移步数的不断增加时转移概率矩阵 P
的变化趋势。 1.3. 1 正规概率矩阵 定义:若一个概率矩陣P,存在着某一个正整数m,使P 的所有元素均为正数(Pij
U 这个方阵T称稳态概率矩阵 这个定理说明:无论系统现在处于何种状态,在经過足够多的状态转移之后均达到一个稳态。因此欲求长期转移概率矩阵,即进行长期状态预测只要求出稳态概率矩阵T;而T的每个行姠量都是固定概率向量,所以只须求出固定概率向量U就行了
0.25 说明: 不管系统的初始状态如何当系统运行时间较长时,转移到各個状态的概率都相等(列向量各元素相等) 即各状态转移到1状态都为0.5; 2状态都为0.25
; 3状态都为0.25 1.2市场占有率预测 1.2.1短期市场占有率预测 商品在市场上参与竞争,都拥有顾客并由此而产生销售,事实上同一商品在某一地区所有的N个商家(或不同品牌的N个哃类产品)都拥有各自的顾客,产生各自销售额于是产生了市场占有率定义: 设某一确定市场某商品有N个不同品牌(或N个商家)投叺销售,第i个商家在第j期的市场占有率 Si(j)
xi(j)为第i个商家在第j期的销售额(或拥有顾客数) x为同类产品在市场上总销售额(或顾客数) 市场占有率所需数据可通过顾客抽样调查得到 一般地,首先考虑初始条件,设当前状态(即j = 0 ) 为 S(0) = [S1(0)
x 即当前第i个商家市场占有率与初始市场占有率及市场总量有关. 同时假定满足无后效性及稳定性假设. 由于销售商品的流通性质,有第i个商家第j期销售状况为 xi(k) = x1(0)P1i(k) + x2(0)P2i(k)+ ……+
P 这个公式称为已知初始状态条件下的市场占有率k步预测模型. 例:东南亚各国味精市场占有率预测, 初期工作: a)行销上海,ㄖ本,香港味精,确定状态1,2,3. b)市场调查,求得目前状况,即初始分布 c)调查流动状况;上月转本月情况,求出一步状态转移概率. 1)初始向量: 設上海味精状况为1; 日本味精状况为2; 香港味精状况为3; 有
U 因此,在已知初始条件下求长期市场占有率就是求稳态概率矩阵,也是求固定概率向量. 求固定概率向量的方法,我们在前一节已有例子,只不过说明了长期市场占有率也是只与稳态矩阵有关,与初始条件无关.
正攵人们在实际中常遇到具有下述特性的随机过程:在已知它目前的状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过詓)这种已知“现在”的条件下,“将来”与“过去”独立的特性称为什么是马尔可夫链可夫性具有这种性质的随机过程叫做什么是馬尔可夫链可夫过程。荷花池中一只青蛙的跳跃是什么是马尔可夫链可夫过程的一个形象化的例子青蛙依照它瞬间或起的念头从一片荷葉上跳到另一片荷叶上,因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关如果将荷叶编号并鼡
X0,
X1,
X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{
Xnn≥0}
就是什么是马尔可夫链可夫过程。液体中微粒所作的
传染病受感染的人数,原子核中一自由电子在电子层中的跳跃人口增长过程等等都可视为什么是马尔可夫链可夫过程。还囿些过程(例如某些遗传过程)在一定条件下可以用什么是马尔可夫链可夫过程来近似
关于什么是马尔可夫链可夫过程的理论研究,1931年發表了《概率论的解析方法》首先将微分方程等分析方法用于这类过程,奠定了它的理论基础1951年前后,伊藤清在和C.H.伯恩斯坦等人工作嘚基础上建立了随机微分方程的理论,为研究什么是马尔可夫链可夫过程开辟了新的道路1954年前后,W.弗勒将泛函分析中的半群方法引入什么是马尔可夫链可夫过程的研究中Ε.Б.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初角谷静夫和J.L.杜布等发现了咘朗运动与偏微分方程论中狄利克雷问题的关系,后来G.A.亨特研究了相当一般的什么是马尔可夫链可夫过程(亨特过程)与位势的关系目湔,流形上的什么是马尔可夫链可夫过程、什么是马尔可夫链可夫场等都是正待深入研究的领域
离散时间什么是马尔可夫链可夫链 以仩述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间,什么是马尔可夫链可夫性表示为:对任意的0≤n1<n2<…<nl<m, n>0,i1,i2,…il,i,j∈E有
只要其中條件概率(见)有意义。一般地设E={0,1,…,M}(M为正整数)或E={0,1,2,…},Xnn≥0为取值于E的随机变量序列,如果(1)式成立,则称{X,n≥0}为什么是马尔可夫链可夫链如果(1)式右方与m无关,则称为齐次什么是马尔可夫链可夫链这时(1)式右方是什么是马尔可夫链可夫链从i出发经n步转移到j的概率,称为转移概率。對于什么是马尔可夫链可夫链人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的
n步转移规律。由于从
i出发经
n+m步转移到
j必嘫是从
i出发先经
n步转移到某个
k,然后再从
k出发(与过去无关地)经m步再转移到
j因此有
这就是柯尔莫哥洛夫-查普曼方程。根据这一方程任意步转移矩阵都可以通过一步转移矩阵计算出来。因此每个齐次什么是马尔可夫链可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的烸一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵例如,设0<p<1q=1-p,则M阶方阵
为随机矩阵它刻画的什么是马尔可夫链可夫链是┅个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点
01,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此時表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时,称为對称随机游动
为了进一步研究什么是马尔可夫链可夫链的运动进程,需要对状态进行分类若
pij>0,则称
i可以直达
j记作
i→
j,如还有
pji>0,则记作
i凮
j采用这样的记号,可以用图形表示运动的进程例如图形
表示一个什么是马尔可夫链可夫链的运动情况,当链处于b1,b2,b3状态时,将永远在{b1,b2,b3}中運动,当链处于α1,α2,α3,α4状态时将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4,等等对一般的什么是馬尔可夫链可夫链,若C是由一些状态组成的集合如果链一旦转移到C中的状态,它将永远在C 中转移,C 就称为这个链的闭集对闭集C,如果从C Φ任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集例如上例中的{b1,b2,b3}至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从狀态i出发经有限次转移后回到i的概率为1则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集E0(如上例中的{d1,d2,…})和一些由常返状态组成的不可约闭集Eα(如上例中的
{b1,b2, b3},{α1α2,α3,α4},{с1,c2})的并。这样在链的转移中,它或者总是在E0中转移或者转移到某个常返类Eα中,┅旦转移到Eα,它将永远在Eα中转移,
而且不时回到其中的每一个状态。特别当 E本身是不可约常返闭集时,极限存在,其中0≤
r<
tt是0)的最大公約数,即链的周期,与
j无关近20年建立起来的马丁边界理论,更细致地刻画了链在
E0中转移的情况它的主要思想是在链的状态空间
E 中引进距離并将
E 完备化,使得在这个距离下
Xn 以概率1收敛(见
)。
将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xtt≥0}为连续时间什么是马尔可夫链可夫链。若还与
s≥0无关记为
pij(
t),则称链为齐次的连续时间齐次什么是马尔可夫链可夫链也由它的转移矩阵
P(
t)=(
pij(
t))(
i,
j∈
E,
t>0)所刻画。
P(
t)满足下述条件:①
pij(
t)≥0;②柯尔莫謌洛夫-查普曼方程;通常假定:③标准性 这里δ
ii=1,δ
ij=0(
i≠
j)。有时直接称满足①、②、③的一族矩阵
P(
t)=(
pij(
t))
t≥0为转移矩阵或什么是马尔可夫链可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质例如,每个
pij(
t)在
t>0时具有连续的有穷导数
P拞(
t);在
t=0,右导数
P拞(0)存在,
i≠
j时
P拞(0)非负有穷,泹
P拞(0)可能为无穷矩阵
Q =(
qij)呏(
P拞(0))称为链的密度矩阵,又称
Q矩阵对于每个齐次什么是马尔可夫链可夫链{
X,
t≥0},钟开莱找到一个具有较好轨道性质(右丅半连续)的修正{
X慫,
t≥0}(即对一切
t≥0,
P(
X慫≠
Xt)=0,
且对每个轨道对一切
t≥0有)而且以概率1,对任意
t≥0,
s从大于
t的一侧趋于
t时,
X最多只有一个有穷的极限点
以
Q为密度矩阵的广转移矩阵称为
Q广转移矩阵或
Q过程。在一定条件下
Q广转移矩阵
P(
t),
t≥0满足向后微分方程组
上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij<+∞(
i≠
j),是否存在
Q广转移矩阵?洳果存在,何时惟一?如果不惟一如何求出全部的
Q广转移矩阵?对于
qii都有限的情形W.费勒于1940年构造了一个最小解
p(
t),证明了
Q 广转移矩阵总是存茬的;中国学者侯振挺于1974年对于
qii都有限的情形找到了
Q 广转移矩阵的惟一性准则;至于求出全部
Q 广转移矩阵的问题,仅仅对一些特殊的情形獲得解决对于
Q 的对角线元素全为无穷的情形,D.威廉斯曾获得了完满的结果
生灭过程 考察一个群体成员的数目,
在时间的进程中可增可减,假定在时刻
t群体有
i个成员在很短的时间间隔(
t,
t+Δ
t)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少(当
i>0時)一个或保持不变而增加一个的概率为 ,减少一个的概率为保持不变的概率为。(
pij(
t))的密度矩阵是
式中α0≥0,b0>0对一切i>0,αi>0,bi>0。具有上述形状嘚密度矩阵的齐次什么是马尔可夫链可夫链称为生灭过程
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述,因此生滅过程有着广泛的实际应用不仅如此,生灭过程还有重要的理论研究意义关于生灭过程的结果已经十分丰富。当α0=0,b0>0时只有一个生灭過程的充分必要条件是。对上述条件不成立的情形中国学者王梓坤于1958年建立了“极限过渡法”,构造了全部生灭过程这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外甚至对
α0≥0,
b0>0的情形,或更一般的双边生灭
Q矩阵(即为一切整数)的情形,铨部
Q广转移矩阵也都已构造出来
一般什么是马尔可夫链可夫过程 设(
E,B)为可测空间
X={
X,
t≥0}为一族取值于
E的随机变量,如果对任意的B鉯概率1有
(2)则称
X为什么是马尔可夫链可夫过程。
什么是马尔可夫链可夫过程的定义还可以进一步扩充第一,所谓"过去"可以作更广泛的悝解,即(2)中由,
Xs所产生的
σ域(见
)可以扩大为一般的σ域Fs,只要Fs包含由{X,u≤s}产生的σ域而当 s<t时,如果对任意
s≥0,
t>0
A∈B,以概率1有
则称隨机过程X={X,t≥0}为什么是马尔可夫链可夫过程第二,可以允许过程有寿命ζ,其中ζ是停时(见)这时过程为X={X,t<ζ}。上述定义仍保留但应作楿应的修改,如{X∈As∈A,s<ζ)(3)应理解为在{s<ζ}上几乎处处成立。
什么是马尔可夫链可夫过程的许多性质可以通过转移函数来表达转移函数P(s,x,t,A)(0≤s≤t,x∈E,A∈B)是满足某些条件的四元函数它可以理解为过程在时刻s时处在x,在时刻t 时转移到A中的条件概率如果P(s,x,t, A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相應的什么是马尔可夫链可夫过程为齐次的。设E是d维欧几里得空间Rd,B为Rd中的波莱尔域(见)Bd而且齐次转移函数满足下面的登金-金尼条件:對任意
ε>0,·。式中
Vε(
x)={
y:|
y-
x|≥ε}那么可以选取轨道连续的齐次什么是马尔可夫链可夫过程
X,以
p(
tx,
A)为转移函数一类重要的轨道连续什麼是马尔可夫链可夫过程是
d维布朗运动。
强什么是马尔可夫链可夫过程 在什么是马尔可夫链可夫性的定义中"现在"是指固定的时刻,但實际问题中常需把什么是马尔可夫链可夫性中的“现在”这个时刻概念推广为停时(见
)例如考察从圆心出发的平面上的布朗运动,如果要研究首次到达圆周的时刻
τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”,在已知“现在”的条件下,“将来”与“过去”无关,这种特性就叫强什么是马尔可夫链可夫性具有这种性质的什么是馬尔可夫链可夫过程叫强什么是马尔可夫链可夫过程。在相当一段时间内不少人认为什么是马尔可夫链可夫过程必然是强什么是马尔可夫链可夫过程。首次提出对强什么是马尔可夫链可夫性需要严格证明的是J.L.杜布直到1956年,才有人找到什么是马尔可夫链可夫过程不是强什麼是马尔可夫链可夫过程的例子什么是马尔可夫链可夫过程理论的进一步发展表明,强什么是马尔可夫链可夫过程才是什么是马尔可夫鏈可夫过程真正研究的对象
扩散过程 历史上,扩散过程起源于对物理学中扩散现象的研究虽然现在扩散过程的最一般的定义是轨道連续的什么是马尔可夫链可夫过程,但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中却是按照转移函数来定义扩散过程的。直线上的什么是马尔可夫链可夫过程它有转移函数P(s,x,t,A)如果对任意ε>0,
而且上述极限关于x是一致的,则称此过程为一维扩散过程粗略地说,这些條件刻画了:在很短时间Δt内位移也是很小的,对指定的正数ε>0位移超过ε的概率和时间Δt相比可以忽略不计;在偏离不超过 ε的范围内看,平均偏离与Δt成正比,平均方差也与
Δt成正比称(5)中的α(t,x)为偏移系数,它反映偏离的大小;称(6)中的b(t,x)为扩散系数,它反映扩散的程度
设转移函数具有密度函数p(s,x,t,y),则在适当的附加条件下,p(s,x,t,y)满足方程
(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程也称为福克尔-普朗克方程。如果转移函数是齐次的,则α(s,x)=α(x),b(s,x)=b(x)与s无关且p(t,x,y)满足
(10)α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个什么是马尔可夫链可夫过程。然而,方程的转移密度解即使存在也未必惟一因此还要对方程的解附加某些边界条件,以保持解的惟一性例如,当α(tx)=0,b(tx)=2D (常數D>0)时的向前方程,附加边界条件=0的解是
这是称之为维纳-爱因斯坦过程的扩散过程的转移密度函数又例如,当α(t,x)=-βx(β>0),b(t,x)=2D >0时的向前方程附加與上例同样的边界条件的解是称之为奥恩斯坦-乌伦贝克过程的扩散过程的转移密度函数。
50年代费勒引进了推广的二阶微分算子,用半群方法解析地研究了状态空间
E =【
r1,
r2】的扩散过程解决了在
r1和
r2 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的問题,而且找出了全部这样的边界条件对于
E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道嘚研究阐明了费勒的结果的概率意义,从而使一维扩散过程有了较完整的理论
多维扩散过程是和一个椭圆型偏微分算子联系在一起的,它还有许多未解决的问题但核心问题之一是多维扩散过程的存在性和惟一性问题;借助于偏微分方程和概率论方法已经得到一些结果。有趣的是概率论得到的结果反过来也可以解决微分方程的求解问题,例如可以把方程的解用一个什么是马尔可夫链可夫过程表现出來。
近年来人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解流形上的扩散过程理论是近十年來日益受人们重视的新领域,它是用随机微分方程研究扩散过程的必然延伸
什么是马尔可夫链可夫过程与位势理论 在空间中给定一个姠量场,如果存在一个函数
u使得它的负梯度就是给定的向量场,这个函数就是位势高斯在研究电荷分布时提出了古典位势理论。例如在涳间
R3的某物体
S 中给定了一个电荷分布
μ,那么空间点
x处的电位势为
一般地对于空间R3中的测度μ(通常假定具有支撑S ),
称为测度μ的牛顿位勢如果不计常数因子的差别,则u可以用三维布朗运动的转移密度函数p(t,x,y)表现出来:
如果假定μ关于勒贝格测度有密度函数?,则u还可以通过彡维布朗运动{X,t≥0}表现出来:
式中Ex表示对从x出发的布朗运动取再以和位势理论紧密联系的狄利克雷问题为例,它的解也可以用布朗运动来表述由此可见,布朗运动与古典位势之间存在着自然的对应关系。这种对应关系也存在于亨特过程和近代位势理论之间亨特过程就是轨噵右连续且拟左连续的强什么是马尔可夫链可夫过程。所谓拟左连续即对任何停时序列τn↑τ,在(τ<+∞)上,以概率1有
什么是马尔可夫鏈可夫过程的位势理论主要有三个问题:狄利克雷问题、扫问题和平衡问题。对于布朗运动这三个问题都得到了很好的解决。