马尔可夫过程
概论
数学模型
对于某些类型的随机过程,很容易通过状态定义列方程推导出是否具有马尔可夫性质,但对于另外一些,需要使用马尔可夫性质中描述的一些更加复杂的数学技巧。举一个简单的例子,设某个随机过程他的状态 X 可取到一个离散集合中的值,该值随时间 t 变化,可将该值表示为 X ( t )。在这里,时间变量是离散或连续不影响讨论的结果。考虑任意一个“过去的时间”集合(..., p 2 , p 1 ), 任何“当前时间” s , 以及任何“未来时间” t , 同时所有这些时间全都在 X 的取值范围之内,若有
则马尔可夫性质成立, 并且该过程为马尔可夫过程, 如果式
对于所有的取值( ... , x ( p 2 ), x ( p 1 ), x ( s ), x ( t ) ), 以及所有的时间集合成立。 则可用条件概率计算得出
与任何过去的取值( ... , x ( p 2 ), x ( p 1 ) )不相关,这恰好就是所谓的未来的状态与任何历史的状态无关,仅与当前状态相关。
二阶马尔可夫过程
在某些情况下,如果将“现在”和“未来”的概念扩展,某些明显的非马尔可夫过程仍然可能具有某些马尔可夫过程的性质。举例来说,令 X 是一个非马尔可夫过程,现在构造一个过程 Y ,使其每个状态对应于 X 的一个时段的状态。从而有如下形式:
如果 Y 具有马尔可夫性质,则称 X 为二阶马尔可夫过程,据此也可定义更高阶马尔可夫过程。一个高阶马尔可夫过程的例子是移动平均的时间序列
马尔可夫性质
马尔可夫性质 是概率论中的一个概念。当一个随机过程在给定现在状态及所有过去状态情况下,其未来状态的条件概率分布仅依赖于当前状态;换句话说,在给定现在状态时,它与过去状态(即该过程的历史路径)是条件独立的,那么此随机过程即具有 马尔可夫性质 。具有马尔可夫性质的过程通常称之为 马尔可夫过程 。
数学上,如果 X ( t ) , t > 0 {\displaystyle X(t),t>0} 为一个随机过程,则 马尔可夫性质 就是指
马尔可夫过程通常称其为 (时间)齐次 ,如果满足
除此之外则被称为是 (时间)非齐次 的。齐次马尔可夫过程通常比非齐次的简单,构成了最重要的一类马尔可夫过程。
某些情况下,明显的非马尔可夫过程也可以通过扩展“现在”和“未来”状态的概念来构造一个马尔可夫表示。设 X {\displaystyle X} 为一个非马尔可夫过程。我们就可以定义一个新的过程 Y {\displaystyle Y} ,使得每一个 Y {\displaystyle Y} 的状态表示 X {\displaystyle X} 的一个时间区间上的状态,用数学方法来表示,即,
如果 Y {\displaystyle Y} 具有马尔可夫性质,则它就是 X {\displaystyle X} 的一个马尔可夫表示。 在这个情况下, X {\displaystyle X} 也可以被称为是 二阶马尔可夫过程 。 更高阶马尔可夫过程 也可类似地来定义。
具有马尔可夫表示的非马尔可夫过程的例子,例如有移动平均时间序列。
最有名的马尔可夫过程为马尔可夫链,但不少其他的过程,包括布朗运动也是马尔可夫过程。
相关条目
马尔可夫链
免责声明:以上内容版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。感谢每一位辛勤著写的作者,感谢每一位的分享。
- 有价值
- 一般般
- 没价值