马尔可夫链（英语：Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain，缩写为DTMC[1]），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

[micxp_threadbk] [micxp_title] 介绍 形式化定义 瞬态演变 性质 周期性 重现性 各态历遍性 律动性 平稳状态分析和极限分布 平稳状态分析和时齐马尔可夫链 有限状态空间 有限状态空间内的时齐马尔可夫链 趋向稳定分布的收敛速度 可反转马尔可夫链 伯努利方案 一般的状态空间 局部交互的马尔可夫链 应用 化学 测试 语音识别 信息科学 排队理论 互联网应用 统计 经济和金融 社会科学 生物数学 遗传学 游戏 音乐 棒球 马尔可夫文本生成器 Fitting 历史 （隐藏式）隐马尔可夫模型 参看 注释 参考文献 外部链接 [/micxp_title] [#] 马尔可夫链是满足马尔可夫性质的随机过程。 [##] 马尔可夫链是满足马尔可夫性质的随机变量序列X1, X2, X3, ...，即给出当前状态，将来状态和过去状态是相互独立的。从形式上看，

如果两边的条件分布有定义（即如果${\displaystyle Pr(X_1=x_1,...,X_n=x_n)>0}$），则${\displaystyle Pr(X_{n+1}=x\mid X_1=x_1,X_2=x_2,\dots ,X_n=x_n)=Pr(X_{n+1}=x\mid X_n=x_n)}$。

Xi的可能值构成的可数集S叫做该链的“状态空间”。 通常用一系列有向图来描述马尔可夫链，其中图n的边用从时刻n的状态到时刻n+1的状态的概率${\displaystyle Pr(X_{n+1}=x\mid X_n=x_n)}$来标记。也可以用从时刻n到时刻n+1的转移矩阵表示同样的信息。但是，马氏链常常被假定为时齐的（见下文的变种），在这种情况下，图和矩阵与n无关，因此也不表现为序列。 这些描述强调了马尔可夫链与初始分布${\displaystyle Pr(X_1=x_1)}$无关这一结构。当时齐的时候，可以认为马氏链是分配从一个顶点或状态跳变到相邻一个的概率的状态机。可以把机器状态的概率${\displaystyle Pr(X_n=x|X_1=x_1)}$作为仅有元素${\displaystyle x_1}$的状态空间为输入的机器的统计行为分析，或作为初始分布为${\displaystyle Pr(X_1=y)=[x_1=y]}$状态为输入的机器行为，其中${\displaystyle [P]}$是艾佛森括号。 一些状态序列可能会有零概率的事件，对应多连通（英语：Connected component (graph theory)）的图，而我们禁止转移概率为0的边。例如，若a到b的概率非零，但a到x位于图的不同连通分量，那么${\displaystyle Pr(X_{n+1}=b|X_n=a)}$有意义，而${\displaystyle Pr(X_{n+1}=b|X_1=x,...,X_n=a)}$无意义。 [###] 用n步从状态i到状态j的概率为

${\displaystyle p_{ij}^{(n)}=Pr(X_n=j\mid X_0=i)}$

而单步转移是

${\displaystyle p_{ij}=Pr(X_1=j\mid X_0=i).}$

对于一个时齐马尔可夫链来说：

${\displaystyle p_{ij}^{(n)}=Pr(X_{k+n}=j\mid X_k=i)}$

而且

${\displaystyle p_{ij}=Pr(X_{k+1}=j\mid X_k=i).}$

n步转移概率满足Chapman-Kolmogorov等式，对任意k使得0 < k < n，

${\displaystyle p_{ij}^{(n)}=\sum _{r\in S}{p}_{ir}^{(k)}{p}_{rj}^{(n-k)}}$

其中S为此马尔可夫链的状态空间。 边缘分布Pr(Xn = x)为第n次状态的分布。初始分布为Pr(X0 = x)。用一步转移把过程演变描述为

${\displaystyle Pr(X_n=j)=\sum _{r\in S}{p}_{rj}Pr(X_{n-1}=r)=\sum _{r\in S}{p}_{rj}^{(n)}Pr(X_0=r)}$。

注意：上标（n）是索引而非指数。 [####] [#####] 边缘分布${\displaystyle P(X_n)}$是在时间为${\displaystyle n}$时的状态的分布。初始分布为${\displaystyle P(X_0)}$。该过程的变化可以用以下的一个时间步幅来描述：

${\displaystyle P(X_{n+1})=\int P(X_{n+1}|X_n)P(X_n)d{X}_n}$

这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布${\displaystyle \pi }$满足

${\displaystyle \pi (X)=\int P(X|Y)\pi (Y)dY}$

其中${\displaystyle Y}$只是为了便于对变量积分的一个名义。这样的分布${\displaystyle \pi }$被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征值为${\displaystyle 1}$的条件分布函数的特征方程。 平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。 [######] [#######] 具有重现性而不具有周期性叫做遍历的。重现性包括局部重现性。 [########] [#########] [##########] [###########] 若状态空间是有限的，则转移概率分布可以矩阵表示，该矩阵称为转移矩阵，记为P。其中处于${\displaystyle (i,j)}$的元素等于

${\displaystyle p_{ij}=Pr(X_{n+1}=j\mid X_n=i).}$

由于P的每一行各元素之和为1，且P中所有的元素都是非负的，因此P是一个右随机矩阵。 [############] 对于一个离散状态空间，${\displaystyle k}$步转移概率的积分即为求和，可以对转移矩阵求${\displaystyle k}$次幂来求得。就是说，如果${\displaystyle \mathbf{P}}$是一步转移矩阵，${\displaystyle {\mathbf{P}}^k}$就是${\displaystyle k}$步转移后的转移矩阵。 如果转移矩阵${\displaystyle \mathbf{P}}$不可约，并且是非周期的，则${\displaystyle {\mathbf{P}}^k}$收敛到一个每一列都是不同的平稳分布${\displaystyle {\pi }^{\ast }}$，并且，

${\displaystyle \underset{k\to \mathrm{\infty }}{lim}{\mathbf{P}}^k={\pi }^{\ast }}$,

独立于初始分布${\displaystyle \pi }$。这是由Perron-Frobenius theorem所指出的。 正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。 注意：在上面的定式化中，元素${\displaystyle (i,j)}$是由j转移到i的概率。有时候一个由元素${\displaystyle (i,j)}$给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵（每列的和为1）的右特征向量给出的，而不是左特征向量。 转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为伯努利过程 [#############] [##############] 可反转马尔可夫链类似于应用贝叶斯定理来反转一个条件概率：

以上就是反转的马尔可夫链。因而，如果存在一个π，使得：

${\displaystyle {\pi }_i{p}_{ij}={\pi }_j{p}_{ji}.}$

那么这个马尔可夫链就是可反转的。 这个条件也被称为细致平衡（detailed balance）条件。 对于所有的i求和：

${\displaystyle \sum _i{\pi }_i{p}_{ij}={\pi }_j}$

所以，对于可反转马尔可夫链，π总是一个平稳分布。 [###############] 伯努利方案是马尔可夫链的一种特殊情形，其转移概率矩阵有相同的行，即下一状态均匀独立于当前状态（除了独立于过往状态以外）。 仅有两个可能状态的伯努利方案是伯努利过程。 [################] 对于一般状态空间上的马尔可夫链的概述，详见文章状态空间可测的马尔可夫链。 [#################] [##################] [###################] [####################] [#####################] [######################] [#######################] [########################] 谷歌所使用的网页排序算法（PageRank）就是由马尔可夫链定义的。马尔可夫模型也被应用于分析用户浏览网页的行为。一阶或者二阶的马尔可夫模型可以用于对一个用户从某一网络链接转移到另一链接的行为进行建模，然后这些模型可以用于对用户之后的浏览行为进行预测。 [#########################] [##########################] [###########################] [############################] 马尔可夫链也有众多的生物学应用，特别是增殖过程，可以帮助模拟生物增殖过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测（见哈代-温伯格定律。） [#############################] [##############################] [###############################] [################################] [#################################] 马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。 [##################################] [###################################] 俄国数学家安德雷·安德耶维齐·马尔可夫. 马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由俄国数学家柯尔莫果洛夫（俄语：Андре́й Никола́евич Колмого́ров）在1936年给出的。马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 [####################################]

• 语音辨识

[#####################################]

• 马尔可夫性质
• 马尔可夫
• 隐马尔可夫模型

[######################################]

1. ^ Norris, James R. Markov chains. Cambridge University Press. 1998. 

[#######################################]

• A.A. Markov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, tom 15, pp 135-156, 1906.
• A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons, 1971.
• Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 978-0-89871-296-4. （See Chapter 7.）
• J.L. Doob. Stochastic Processes. New York: John Wiley and Sons, 1953. ISBN 978-0-471-52369-7.

[########################################]

• 免费的《概率论入门》书中有关马尔可夫链的章节
• 生成文本（有关使用马尔可夫链产生随机文本）
• 世界上最大的矩阵计算（Google's PageRank as the stationary distribution of a random walk through the Web.）
• Disassociated Press in Emacs approximates a Markov process
• [1] Markov chains used to produce semi-coherent English.
• 有关马尔可夫链的资源列表

查 论 编 概率论：随机过程 离散时间（英语：Discrete-time stochastic process） 伯努利过程 Branching process（英语：Branching process） 中餐馆过程 Galton–Watson process（英语：Galton–Watson process） Independent and identically distributed random variables（英语：Independent and identically distributed random variables） 马尔可夫链 Moran process（英语：Moran process） 随机游走 Loop-erased（英语：Loop-erased random walk） Self-avoiding（英语：Self-avoiding walk） 连续时间（英语：Continuous-time stochastic process） Bessel process（英语：Bessel process） 出生-死亡过程 维纳过程/布朗运动 布朗桥 Excursion（英语：Brownian excursion） Fractional（英语：Fractional Brownian motion） 几何布朗运动 Meander（英语：Brownian meander） Cauchy process（英语：Cauchy process） Contact process（英语：Contact process (mathematics)） Cox process（英语：Cox process） Diffusion process（英语：Diffusion process） Empirical process（英语：Empirical process） Feller process（英语：Feller process） Fleming–Viot process（英语：Fleming–Viot process） Gamma process（英语：Gamma process） Hunt process（英语：Hunt process） Interacting particle system（英语：Interacting particle system）s 伊藤积分 伊藤过程 Jump diffusion（英语：Jump diffusion） 跳跃过程 莱维过程 Local time（英语：Local time (mathematics)） Markov additive process（英语：Markov additive process） McKean–Vlasov process（英语：McKean–Vlasov process） Ornstein–Uhlenbeck process（英语：Ornstein–Uhlenbeck process） 泊松过程 Compound（英语：Compound Poisson process） Non-homogeneous Point process Schramm–Loewner evolution（英语：Schramm–Loewner evolution） 半鞅 Sigma-martingale（英语：Sigma-martingale） Stable process（英语：Stable process） Superprocess（英语：Superprocess） Telegraph process（英语：Telegraph process） Variance gamma process（英语：Variance gamma process） 维纳过程 Wiener sausage（英语：Wiener sausage） Both Branching process（英语：Branching process） Gaussian process（英语：Gaussian process） 隐马尔可夫模型（HMM） 马尔可夫过程 鞅 Differences（英语：Martingale difference sequence） Local（英语：Local martingale） Sub- Super-（英语：Super-） Random dynamical system（英语：Random dynamical system） Regenerative process（英语：Regenerative process） Renewal process（英语：Renewal process） 白噪声 Fields and other Dirichlet process（英语：Dirichlet process） Gaussian random field（英语：Gaussian random field） Gibbs measure（英语：Gibbs measure） Hopfield神经网络 易辛模型 马尔可夫网络 Percolation（英语：Percolation theory） Pitman–Yor process（英语：Pitman–Yor process） Point process（英语：Point process） Cox（英语：Point process#Cox point process） Poisson Potts model（英语：Potts model） 随机场 随机图 时间序列模型 ARCH模型 ARIMA模型 自回归模型 ARMA模型 广义ARCH模型 滑动平均模型（英语：Moving-average model） 金融模型 Black–Derman–Toy（英语：Black–Derman–Toy model） Black–Karasinski（英语：Black–Karasinski model） 布莱克-舒尔兹模型 陈模型 Constant elasticity of variance (CEV)（英语：Constant elasticity of variance model） Cox–Ingersoll–Ross (CIR)（英语：Cox–Ingersoll–Ross model） Garman–Kohlhagen（英语：Garman–Kohlhagen model） Heath–Jarrow–Morton (HJM)（英语：Heath–Jarrow–Morton framework） Heston（英语：Heston model） Ho–Lee（英语：Ho–Lee model） 赫尔怀特模型 LIBOR market（英语：LIBOR market model） SABR volatility（英语：SABR volatility model） Vašícek（英语：Vasicek model） 精算学 Bühlmann（英语：Bühlmann model） Cramér–Lundberg（英语：Cramér–Lundberg model） Risk process（英语：Risk process） Sparre–Anderson（英语：Sparre–Anderson model） 等候理论 Bulk（英语：Bulk queue） Fluid（英语：Fluid queue） Generalized queueing network（英语：G-network） M/G/1（英语：M/G/1 queue） M/M/1 M/M/c（英语：M/M/c queue） 性质 右连左极函数 Continuous（英语：Continuous stochastic process） Continuous paths（英语：Sample-continuous process） 遍历性 Exchangeable（英语：Exchangeable random variables） Feller-continuous（英语：Feller-continuous process） Gauss–Markov（英语：Gauss–Markov process） 马尔可夫性质 Mixing（英语：Mixing (mathematics)） Piecewise deterministic（英语：Piecewise deterministic Markov process） 可预测过程 循序可测过程 Self-similar（英语：Self-similar process） 平稳过程 Time-reversible（英语：Time reversibility） Limit theorems 中心极限定理 Donsker's theorem（英语：Donsker's theorem） Doob's martingale convergence theorems（英语：Doob's martingale convergence theorems） 遍历理论 Fisher–Tippett–Gnedenko theorem（英语：Fisher–Tippett–Gnedenko theorem） Large deviation principle（英语：Large deviation principle） 大数定律 重对数律 Maximal ergodic theorem（英语：Maximal ergodic theorem） Sanov's theorem（英语：Sanov's theorem） 不等式 Burkholder–Davis–Gundy（英语：Burkholder–Davis–Gundy inequalities） Doob's martingale（英语：Doob's martingale inequality） Kunita–Watanabe（英语：Kunita–Watanabe inequality） 工具 Cameron–Martin formula（英语：Cameron–Martin formula） 随机变量的收敛 Doléans-Dade exponential（英语：Doléans-Dade exponential） Doob decomposition theorem（英语：Doob decomposition theorem） Doob–Meyer decomposition theorem（英语：Doob–Meyer decomposition theorem） Doob's optional stopping theorem（英语：Doob's optional stopping theorem） Dynkin's formula（英语：Dynkin's formula） 费曼－卡茨公式 右连左极函数 Girsanov theorem（英语：Girsanov theorem） Infinitesimal generator（英语：Infinitesimal generator (stochastic processes)） 伊藤积分 伊藤引理 Kolmogorov continuity theorem（英语：Kolmogorov continuity theorem） Kolmogorov extension theorem（英语：Kolmogorov extension theorem） Lévy–Prokhorov metric（英语：Lévy–Prokhorov metric） Malliavin calculus（英语：Malliavin calculus） Martingale representation theorem（英语：Martingale representation theorem） Optional stopping theorem（英语：Optional stopping theorem） Prohorov theorem（英语：Prohorov theorem） Quadratic variation（英语：Quadratic variation） Reflection principle（英语：Reflection principle (Wiener process)） Skorokhod integral（英语：Skorokhod integral） Skorokhod's representation theorem（英语：Skorokhod's representation theorem） 右连左极函数 Snell envelope（英语：Snell envelope） 随机微分方程 Tanaka（英语：Tanaka equation） 停时 随机积分 Uniform integrability（英语：Uniform integrability） Usual hypotheses（英语：Usual hypotheses） 维纳空间 Classical（英语：Classical Wiener space） Abstract Disciplines 精算学 计量经济学 遍历理论 极值理论（EVT） Large deviations theory（英语：Large deviations theory） 金融数学 数理统计学 概率论 等候理论 Renewal theory（英语：Renewal theory） Ruin theory（英语：Ruin theory） 统计学 随机分析 时间序列分析 机器学习 List of topics 分类

规范控制 GND: 4037612-6

分类：

• 概率论
• 随机过程

隐藏分类：

• 含有俄语的条目
• 包含规范控制信息的博牛百科条目

[/micxp_threadbk]

马尔可夫链（英语：Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain，缩写为DTMC[1]），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

[micxp_threadbk] [micxp_title] 介绍 形式化定义 瞬态演变 性质 周期性 重现性 各态历遍性 律动性 平稳状态分析和极限分布 平稳状态分析和时齐马尔可夫链 有限状态空间 有限状态空间内的时齐马尔可夫链 趋向稳定分布的收敛速度 可反转马尔可夫链 伯努利方案 一般的状态空间 局部交互的马尔可夫链 应用 化学 测试 语音识别 信息科学 排队理论 互联网应用 统计 经济和金融 社会科学 生物数学 遗传学 游戏 音乐 棒球 马尔可夫文本生成器 Fitting 历史 （隐藏式）隐马尔可夫模型 参看 注释 参考文献 外部链接 [/micxp_title] [#] 马尔可夫链是满足马尔可夫性质的随机过程。 [##] 马尔可夫链是满足马尔可夫性质的随机变量序列X1, X2, X3, ...，即给出当前状态，将来状态和过去状态是相互独立的。从形式上看，

如果两边的条件分布有定义（即如果${\displaystyle Pr(X_1=x_1,...,X_n=x_n)>0}$），则${\displaystyle Pr(X_{n+1}=x\mid X_1=x_1,X_2=x_2,\dots ,X_n=x_n)=Pr(X_{n+1}=x\mid X_n=x_n)}$。

Xi的可能值构成的可数集S叫做该链的“状态空间”。 通常用一系列有向图来描述马尔可夫链，其中图n的边用从时刻n的状态到时刻n+1的状态的概率${\displaystyle Pr(X_{n+1}=x\mid X_n=x_n)}$来标记。也可以用从时刻n到时刻n+1的转移矩阵表示同样的信息。但是，马氏链常常被假定为时齐的（见下文的变种），在这种情况下，图和矩阵与n无关，因此也不表现为序列。 这些描述强调了马尔可夫链与初始分布${\displaystyle Pr(X_1=x_1)}$无关这一结构。当时齐的时候，可以认为马氏链是分配从一个顶点或状态跳变到相邻一个的概率的状态机。可以把机器状态的概率${\displaystyle Pr(X_n=x|X_1=x_1)}$作为仅有元素${\displaystyle x_1}$的状态空间为输入的机器的统计行为分析，或作为初始分布为${\displaystyle Pr(X_1=y)=[x_1=y]}$状态为输入的机器行为，其中${\displaystyle [P]}$是艾佛森括号。 一些状态序列可能会有零概率的事件，对应多连通（英语：Connected component (graph theory)）的图，而我们禁止转移概率为0的边。例如，若a到b的概率非零，但a到x位于图的不同连通分量，那么${\displaystyle Pr(X_{n+1}=b|X_n=a)}$有意义，而${\displaystyle Pr(X_{n+1}=b|X_1=x,...,X_n=a)}$无意义。 [###] 用n步从状态i到状态j的概率为

${\displaystyle p_{ij}^{(n)}=Pr(X_n=j\mid X_0=i)}$

而单步转移是

${\displaystyle p_{ij}=Pr(X_1=j\mid X_0=i).}$

对于一个时齐马尔可夫链来说：

${\displaystyle p_{ij}^{(n)}=Pr(X_{k+n}=j\mid X_k=i)}$

而且

${\displaystyle p_{ij}=Pr(X_{k+1}=j\mid X_k=i).}$

n步转移概率满足Chapman-Kolmogorov等式，对任意k使得0 < k < n，

${\displaystyle p_{ij}^{(n)}=\sum _{r\in S}{p}_{ir}^{(k)}{p}_{rj}^{(n-k)}}$

其中S为此马尔可夫链的状态空间。 边缘分布Pr(Xn = x)为第n次状态的分布。初始分布为Pr(X0 = x)。用一步转移把过程演变描述为

${\displaystyle Pr(X_n=j)=\sum _{r\in S}{p}_{rj}Pr(X_{n-1}=r)=\sum _{r\in S}{p}_{rj}^{(n)}Pr(X_0=r)}$。

注意：上标（n）是索引而非指数。 [####] [#####] 边缘分布${\displaystyle P(X_n)}$是在时间为${\displaystyle n}$时的状态的分布。初始分布为${\displaystyle P(X_0)}$。该过程的变化可以用以下的一个时间步幅来描述：

${\displaystyle P(X_{n+1})=\int P(X_{n+1}|X_n)P(X_n)d{X}_n}$

这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布${\displaystyle \pi }$满足

${\displaystyle \pi (X)=\int P(X|Y)\pi (Y)dY}$

其中${\displaystyle Y}$只是为了便于对变量积分的一个名义。这样的分布${\displaystyle \pi }$被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征值为${\displaystyle 1}$的条件分布函数的特征方程。 平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。 [######] [#######] 具有重现性而不具有周期性叫做遍历的。重现性包括局部重现性。 [########] [#########] [##########] [###########] 若状态空间是有限的，则转移概率分布可以矩阵表示，该矩阵称为转移矩阵，记为P。其中处于${\displaystyle (i,j)}$的元素等于

${\displaystyle p_{ij}=Pr(X_{n+1}=j\mid X_n=i).}$

由于P的每一行各元素之和为1，且P中所有的元素都是非负的，因此P是一个右随机矩阵。 [############] 对于一个离散状态空间，${\displaystyle k}$步转移概率的积分即为求和，可以对转移矩阵求${\displaystyle k}$次幂来求得。就是说，如果${\displaystyle \mathbf{P}}$是一步转移矩阵，${\displaystyle {\mathbf{P}}^k}$就是${\displaystyle k}$步转移后的转移矩阵。 如果转移矩阵${\displaystyle \mathbf{P}}$不可约，并且是非周期的，则${\displaystyle {\mathbf{P}}^k}$收敛到一个每一列都是不同的平稳分布${\displaystyle {\pi }^{\ast }}$，并且，

${\displaystyle \underset{k\to \mathrm{\infty }}{lim}{\mathbf{P}}^k={\pi }^{\ast }}$,

独立于初始分布${\displaystyle \pi }$。这是由Perron-Frobenius theorem所指出的。 正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。 注意：在上面的定式化中，元素${\displaystyle (i,j)}$是由j转移到i的概率。有时候一个由元素${\displaystyle (i,j)}$给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵（每列的和为1）的右特征向量给出的，而不是左特征向量。 转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为伯努利过程 [#############] [##############] 可反转马尔可夫链类似于应用贝叶斯定理来反转一个条件概率：

以上就是反转的马尔可夫链。因而，如果存在一个π，使得：

${\displaystyle {\pi }_i{p}_{ij}={\pi }_j{p}_{ji}.}$

那么这个马尔可夫链就是可反转的。 这个条件也被称为细致平衡（detailed balance）条件。 对于所有的i求和：

${\displaystyle \sum _i{\pi }_i{p}_{ij}={\pi }_j}$

所以，对于可反转马尔可夫链，π总是一个平稳分布。 [###############] 伯努利方案是马尔可夫链的一种特殊情形，其转移概率矩阵有相同的行，即下一状态均匀独立于当前状态（除了独立于过往状态以外）。 仅有两个可能状态的伯努利方案是伯努利过程。 [################] 对于一般状态空间上的马尔可夫链的概述，详见文章状态空间可测的马尔可夫链。 [#################] [##################] [###################] [####################] [#####################] [######################] [#######################] [########################] 谷歌所使用的网页排序算法（PageRank）就是由马尔可夫链定义的。马尔可夫模型也被应用于分析用户浏览网页的行为。一阶或者二阶的马尔可夫模型可以用于对一个用户从某一网络链接转移到另一链接的行为进行建模，然后这些模型可以用于对用户之后的浏览行为进行预测。 [#########################] [##########################] [###########################] [############################] 马尔可夫链也有众多的生物学应用，特别是增殖过程，可以帮助模拟生物增殖过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测（见哈代-温伯格定律。） [#############################] [##############################] [###############################] [################################] [#################################] 马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。 [##################################] [###################################] 俄国数学家安德雷·安德耶维齐·马尔可夫. 马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由俄国数学家柯尔莫果洛夫（俄语：Андре́й Никола́евич Колмого́ров）在1936年给出的。马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 [####################################]

• 语音辨识

[#####################################]

• 马尔可夫性质
• 马尔可夫
• 隐马尔可夫模型

[######################################]

1. ^ Norris, James R. Markov chains. Cambridge University Press. 1998. 

[#######################################]

• A.A. Markov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, tom 15, pp 135-156, 1906.
• A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons, 1971.
• Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 978-0-89871-296-4. （See Chapter 7.）
• J.L. Doob. Stochastic Processes. New York: John Wiley and Sons, 1953. ISBN 978-0-471-52369-7.

[########################################]

• 免费的《概率论入门》书中有关马尔可夫链的章节
• 生成文本（有关使用马尔可夫链产生随机文本）
• 世界上最大的矩阵计算（Google's PageRank as the stationary distribution of a random walk through the Web.）
• Disassociated Press in Emacs approximates a Markov process
• [1] Markov chains used to produce semi-coherent English.
• 有关马尔可夫链的资源列表

查 论 编 概率论：随机过程 离散时间（英语：Discrete-time stochastic process） 伯努利过程 Branching process（英语：Branching process） 中餐馆过程 Galton–Watson process（英语：Galton–Watson process） Independent and identically distributed random variables（英语：Independent and identically distributed random variables） 马尔可夫链 Moran process（英语：Moran process） 随机游走 Loop-erased（英语：Loop-erased random walk） Self-avoiding（英语：Self-avoiding walk） 连续时间（英语：Continuous-time stochastic process） Bessel process（英语：Bessel process） 出生-死亡过程 维纳过程/布朗运动 布朗桥 Excursion（英语：Brownian excursion） Fractional（英语：Fractional Brownian motion） 几何布朗运动 Meander（英语：Brownian meander） Cauchy process（英语：Cauchy process） Contact process（英语：Contact process (mathematics)） Cox process（英语：Cox process） Diffusion process（英语：Diffusion process） Empirical process（英语：Empirical process） Feller process（英语：Feller process） Fleming–Viot process（英语：Fleming–Viot process） Gamma process（英语：Gamma process） Hunt process（英语：Hunt process） Interacting particle system（英语：Interacting particle system）s 伊藤积分 伊藤过程 Jump diffusion（英语：Jump diffusion） 跳跃过程 莱维过程 Local time（英语：Local time (mathematics)） Markov additive process（英语：Markov additive process） McKean–Vlasov process（英语：McKean–Vlasov process） Ornstein–Uhlenbeck process（英语：Ornstein–Uhlenbeck process） 泊松过程 Compound（英语：Compound Poisson process） Non-homogeneous Point process Schramm–Loewner evolution（英语：Schramm–Loewner evolution） 半鞅 Sigma-martingale（英语：Sigma-martingale） Stable process（英语：Stable process） Superprocess（英语：Superprocess） Telegraph process（英语：Telegraph process） Variance gamma process（英语：Variance gamma process） 维纳过程 Wiener sausage（英语：Wiener sausage） Both Branching process（英语：Branching process） Gaussian process（英语：Gaussian process） 隐马尔可夫模型（HMM） 马尔可夫过程 鞅 Differences（英语：Martingale difference sequence） Local（英语：Local martingale） Sub- Super-（英语：Super-） Random dynamical system（英语：Random dynamical system） Regenerative process（英语：Regenerative process） Renewal process（英语：Renewal process） 白噪声 Fields and other Dirichlet process（英语：Dirichlet process） Gaussian random field（英语：Gaussian random field） Gibbs measure（英语：Gibbs measure） Hopfield神经网络 易辛模型 马尔可夫网络 Percolation（英语：Percolation theory） Pitman–Yor process（英语：Pitman–Yor process） Point process（英语：Point process） Cox（英语：Point process#Cox point process） Poisson Potts model（英语：Potts model） 随机场 随机图 时间序列模型 ARCH模型 ARIMA模型 自回归模型 ARMA模型 广义ARCH模型 滑动平均模型（英语：Moving-average model） 金融模型 Black–Derman–Toy（英语：Black–Derman–Toy model） Black–Karasinski（英语：Black–Karasinski model） 布莱克-舒尔兹模型 陈模型 Constant elasticity of variance (CEV)（英语：Constant elasticity of variance model） Cox–Ingersoll–Ross (CIR)（英语：Cox–Ingersoll–Ross model） Garman–Kohlhagen（英语：Garman–Kohlhagen model） Heath–Jarrow–Morton (HJM)（英语：Heath–Jarrow–Morton framework） Heston（英语：Heston model） Ho–Lee（英语：Ho–Lee model） 赫尔怀特模型 LIBOR market（英语：LIBOR market model） SABR volatility（英语：SABR volatility model） Vašícek（英语：Vasicek model） 精算学 Bühlmann（英语：Bühlmann model） Cramér–Lundberg（英语：Cramér–Lundberg model） Risk process（英语：Risk process） Sparre–Anderson（英语：Sparre–Anderson model） 等候理论 Bulk（英语：Bulk queue） Fluid（英语：Fluid queue） Generalized queueing network（英语：G-network） M/G/1（英语：M/G/1 queue） M/M/1 M/M/c（英语：M/M/c queue） 性质 右连左极函数 Continuous（英语：Continuous stochastic process） Continuous paths（英语：Sample-continuous process） 遍历性 Exchangeable（英语：Exchangeable random variables） Feller-continuous（英语：Feller-continuous process） Gauss–Markov（英语：Gauss–Markov process） 马尔可夫性质 Mixing（英语：Mixing (mathematics)） Piecewise deterministic（英语：Piecewise deterministic Markov process） 可预测过程 循序可测过程 Self-similar（英语：Self-similar process） 平稳过程 Time-reversible（英语：Time reversibility） Limit theorems 中心极限定理 Donsker's theorem（英语：Donsker's theorem） Doob's martingale convergence theorems（英语：Doob's martingale convergence theorems） 遍历理论 Fisher–Tippett–Gnedenko theorem（英语：Fisher–Tippett–Gnedenko theorem） Large deviation principle（英语：Large deviation principle） 大数定律 重对数律 Maximal ergodic theorem（英语：Maximal ergodic theorem） Sanov's theorem（英语：Sanov's theorem） 不等式 Burkholder–Davis–Gundy（英语：Burkholder–Davis–Gundy inequalities） Doob's martingale（英语：Doob's martingale inequality） Kunita–Watanabe（英语：Kunita–Watanabe inequality） 工具 Cameron–Martin formula（英语：Cameron–Martin formula） 随机变量的收敛 Doléans-Dade exponential（英语：Doléans-Dade exponential） Doob decomposition theorem（英语：Doob decomposition theorem） Doob–Meyer decomposition theorem（英语：Doob–Meyer decomposition theorem） Doob's optional stopping theorem（英语：Doob's optional stopping theorem） Dynkin's formula（英语：Dynkin's formula） 费曼－卡茨公式 右连左极函数 Girsanov theorem（英语：Girsanov theorem） Infinitesimal generator（英语：Infinitesimal generator (stochastic processes)） 伊藤积分 伊藤引理 Kolmogorov continuity theorem（英语：Kolmogorov continuity theorem） Kolmogorov extension theorem（英语：Kolmogorov extension theorem） Lévy–Prokhorov metric（英语：Lévy–Prokhorov metric） Malliavin calculus（英语：Malliavin calculus） Martingale representation theorem（英语：Martingale representation theorem） Optional stopping theorem（英语：Optional stopping theorem） Prohorov theorem（英语：Prohorov theorem） Quadratic variation（英语：Quadratic variation） Reflection principle（英语：Reflection principle (Wiener process)） Skorokhod integral（英语：Skorokhod integral） Skorokhod's representation theorem（英语：Skorokhod's representation theorem） 右连左极函数 Snell envelope（英语：Snell envelope） 随机微分方程 Tanaka（英语：Tanaka equation） 停时 随机积分 Uniform integrability（英语：Uniform integrability） Usual hypotheses（英语：Usual hypotheses） 维纳空间 Classical（英语：Classical Wiener space） Abstract Disciplines 精算学 计量经济学 遍历理论 极值理论（EVT） Large deviations theory（英语：Large deviations theory） 金融数学 数理统计学 概率论 等候理论 Renewal theory（英语：Renewal theory） Ruin theory（英语：Ruin theory） 统计学 随机分析 时间序列分析 机器学习 List of topics 分类

规范控制 GND: 4037612-6

分类：

• 概率论
• 随机过程

隐藏分类：

• 含有俄语的条目
• 包含规范控制信息的博牛百科条目

[/micxp_threadbk]