内容
Markov過程
Dr. SSS
2020/07/09 - 16:38:39
1083
熱・統計力学
はじめに
ここでは，Markov過程の基本的な性質と，Chapman-Kolmogorov方程式について説明する。
keywords: 確率過程, 非平衡熱力学, Markov過程, 確率論
Markov過程とは
条件付き確率が1ステップ前の状態のみにしか依存しないとき，すなわち
\begin{equation}
P(x_n,t_n | x_{n-1} , t_{n-1} ; ... ;x_1,t_1) = P(x_n,t_n | x_{n-1} , t_{n-1})
\end{equation}
であるときの確率過程をMarkov過程（Markov process）という。
例えば2ステップの過程の場合，同時確率は，初期分布と条件付き分布によって
\begin{equation}
P_2(x_2, t_2;x_1,t_1)=P_{1|1}(x_2, t_2|x_1,t_1)P_1(x_1,t_1)
\end{equation}
と表せる。 このとき，条件付確率$P_{1|1}(x_2, t_2|x_1,t_1)$は，確率変数が時刻$t_1$に値$x_1$を取るとき，時刻$t_2$に状態$x_2$となる確率を表しており，遷移確率（transition probability）と呼ぶ。 以下，これを$P(x_2, t_2|x_1,t_1)$と略記する。 遷移確率を用いると，次の時刻の同時確率は
\begin{equation}
\label{eq:P3}
\begin{split}
P_3(x_3, t_3;x_2,t_2;x_1,t_1)
=& P(x_3, t_3|x_2,t_2)P_2(x_2, t_2;x_1,t_1) \\
%
=& P(x_3, t_3|x_2,t_2)P(x_2, t_2|x_1,t_1)P_1(x_1,t_1)
\end{split}
\end{equation}
となる。 Markov過程の場合，このように遷移確率を鎖のようにつなぐことで，任意の$n$ステップ目の同時確率を，初期分布と遷移確率によって
\begin{equation}
P_n(x_n, t_n;...;x_1,t_1)
=P(x_n, t_n|x_{n-1},t_{n-1})\times\cdots\times P(x_2, t_2|x_1,t_1)P_1(x_1,t_1)
\end{equation}
と表すことができる。
Chapman-Kolmogorov方程式
式(\ref{eq:P3})を$x_2$で積分すると，左辺は周辺分布として
\begin{equation}
\begin{split}
\int P_3(x_3, t_3;x_2,t_2;x_1,t_1)dx_2
=& P_2(x_3, t_3;x_1,t_1) \\
%
=& P(x_3,t_3|x_1,t_1)P(x_1,t_1)
\end{split}
\end{equation}
となる。 他方，右辺を積分したものは
\begin{equation}
P_1(x_1,t_1)\int P(x_3, t_3|x_2,t_2)P(x_2, t_2|x_1,t_1) dx_2
\end{equation}
であるから，左右を等式で結んで，共通する$P_1(x_1,t_1)$を落とせば
\begin{equation}
P(x_3,t_3|x_1,t_1)
=\int P(x_3, t_3|x_2,t_2)P(x_2, t_2|x_1,t_1) dx_2
\end{equation}
が得られる。 これを，Chapman-Kolmogorov方程式（Chapman-Kolmogorov equation）という。 この式は，ある状態から別の状態への遷移確率は，中間の状態をすべて積分したものに等しいという直感的にもわかりやすい事実を示している。