確率変数(stochastic variable)(その他random variableあるいはaleatory variableとも呼ばれる)$X$は,可能な値の集合$\{x\}$と,それに関する確率分布(probability distribution)$P_X(x)$で定義される。 $P_X(x)dx$が$X\in(x,x+dx)$である確率を表す。 また,$P_X(x) \geq 0$であり
と規格化される。 積分範囲は$X$の取りうる値の領域全体にわたっている。 $\{x\}$が離散的で,$\{ x_i \}=\{x_1,x_2,...,x_n \}$と表せる場合
を満たす係数$p_i$を用いて
と構成することができる。 ここで$\delta$はデルタ関数である。 例として$X$を公平なサイコロの目として考えると,$\{x \}={1,2,3,4,5,6}$となり,$p_i$は$i=1,2,..,6$のすべてについて$1/6$となる。
$X$の関数$f(X)$の平均は
で与えられる。 特に,$f(X)=X^n$のとき,すなわち
を,$n$次のモーメント(moment)という。
変数が
と複数ある場合
は,同時確率(simultaneous probability)あるいは結合確率(joint probability)と呼ばれ,$P_n(x_1,...,x_n)dx_1...dx_n $によって,各変数が$X_i \in (x_i,x_i+dx_i)$である確率が与えられる。
$n$変数の同時確率を$i+1$から$n$番目の変数について積分してしまえば,それらの値にかかわらず$1$から$i$番目の変数についての確率分布
が与えられる。 これを,$X_1,...,X_i$についての周辺分布(marginal distribution)という。
また
で定義される,$i+1$から$n$番目の変数を固定したときの$1$から$i$番目の変数についての確率分布を条件付き確率(conditional probability)と呼ぶ。
確率変数が時間に依存するとき,それを確率過程(stochastic process)という。 $X(t_i)$が各時刻でそれぞれ$X_i \in(x_i, x_i+dx_i)$となる確率は
で表される。
$X_1, ...,X_i$を固定した際の,$X_{i+1} , ...,X_n$の同時確率,すなわち条件付確率を
と表す。 改めて,同時確率とは
の関係にある。