离散平稳信源

Note

还在建设中，敬请期待。

多符号离散信源：

多符号离散信源输出的消息是按照一定概率选取的符号序列，在时间序列的每一个时间单位 \(k(k=1,2,\cdots\)，都可以由一个随机变量 \(X_k\) 来表示。

多符号离散信源可用随机变量序列 \(\{X_k\}\) 组成的随机序列，即随机矢量 \(X=\{X_1,X_2,\cdots,X_n\}\) 来表示。

一般情况下，信源的概率分布与时间有关，不同时间由不同的概率分布。

序列的统计性质与时间的推移无关，即信源所发符号序列的概率分布与时间起点无关。

（1）一维平稳信源

若 \(P(x_i)=P(x_j)=P(x)\)，则序列是一维平稳的。任意两个不同时刻信源发出信号的概率分布完全相同。

\[ P(x_i=a_1) = P(x_j=a_1) = P(x=a_1) \\ P(x_i=a_2) = P(x_j=a_2) = P(x=a_2) \]

（2）二维平稳信源

如果联合概率分布 \(P(x_i,x_j)\) 与时间无关，即\(P(x_ix_{i+1}=P(x_jx_{j+1}\)，则信源是二维平稳的。

（3）离散平稳信源

如果各维联合概率分布均与时间起点无关，则信源是完全平稳的。

下面我们假定：