信道容量

信道

离散无记忆信道：离散无记忆信道是指有输入字母表，输出字母表和概率转移矩阵构成的系统，其中表示发送字符的条件下收到输出字符的概率，且满足输出的概率分布仅依赖于它所对应的输入，而与先前信道的输入或输出条件独立

信道容量：离散无记忆信道的信道容量定义为

对称信道：若信道的概率转移矩阵满足，所有行都可以通过其他行置换得到，所有列也如此，则称此信道为对称信道

对称转移矩阵：

对于对称信道，容易求得信道容量的显性表达式，设表示转移矩阵的一行，则

弱对称信道：若转移矩阵的每一行都是其他行的置换，而所有列的元素和相等，则称这个信道是弱对称的。

弱对称信道

弱对称信道容量：对于弱对称信道，信道容量为

$行$

当输入字母表上的分布为均匀时达到该容量

信道容量的性质:

离散信道：用表示离散信道，是由两个有限集和以及一簇概率密度函数构成，其中对任意与，有，以及对任意的，有，而和分别看做信道的输入和输出

离散无记忆信道扩展：离散无记忆信道的次扩展是指信道，其中

若信道不带反馈，即，输入字符不依赖于过去的输出字符，从而，那么离散无记忆信道的次扩展的信道转移函数可以简化为

(M,n)码：信道的码由以下部分构成：

码率：码的码率R为

可达码率：若存在一个码序列，满足当时，最大误差概率，则称码率是可达的

信道容量：信道容量可定义为所有可达码率的上确界

联合典型序列：服从分布的联合典型序列所构成的集合是指其经验熵和真实熵接近的长序列构成的集合，即

其中

联合AEP：设为服从的独立同分布的长序列，则

信道编码定理：对于离散无记忆信道，小于信道容量的所有码率都是可达的，即，对于任意码率，存在一个码序列，它的最大误差概率为

定理：设为经过容量离散无记忆信道传输所得到的输出信号，则

信息论信道信道容量

2023-12-25 数理方程

数理方程广义函数

2023-12-24 信息论

信息论编码