信息论-渐进均分性

渐进均分性

渐进均分性定理

随机变量收敛：给定一个随机变量序列，序列收敛于随机变量有如下情况：

• 若对任意的，，则称为依概率收敛

• 若，则称为均方收敛

• 若，则称为以概率1收敛

---

渐进均分性定理(AEP)：若以概率独立同分布，则

证明：独立随机变量的函数依然是独立随机变量，因此，由于独立同分布，从而也独立同分布，因而，由弱大数定律

---

典型集：称服从分布的典型集为序列的集合，且满足

---

定理：

• 若，则

• 当充分大时，

• 当充分大时，

证明：

• 由于，则有

  从而

• 由于当充分大时，事件的概率趋于1，于是，对任意，存在，使得当有

  令即可

• 由于

  于是

• 当充分大时，由于，故

---