信息论（4）
—&&主要内容
1.&&&&&& 信源的分类与描述
2.&&&&&& 离散信源的信息熵和互信息
3.&&&&&& 离散序列信源的熵
4.&&&&&& 连续信源的熵与互信息
5.&&&&&& 冗余度
2.1 信源的分类与描述
—&&信源的定义
产生消息（符号）、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
1.&&&&&& 时间&&&&&&&&&& 离散&&&&&&&&&&&&&&& 连续
2.&&&&&& 幅度&&&&&&&&&& 离散&&&&&&&&&&&&&&& 连续
3.&&&&&& 记忆&&&&&&&&&& 有&&&&&&&&&&&&&&&&&& 无
n&&介绍三类信源
?& 单符号离散信源
?& 符号序列信源（有记忆和无记忆）
?& 连续信源
一．单符号离散信源
单符号离散信源：用随机变量X来描述
X的概率空间
二．符号序列信源
离散序列信源：用随机向量XL描述
以3位PCM信源为例
三．连续信源
连续信源：用随机过程x(t)描述
px(x)不再是概率分布，而是概率密度分布函数
2.2 离散信源熵与互信息
—& 信息量
自信息→平均自信息→符号熵
联合自信息→平均联合自信息→联合熵
条件自信息量→平均条件自信息→条件熵
—& 单符号离散信源熵
一．自信息量
1.&&&&&&定义
对于给定的离散概率空间表示的信源，x=xi事件所对应的（自）信息为
I(xi) = - logp(xi)
以2为底，单位为比特（bit)
以e为底，单位为奈特（nat)
1nat=1.433bit
以10为底，单位为笛特（det)
1det=3.322bit
2.&&&&&&性质
u& 两种特殊情况
l& p(xi)=1，确定事件，信息量I(xi)=0
l& p(xi)=0 ，I(xi)=无穷，概率为0的事件带来极大的信息量
u& I(xi) ≥0，非负性
u& I(xi)是p(xi)的单调递减函数
u& xi是一个随机量， I(xi)是xi的函数，也是随机变量，没有确定的值
Question？
自信息量I(xi)能反映整个信源的不确定性吗？
如果不能，那用什么量来反映呢？
3.&&&&&&平均自信息量——信息熵H(X)
用自信息量的平均值来描述
算术平均值
数学期望：加权平均值
1.&&&&&&定义——信息熵
对于给定离散概率空间表示的信源所定义的随机变量I(xi)的数学期望（加权平均值）
2.&&&&&&熵的物理含义
H(X)表示信源发出任何一个消息状态所携带的平均信息量
也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量
熵的本意为热力学中表示分子状态的紊乱程度
信息论中熵表示信源中消息状态的不确定度
信源熵与信息量有不同的意义：
l& H(X)表示信源X每一个状态所能提供的平均信息量
l& H(X)表示信源X在没有发出符号以前，接收者对信源的平均不确定度
l& H(X)表示随机变量X的随机性
二．条件自信息
联合集XY中，在事件yj发生的条件下，关于事件xi的条件（自）信息量为：
I(xi/yi) = - logp(xi/yi)
平均条件自信息量——条件熵
—& 定义：
联合集XY上，条件自信息量I(xi/yj)的概率加权平均值
—& 如何求平均？
先在X集合上求平均（此时，在yj事件发生的条件下）
再在Y集合上求平均
三．联合自信息
联合概率空间中任一联合事件的联合（自）信息量为：
I(xi,yi) = - logp(xi,yi)
当X和Y相互独立时，
联合集XY上，每对事件的自信息量的概率加权平均值定义为联合熵。
—&&& 单位为比特/序列
—&&& 将联合事件xiyj作为一个随机事件求平均不确定度
四．熵函数的性质
熵函数可表示为
非负性 &H(X) ≥0
概率矢量中的各分量的次序任意变更时，熵值不变
信源概率空间中，任意一个概率分量等于1，其它概率分量必为0
信源为确知信源，其熵为0
连续性扩展性最大熵定理
条件熵小于无条件熵
推广：多条件熵小于少条件熵
条件熵小于无条件熵
五．几种自信息量之间的关系
—&&自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性。
—&&三者都是随机变量，其值随着变量xi和yj的变化而变化。
—&&关系式：
六．几种熵之间的关系
—& 一共介绍了
—& 自信息量ss----&平均自信息量
—& 联合自信息量ss----&联合熵
—& 条件自信息量ss----&条件熵
—& 引入另一个很重要的概念——互信息
—& 涉及到信息的交互
七．互信息
接收端收到集合Y 中的一个消息符号yj后，重新估计关于信源的各个消息xi发生的概率，为条件概率p(xi&/&yj)，即后验概率。
互信息量=不确定程度的减少量
—& 通信前
将信道看成关闭，可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系，即X、Y统计独立。根据概率的性质，输入端出现xi和输出端出现yj的概率为：
此时，先验不确定度为
—& 通信后
输入随机变量X和输出随机变量Y之间由信道的统计特性相联系。输入端出现xi和输出端出现yj的联合概率为
此时，后验不确定为
—& 则，通信后流经信道的信息量等于通信前后不确定度的差，即yj带来关于xi的信息量：
互信息量定义为自信息量减去条件自信息量的差：
1)&&&&&&&&互易性：I(x;y) = I(y;x)
2)&&&&&&&&互信息量可为0
3)&&&&&&&&可正可负
4)&&&&&&&&任何两个事件之间的互信息量小于其中任一事件的自信息量
3.平均互信息
—& 联合集XY上求加权平均和
先在X集合上求平均
再在Y集合上求权平均值
综合一下，平均互信息量
在联合概率空间P(XY)中的统计平均值
4.平均互信息的性质
u& 非负性：I(X;Y) ≥ 0
u& 互易性：I(X;Y) =I(Y;X)
u& 与熵和条件熵及联合熵关系
I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) = H(X) + H(Y) –H(XY)
u& 极值性
互信息量总是小于等于自信息量
接收者收到的信息量不可能大于信源发出的信息量
只有当信道为无噪声信道时，接收信息量才等于信源发出的信息量。
u& 凸性函数性质
n& 当条件概率p(yj/xi)给定时，平均互信息量I(X;Y)是信源概率分布p(xi)的∩型上凸函数
n& 极大值
n& 信道容量C：对于给定的信道，总可以找到一个先验概率分布为pm(xi)的信源，使得平均互信息量达到最大值
n& 这个信源为该信道的匹配信源
n& 当信源X的概率分布p(xi)保持不变时，平均互信息量I(X;Y)是条件概率分布p(yj/xi)的∪型下凸函数
n& 极小值
n& 信息率失真函数R(D)
u& 信息不增性原理
l&&I(X,Y;Z)=I(X;Z)+I(Y;Z/X)
l& I(X,Y;Z)=I(Y;Z)+I(X;Z/Y)
l& 则有：I(X;Z)=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X)
l& 假设在Y条件下X与Z相互独立
n& 即I(X;Z/Y)=0，且I(X;Y/Z)和I(Y;Z/X)均非负
n& 则有：I(X;Z)≤I(Y;Z)&&&&& I(X;Z)≤I(X;Y)
l& I(X;Z)≤I(Y;Z)&&&&&I(X;Z)≤I(X;Y)
n& 当消息经过多级处理时，随着处理级数的增多，输入消息和输出消息之间的平均互信息量趋于变小。
l& 数据处理定理
n& 数据的处理过程中只会失掉一些信息，绝不会创造出新的信息
n& 信息不增性
n& I(X,Y)=H(X)-H(X/Y)
n& 表示接收者收到Y后，对信源X仍然存在的平均不确定度
n& 对于接收者来说，H(X)称为先验不确定度，H(X/Y)称为后验不确定度。
n& 平均交互信息量等于不确定度的变化量
n& 扩散度，噪声熵
n& I(X,Y)=H(Y)-H(Y/X)
n& 表示发信者发出X后，对信道输出Y仍然存在的平均不确定度
n& 对于发信者来说，H(Y)称为先验不确定度，H(Y/X)称为后验不确定度。
n& 平均交互信息量等于不确定度的变化量
?& 联合熵（共熵）
l& I(X,Y)=H(X)+H(Y)-H(X,Y)
l& 表示通信完成之后，观察者对通信系统仍然存在的平均不确定度
l& 对于观察来说
n& H(X)+H(Y)称为先验不确定度
n& H(X,Y)称为后验不确定度
l& 平均交互信息量等于不确定度的变化量
l& I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y)
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：9111次
排名：千里之外
原创：72篇
转载：35篇
(1)(13)(26)(31)(21)(1)(16)连续信源的最大熵与最大熵条件_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
连续信源的最大熵与最大熵条件
上传于||文档简介
&&连续信源的最大熵与最大熵条件
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
你可能喜欢连续信源的最大熵与最大熵条件_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
连续信源的最大熵与最大熵条件
上传于||文档简介
&&连续信源的最大熵与最大熵条件 信息论
阅读已结束，如果下载本文需要使用2下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩6页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢君，已阅读到文档的结尾了呢~~
广告剩余8秒
文档加载中
求信源熵H(X) 精心收集的各类精品文档，欢迎下载使用
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
求信源熵H(X)
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口【图文】信息论第2章-3_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
信息论第2章-3
上传于||暂无简介
大小：367.27KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢}