香农信息论
现在位置： >
香农信息论
香农信息论
来源：文章综合
发布日期： 责任编辑：admin
名称由来信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被...
- 日&-&香农信息论的第三个要素,也就是在他信息的定义、测度以及他的传播模式之后,是他关于信道能力的命题。香农的命题论述了诸如带或不带噪音的信道...日&-&克劳德·香农信息论及其现实意义 时间: 11:10:00 作者:; 来源: ● 孙 静 信息论基本概念释读 1.噪音 在信息传输数学模式中,传播被描述成...
3页 - 1财富值 - 上传时间:日
第 1页共 3页香农信息论香农信息论香农信息论香农信息论初阶初阶初阶初阶1 1.说明信息、消息、信号的关系。信息是消息所含有的内容;消息是信息的外在表现形式;信号是消...香农三大定理概括香农三大定理是信息论的基础理论。香农三大定理是存在性定理,虽然并没有提供具体的编码实现方法,但为通信信息的研究指明了方向。香农第一定理是可变...
3页 - 1财富值 - 上传时间:日
香农、熵和哈脱菜 沈保南 ( t66i) 信息论为不同的通信系统提供进行比较的度量,本世纪40年代时这种比较越来越显 需要:为了使已有的有 竺壁塑呈坌曼盟蛰皇型塑 叵萤董簦夏堑 蚴...
发表时间：日
熵:香农理论的重要特征是熵(entropy)的概念,他证明熵与信息内容的不确定程度有等价关系。信息熵也有类似意义。 信息熵:解决了对信息的量化度量问题,信息熵是信息论中用于...
发表时间：日
第二次世界大战期间跨学科研究繁盛,这种理论上的相得益彰对于创造信息技术的新浪潮来说,意义重大。影响最为深远的科学突破之一是香农的信息论,它是我们今天对于传播的主...
8页 - 2财富值 - 上传时间:日
香农信息论的产生香农信息论的产生香农信息论的产生香农信息论的产生香农信息论的产生香农信息论的产生香农信息论的产生香农信息论的产生年香农年香农《通...
1个回答 - 提问时间：日
最佳答案：香农信息论主要讨论点对点通信中的一些基本问题，最著名的结论包括其中的四大定理，也即为无失真信源编码定理，限失真信源编码定理，信道编码定理，信源信...相关推荐維基百科，自由的百科全書
(已重新導向自 )
在裡，有噪信道編碼定理指出，儘管雜訊會干擾通訊信道，但還是有可能在訊息傳輸速率小於信道容量的前提下，以任意低的錯誤機率傳送數據。這個令人驚訝的結果，有時候被稱為訊息原理基本定理，也叫做香農-哈特利定理或香農定理，是由於1948年首次提出。
通訊信道的或香農限制是指在指定的噪音標準下，信道理論上的最大傳輸率。
根據香農1948年的陳述，本定理描述了在不同級別的噪音干擾和數據損壞情況下，可能達到的最高效率。定理沒有指出如何構造錯誤監測的模型，只是告訴大家有可能達到的最佳效果。香農定理可以廣泛應用在通訊和領域。本定理是現代的基礎理論。香農只是提出了證明的大概提綱。1954年，第一個提出了嚴密的論證。
香農定理假設一個有噪音的信道，為C ，訊息以速度R傳送，如果
那麼就存在一種編碼技術使接收端收到的錯誤達到任意小的數值。這意味著理論上，有可能無錯誤地傳送訊息直到達到速度限制C。
反過來同樣重要。如果
那麼想達到任意小的錯誤率是不可能實現的。因此，在傳送速度超過信道容量的時候，可靠傳輸訊息是不能被保證的。定理並沒有指出在什麼特殊情況下速度和容量相等。
簡單的流程如"重複發送數據3遍，用一個投票系統在數據不一樣的時候選擇3個裡面相同的那兩個的值"是低效的錯誤糾正的方式，不能保證數據塊能完全沒有錯誤地傳送。先進一些的技術如編碼技術和更現代一些的、等編碼技術更逼近香農限制，但是計算複雜度很高。
定理（香農，1948年）：
1. 一個離散無記憶信道的
具有以下特點：任給ε & 0, R & C，存在著長度為N, 訊息傳輸速率]小於等於R的編碼和相應解碼演算法， 使得最大可能傳輸錯誤率≤ ε。
2. 如果允許誤碼率pb，那麼存在一種編碼方式，使得訊息傳輸速率速度可以提高到R(pb)，其中
而是一個二元函數，定義為
3. 給定，不存在速度大於R(pb)的編碼方式，使得最大可能傳輸錯誤率小於。（MacKay (2003), p. 162; cf Gallager (1968), ch.5; Cover and Thomas (1991), p. 198; Shannon (1948) thm. 11）
和資訊理論的其它主要結果一樣，噪音信道編碼定理包括一個可以實現的結果和相應的相反的結果。這兩個組成部分中間有一個界線。在本案例中，可以通過有噪音的信道的可能速度的集合和相應邊界顯示出這是一個緊密邊界。
下面的證明框架只是已有的許多種不同證明方法中的一種而已。
下面這個可實現性的證明是使用（ - AEP）方法。另一種資訊理論常用證明方法是錯誤列舉法（）。
兩種證明方法都使用隨機編碼參數來構造信道。這樣的目的是減少計算的複雜度，同時仍舊可以證明在速度低於的時候，存在誤碼率在可接受範圍甚至是接近於理想的無失真的編碼方式。
採用AEP相關的參數，一個指定的信道，長度為n的源字元串，和長度為n的信道輸出的字元串 ，我們可以定義一個以下匹配序列集合：
我們可以說兩個序列和是匹配序列，如果它們是基於上述定義的匹配序列集合。
在隨機編碼參數的方法上，我們可能的範圍Q裡面隨機產生 長度為n的編碼串。
這個編碼和發送端與接收端有關。同樣假設雙方知道傳輸信道使用的傳輸矩陣 。
在同樣的範圍里選擇消息W，因此， 。
消息W通過信道傳送。
接收端收到了一個基於的序列。
將這些編碼串通過信道發送，我們收到了，如果在編碼表里存在和Y匹配的一個序列，該序列並被解碼成為源編碼序列，如果沒有找到，就報告一個錯誤。如果解碼出的序列和原來的序列不一樣，同樣報告一個錯誤。
這個流程產生的錯誤可以分成兩個部分：
沒有找到和接收到的Y序列相匹配（或在允許的誤碼率條件下）的X序列。
接收到的Y序列解碼成一個錯誤的X序列。
考慮到構造碼時的隨機性，我們可以假設平均的錯誤的產生率和碼發送的序列沒有關係。因此，我們假設 W = 1。
從匹配AEP方法考慮，我們知道隨著n的逐漸增加，沒有對應的X的可能性慢慢降為0。我們可以用來標記這個錯誤的可能性。
同樣從匹配AEP方法考慮，我們知道一個指定的和 ，作為W = 1的結果是匹配序列的可能性為 。
作為消息1發送出去，消息i作為匹配的消息接收到的結果。
我們可以發現如果信道 ，n變為無窮大， 錯誤的可能性將降為0。
最後，假設平均的編碼方式是「好」的話，我們知道存在一個編碼方式的效率比平均的值要好，因此可以滿足我們在有噪音的信道低誤碼率的要求。
假設一種編碼有 個編碼詞語。W假設為在這個集合上的一個索引。設和分別為編碼詞和接收到的詞。
使用同樣的熵和同樣的訊息
X是W的一個函數
使用Fano不等式
信道容量設為最大化
這些步驟的結果是。當塊的長度變為無窮大，如果R比C大，我們得到 不可能降到0。只有在R比C小的情況下，我們可以得到任意低的誤碼率。
強逆定理證明由Wolfowitz於1957年提出。，證明歸結於證明如下不等式，
其中為有限的正常數。當 變為無窮大的時候，弱逆定理證明錯誤的可能性不可能變成0， 而強逆定理證明了錯誤以指數方式趨向於1。因此， 是可靠連接和不可靠連接的臨界點。
我們假設信道是無記憶的，但是隨著時間的變化，傳輸的可靠性是變化的。發送端和接收端一樣工作正常。 這樣信道容量如下
針對每個不同的信道，計算出取得該信道容量似的分布，以求得上式中的最大值，這樣
，信道i的容量為。
證明方法和上面信道編碼定理幾乎一樣。在指定的信道里，每一個符號的選擇是隨機的，編碼方式也是隨機的，採用（AEP）方法來定義變化的無記憶信道的參數集。
當 不收斂時，開始起作用。
Robert Gallager. Information Theory and Reliable Communication. New York: John Wiley and Sons, 1968.
克勞德·艾爾伍德·香農， Urbana, IL:University of Illinois Press, 1949 (reprinted 1998).
艾米爾·范斯坦，資訊理論的一個新的基礎定理 IEEE Transactions on Information Theory, 4(4):2-22, 1954.
羅卜特·梵谷，訊息傳輸，通訊的一個統計理論 Cambridge, Mass., M.I.T. Press, 1961.
雅各布· Wolfowitz, 面對誤碼的訊息編碼 Illinois J. Math., vol. 1, pp. 591-606, 1957.
David J. C. MacKay.
Cambridge: Cambridge University Press, 2003.
Thomas Cover, Joy Thomas，資訊理論要素。New York, NY:John Wiley & Sons, Inc., 1991.
- 介紹關於香農定理的一些基本知識，包括兩種證明方式，也介紹了現在流行的編碼方式。豆丁精品文档： 理论力学第八章答案 理论力学第十一章 理论力学第十章习题 理论力..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
信息理论基础第1-2章
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口香农公式_百度百科
关闭特色百科用户权威合作手机百科
收藏 查看&香农公式
（Shannon）提出并严格证明了“在被干扰的中，计算最大信息传送速率C公式”：C=B log2(1+S/N)。式中：B是信道带宽（赫兹），S是信号功率（瓦），N是功率（瓦）。该式即为著名的香农公式，显然，信道容量与信道带宽成正比，同时还取决于系统信噪比以及编码技术种类香农定理指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。该定理还指出：如果R&C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。表达式C=B&log2(1+S/N)适用领域范围通信技术
指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。
该定理还指出：如果R&C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。
可以严格地证明；在被高斯白噪声干扰的信道中，传送的最大信息速率C由下述公式确定：
C=B*log?（1+S/N) （bit/s)
该式通常称为香农公式。B是信道带宽（赫兹），或称B是码元速率的极限值(由指出B=H，H为，单位Baud)；S是信号功率（瓦），N是噪声功率（瓦）。
香农公式中的S/N是为信号与噪声的功率之比，为无量纲单位。如：S/N=1000（即，信号功率是噪声功率的1000倍）
但是，当讨论信噪比时，常以分贝（dB）为单位。公式如下：
SNR（信噪比，单位为dB)=10 lg（S/N)
换算一下：
S/N=10^(SNR/10）
公式表明，信道带宽限制了比特率的增加，信道容量还取决于系统信噪比以及编码技术种类。联想到所熟悉的，很容易对香农公式进行定性地验证，首先来调制解调器看看的接入方式。最早使用的方式都离不开，这是一种在模拟链路（音频电话线）上传输数据的设备，并且没有太高的错误率。但细心的人一定会发现的标称速度为56kbps了，但实际的速度都远低于56kbps。究其原因就会发现瓶颈在电话线上。
可以用香农公式来计算电话线的。
通常音频电话连接支持的带宽B=3kHz，而一般链路典型的信噪比是30dB，即S/N=1000，因此有C=3000×log2（1+1000），近似等于30kbps，因此如果电话网的信噪比没有改善或不使用压缩方法，“猫”将达不到更高的速率。
综合业务（ISDN）出现后，用户线的数字化技术有了巨大发展：取消了音频带宽3 kHz的限制，使双绞线带宽得到充分利用，传输数据速率达到144 kbps（2B+D）。
但ISDN的速率对宽带业务而言还远远不够，更高速度的数字用户环路技术应运而生，其中目前使用较多的就是（非对称数字用户线环路）。ADSL采用频分复用技术，在保留了传统电话带宽（0~4kHz）的同时，另外开辟了10~130 kHz和130~1100 kHz两个频带分别用于上下行数据传输，此外ADSL还采用了全新的数字调制解调技术，传输带宽的扩展和调制技术的革命，使其上行可达1Mb/s速率，下行速率更可高达8Mb/s。
虽然香农公式源于对的研究，但其分析方法对模拟通信一样适用。
例如：调幅广播不论是在音质上，还是在抗干扰性、抗衰落性等方面都远不扩频通信系统图及调频广播，原因在于两者所传输得信号本身是一样的（可以理解为信源信息速率C一样），但调频广播所占用的信号带宽却远大于广播（即BFM&&BAM）因此调频广播信噪比要明显优于调幅广播。同样的，单边带调幅和之间的差异也可以用这一方法来分析理解。从香农公式中还可以推论出：在信道带宽C不变的情况下，带宽B和信噪扩频通信比S/N是可以互换的，也就是说，从理论上完全有可能在恶劣环境（噪声和干扰导致极低的信噪比）时，采用提高信号带宽（B）的方法来维持或提高通信的性能，甚至于可以使信号的功率低于噪声基底。简言之，就是可以用扩频方法以宽带传输信息来换取信噪比上的好处，这就是扩频通信的基本思想和理论依据。
(Spread Spectrum Communication）技术起源于上世纪中期。但在当时，该技术并没有得到关注，直到进入80年代后才开始受到重视，并逐步实用化，扩频通信技术是现代短距离数字通信（如(GPS）、3G移动通信系统、802.11a/b/g和）中采用的关键技术。
扩频通信的基本特征就是扩展频谱，具体做法是使用比发送的信息数据速率高许多倍的伪随机码把载有信息数据的基带信号的频谱进行扩展，形成宽带的低功率谱密度的信号来通信。
扩频技术的精确定义是：通过注入一个更高频率的信号将基带信号扩展到一个更宽的频带内的射频通信系统，即发射信号的能量被扩展到一个更宽的频带内使其看起来如同噪声一样。扩展带宽与初始信号之比称为扩频处理增益（dB），典型值可以从10dB到60dB。
发射端，在天线之前某处链路注入扩频码，这个过程称为扩频处理，经扩频处理后原数据信息能量被扩散到一个很宽的频带内。在接收端相应链路中移去扩频码，恢复数据，此过程称为解扩。显然，收发两端需要预先知道扩频码。或许有人会觉得：扩频占用了更宽的频带，浪费了宝贵的无线电频率资源。这种观点看似有理，其实不对。因为在扩频通信中可以通过多用户共享同一扩大了的频带得到频率资源上的补偿。抗干扰、抗阻塞特性和交叉抑制特性
经过扩频处理，信道上传输的数据信息与扩频因子是相关的，而干扰和阻塞信号与扩频因子无关，所以接收端经解扩处理后就只剩下有用的信息，而干扰和阻塞信号很容易就被抑制掉了，这种抑制能力同样也作用于其它不具有正确扩频因子的扩频信号，如没有授权的用户因不知道原始信号的扩频因子而无法解码，或者说扩频通信允许不同用户共享同一频带（如）。因此，采用扩频技术不仅可以获得较高的抗干扰、抗阻塞特性和交叉抑制特性，而且可以实现复用。扩频通信中，信号电平可以低于噪声基底，这样以来，信息能量隐藏于噪声之中，这是直序扩频的显著特点。从频谱上观察，充其量只是检测到噪声电平有一点提高而已！因此扩频通信具有很好的保密性。无线信道通常具有，从发射端到接收端存在不止一条路径。如图7所示，反射路径（R）对直通路径（D）产生干扰被称为衰落。因为解扩过程与直通路径信号D同步，所以，即使反射路径信号R包含有相同的扩频因子，也同样会被抑制掉。[1]如果在数据上直接注入扩频码，则可得到直序扩频（DSSS），在实际应用中，扩频码与通信信号相乘，产生完全被伪随机码“打乱”了的数据。在这种技术中，伪随机码直接加入载波调制器的数据上。调制器具有更大的比特率。用这样一个码序列调制射频载波的结果是产生一个中心在载波频率、频谱为（（sinx)/x)2的直序调制扩展频谱。如果扩频码作用在载波频率上，我们就得到跳频扩频（FHSS）。FHSS伪随机码使载波按照伪随机序列改变或跳变。顾名思义，FHSS中载波在一个很宽的频带上按照伪随机码的定义从一个频率跳变到另一个频率。如果用扩频码控制发射信号的开或关，则可得到时间跳变的扩频技术（THSS）。时跳变扩频技术利用伪随机序列控制功放的通/断，该项技术目前应用不多。
这几种扩频技术并不互相排斥，可以综合在一起形成混合扩频技术，如DSSS+FHSS。(Claude Elwood Shannon）， 日出香农公式生于美国，1936年毕业于密歇根大学并获得数学和电子工程学士学位，1940年获得（MIT）数学博士学位和电子工程硕士学位。1941年他加入数学部，并一直工作到1972年。在此期间，1956年他成为麻省理工学院（MIT），并于1958年成为终生教授。香农于日去世。据传，香农与大发明家有远亲关系。香农的大部分时间是在和MIT(）度过的。1948年至1949年间，他先后发表了《通讯的数学原理》和《噪声下的通信》，文章阐明了通信的基本问题，给出了通信系统的模型，提出了的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。这两篇论文被视为奠基之作。香农也因此一鸣惊人，被誉为“信息论之父”。
新手上路我有疑问投诉建议参考资料 查看}