信道容量的计算

网上有关“信道容量的计算”话题很是火热，小编也是针对信道容量的计算寻找了一些与之相关的一些信息进行分析，如果能碰巧解决你现在面临的问题，希望能够帮助到您。

信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。

信道传递概率通常称为前向概率。它是由于信道噪声引起的，所以通常用它描述信道噪声的特性。

有时把p(x）称为输入符号的先验概率。而对应的把p(x|y）称为输入符号的后验（后向）概率。

平均互信息 I(X;Y) 是接收到输出符号集Y后所获得的关于输入符号集X的信息量。信源的不确定性为H(X），由于干扰的存在，接收端收到 Y后对信源仍然存在的不确定性为H(X|Y），又称为信道疑义度。信宿所消除的关于信源的不确定性，也就是获得的关于信源的信息为 I(X;Y），它是平均意义上每传送一个符号流经信道的信息量，从这个意义上来说，平均互信息又称为信道的信息传输率，通常用 R 表示。

有时我们所关心的是信道在单位时间内平均传输的信息量。如果平均传输一个符号为t秒，则信道平均每秒钟传输的信息量为Rt一般称为信息传输速率。

对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量，而相应的输入概率分布称为最佳输入分布。

信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。

要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。 为了评价实际信道的利用率，应具体计算已给信道的容量。这是一个求最大值的问题。由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。对于离散信道，P(x）是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。对于连续信道，P(x）是一函数，须用变分法求条件极值。但是对于大部分信道，这些方法常常不能得到显式的解，有时还会得到不允许的解，如求得的P(x）为负值等。为了工程目的，常把信道近似表示成某些易于解出容量的模式，如二元对称信道和高斯信道。

对于其他信道的容量计算曾提出过一些方法，但都有较多的限制。比较通用的解法是迭代计算，可借助计算机得到较精确的结果。

对于连续信道，只需把输入集和输出集离散化，就仍可用迭代公式来计算。当然如此形成的离散集，包含的元的数目越多，精度越高，计算将越繁。对于信息论中的其他量，如信息率失真函数，可靠性函数等，都可以用类似的方法得到的各种迭代公式来计算。 从求信道容量的问题实际上是在约束条件下求多元函数极值的问题，在通常情况下，计算量是非常大的。下面我们介绍一般离散信道的平均互信息达到信道容量的充要条件，在某些情况下它可以帮助我们较快地找到极值点。（定理略去）

信道容量定理只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出最佳输入概率分布值，也没有给出信道容量的数值。另外，定理本身也隐含着达到信道容量的最佳分布不一定是唯一的，只要输入概率分布满足充要条件式，就是信道的最佳输入分布。在一些特殊情况下，我们常常利用这一定理寻求输入分布和信道容量值。 对于给定离散无记忆信道，其符号转移概率分布已定，通过适当改变输入符号集上的概率分布，可使传信率达到最大值，即该信道容量公式 如右图8 。其中E是输入符号集上所有可能概率分布的集。

对于连续信道，应将式中概率分布换成概率密度，求和号换成积分号，即得出连续信道的容量公式。

容量的计算是在特定约束条件下，求传信率函数I（X；Y）的极大值问题。对离散信道的约束条件是输入符号的概率，对于连续信道，除了概率约束条件外，还可有不同的约束条件，如平均功率或峰值功率受限。由于I（X；Y）是输入分布（或密度）的上凸函数，故其极值即为最大值，可见，求容量在于求I（X；Y）的条件极值。简单情况下，离散信道可用拉格朗日乘子法求解，连续信道可用变分法求解。R．E．勃拉赫特提出的迭代算法可精确求解一般离散无记忆信道的容量，也可用来近似计算连续信道的容量以及率失真函数和可靠性函数。

常见的二元对称信道(BSC)的容量公式如图9 ，式中ε是符号出差错的概率。常见的加性白高斯噪声(AWGN)信道的容量公式如图10 ，式中S是信道允许的平均功率，N0是白高斯噪声的单边功率谱密度，F是信道许用带宽。当F→∞时有。令Eb表示每比特信息占有的能量，则S=REb，R是传信率。由图11及编码定理有，通称-1．6dB为仙农极限，它表示在无限带宽的AWGN信道中，传送1bit信息所需的最小Eb/N0。

实际离散信道的输入和输出常常是随机变量序列，用随机矢量来表示，称为离散多符号信道。

若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时刻的输入和输出无关，则称之为离散无记忆信道，简称为DMC(discrete memoryless channel）。

输入、输出随机序列的长度为N的离散无记忆平稳信道通常称为离散无记忆信道的N次扩展信道。

对于离散无记忆N次扩展信道，当信源是平稳无记忆信源时，其平均互信息等于单符号信道的平均互信息的N倍。

当信源也是无记忆信源并且每一时刻的输入分布各自达到最佳输入分布时，才能达到这个信道容量NC。 前面我们分析了单符号离散信道和离散无记忆信道的扩展信道。实际应用中常常会遇到两个或更多个信道组合在一起使用的情况。例如，待发送的消息比较多时，可能要用两个或更多个信道并行发送，这种组合信道称为并联信道；有时消息会依次地通过几个信道串联发送，例如无线电中继信道，数据处理系统，这种组合信道称为级联信道。在研究较复杂信道时，为使问题简化，往往可以将它们分解成几个简单的信道的组合。这一节我们将讨论这两种组合信道的信道容量与其组成信道的信道容量之间的关系。

独立并联信道的信道容量才等于各信道容量之和。

级联信道是信道最基本的组合形式，许多实际信道都可以看成是其组成信道的级联。两个单符号信道组成的最简单的级联信道X→Y→Z 组成一个马尔可夫链。根据马尔可夫链的性质，级联信道的总的信道矩阵等于这两个串接信道的信道矩阵的乘积。求得级联信道的总的信道矩阵后，级联信道的信道容量就可以用求离散单符号信道的信道容量的方法计算。

仙农的主要贡献

书名:信息理论与编码

图书编号:693777

出版社:人民邮电出版社

定价:21.0

ISBN:711512067

作者:吕锋

出版日期:2004-02-01

版次:1

开本:16开

简介:

本书系统地讲述了信息论的基础理论。全书分8章，分别讨论了信息的度量、信源无失真编码、信道编码、信息率失真函数、网络信息论以及信息安全的理论与方法。

本书注重基本概念，论述力求简明，可作为高等院校通信类、信息类、电子工程类及相关专业的教材，也可供有关科研人员参考。

目录:

第一章　绪论

1.1　信息的基本概念

1.1.1　信息概念的复杂性

1.1.2　信息的定义

1.2　信息论的研究目的和内容

1.2.1　信息传输基本模型

1.2.2　信息论研究的内容

1.2.3　目前信息论的主要研究成果

1.3　信息论的发展历程与应用概述

1.3.1　信息论发展简史

1.3.2　信息论的应用

习题

第二章　信息的度量

2.1　信源模型

2.2　信息的描述

2.3　不确定性与信息

2.3.1　自信息量

2.3.2　联合自信息量

2.3.3　条件自信息量

2.3.4　自信息量的性质和相互关系

2.3.5　互信息量及其性质

2.4　离散随机变量的(统计)平均不确定性度量--离散熵

2.4.1　离散熵

2.4.2　离散熵的性质

2.5　联合熵和条件熵

2.5.1　联合熵

2.5.2　条件熵

2.5.3　各类熵之间的关系

2.6　平均互信息量及其性质

2.7　离散无记忆信源的扩展

2.8　离散有记忆信源的熵

2.9　马尔可夫信源的信息熵

2.9.1　马尔可夫链

2.9.2　马尔可夫信源

2.9.3　马尔可夫信源的信息熵

2.10　离散信源的信息(速)率和信息含量效率

2.11　连续随机变量的熵和平均互信息量

2.11.1　连续随机变量的熵

2.11.2　连续随机变量的联合熵、条件熵以及平均互信息量

2.11.3　微分熵的极大化问题

2.11.4　连续信源的熵功率

本章主要概念

习题

第三章　信道模型和信道容量

3.1　信道模型与信道分类

3.2　离散无记忆信道的数学模型

3.3　概率的计算问题

3.4　信道的疑义度、散布度和平均互信息

3.4.1　信道的疑义度

3.4.2　信道的散布度

3.4.3　信道的平均互信息

3.5　信道容量

3.5.1　信道容量的定义

3.5.2　离散无噪信道的信道容量

3.5.3　离散对称信道

3.5.4　一般DMC达到信道容量的充要条件

3.5.5　信道容量的迭代算法

3.6　扩展信道及其信道容量

3.6.1　扩展信道的数学模型

3.6.2　扩展信道的平均互信息量和信道容量

3.7　信道的组合

3.7.1　串联信道

3.7.2　独立并联信道

3.8　信源与信道的匹配

3.9　连续信道及其信道容量

3.9.1　连续信道的数学模型

3.9.2　加性高斯噪声信道的信道容量

3.9.3　一般加性噪声信道的信道容量的界

3.10　波形信道及其信道容量

本章主要概念

习题

第四章　离散无记忆信源无失真编码

4.1　信源编码概论

4.2　码的惟一可译性

4.2.1　常见码及其惟一可译性

4.2.2　码树和Kraft不等式

4.3　定长编码定理和定长编码方法

4.4　变长编码定理

4.5　变长编码方法

4.5.1　霍夫曼编码

4.5.2　费诺编码

4.5.3　香农编码

4.6　几种实用的无失真信源编码

4.6.1　游程编码

4.6.2　算术编码

4.6.3　基于字典的编码

本章主要概念

习题

第五章　有噪信道编码

5.1　译码规则与错误概率

5.2　两种典型的译码规则

5.3　平均差错率与信道编码

5.3.1　简单重复编码

5.3.2　对符号串编码

5.4　汉明距离

5.5　有噪信道编码定理

5.5.1　联合典型序列

5.5.2　有噪信道编码定理的证明

5.6　Fano不等式和有噪信道编码逆定理

5.7　线性分组码

5.7.1　线性分组码的生成矩阵和校验矩阵

5.7.2　汉明距离和码的纠、检错能力

5.7.3　线性码的伴随式与伴随式译码

本章主要概念

习题

第六章　限失真信源编码

6.1　失真测度

6.2　信息率失真函数及其性质

6.2.1　信息率失真函数的定义

6.2.2　信息率失真函数的性质

6.3　限失真信源编码定理

6.4　信息率失真函数的计算

6.4.1　离散信源信息率失真函数的参量表示计算方法

6.4.2　离散信源信息率失真函数的迭代计算方法

本章主要概念

习题

第七章　网络信息论基础

7.1　概论

7.2　网络信道的分类

7.3　典型信源编码模型

7.4　多随机变量联合典型序列

7.5　相关信源编码

7.6　多址接入信道

7.7　高斯多址接入信道

7.8　广播信道

7.9　中继信道

7.10　具有边信息的信源编码和数据压缩

本章主要概念

习题

第八章　信息安全与密码学基础

8.1　信息安全概述

8.2　网络模型与安全服务功能

8.2.1　开放系统互联OSI模型

8.2.2　安全分层原则

8.2.3　安全服务功能

8.2.4　网络安全对策

8.3　密码学基础知识

8.3.1　基本术语

8.3.2　代替密码

8.4　密码算法的数学背景

8.4.1　信息论

8.4.2　复杂性理论

8.4.3　数论基础

8.5　数据加密标准(DES)

8.5.1　数据加密标准的开发

8.5.2　DES算法概要

8.5.3　初始置换

8.5.4　密码运算函数f(R,K)

8.5.5　密钥置换

8.5.6　扩展置换

8.5.7　S盒替代

8.5.8　P盒置换

8.5.9　逆初始置换

8.5.10　DES的安全性

8.5.11　DES的硬件实现

8.6　公开密钥算法

8.6.1　公开密钥密码体制

8.6.2　背包公钥密码

8.6.3　RSA公钥加密

8.6.4　数字签名

本章主要概念

习题

参考书目

仙农的主要贡献是创立了经典信息论。他在贝尔电话实验室从数学上和技术上研究“通信”、“信息”、“消息”等概念，其顶点则是1948年在《贝尔系统技术杂志》上发表“通信的数学理论”。这篇分两期刊出、长达80余页的文章成了信息论的开端。论文很难读。1949年，由W。韦佛(Weaver)注释后出版了单行本。

信息论在1984年取得成功并不是偶然的。这时，数学上的概率论、数理统计、数理逻辑、运筹学，工程上的通信技术、电子技术、自动控制技术等都在逐渐成熟。计算机出现了，统计力学、量子力学、生物学提供了重要的科学方法。仙农正是站在前人的肩膀上看到了曙光。

仙农首先采用严密的数学方法，对信源、信息、信息量、信道、编码、解码、传输、接收、滤波等一系列基本概念，进行严格的数学描述和定量度量，使得信息研究由粗糙的定性分析阶段进入精密的定量阶段，并因此而发展成一门真正的科学学科。

对莫尔斯电报编码的研究将会导致用概率观念考察信息。比如，在英文电报中，“字母E的出现概率比Q大得多，序列TH出现的概率比XP大得多。”由此仙农进一步注意到：“通信的基本问题是在消息的接收端精确地或近似地复现发送端所挑选的消息。通常的消息是有意义的，……而通信的语义方面问题和工程问题是没有关系的。”“重要的是，一个实际信息总是从可能消息的集合中选择出来的。”这就是说，仙农认识到两个要点：(1)通讯工程与语义无关；(2)通信系统所处理的信息本质上是随机的。于是他想到“信息是可用来消除不肯定的东西”，并尝试采用概率方法给信息量下精确定义。设信息源有n个不同的符号。x1，x2…xn，它们出现的概率分别为p1(x1)，p2(x2)…pn(xn)。仙农引入信息熵的概念：

其中K是某一常数，它表示信息源的某种不确定程度，成为信息量的一种量度。信息熵借用了19世纪热力学第二定律中热力熵的想法。这里，仙农不把信息看作有意义的消息，而是当作信息源中各元素符号组合成消息时的自由度，即各元素符号相继出现的不肯定程度。显然，自由度越大，信息量也越大。比如，如果a的后面只能出现b，没有自由选择的机会，那么消息a和ab的信息量是一样的。所以，用不肯定度(或自由度，或混乱程度)来刻画信息量，是很自然的事。正是这一革命性的思想，成了经典信息论的基石。信息量的定义中的对数若以2为底，其单位被仙农称为比特，而当取10或e为底时，相应的单位称为迪西特(decit)与奈特(nat)。

仙农用随机观念考察通信理论，确实是一项重大的突破。20世纪初蓬勃发展的概率论和数理统计为信息论提供了合适的数学工具。他指出：“离散信源是一个一个符号地产生消息的。相继符号的选择是根据某些概率，而通常这些概率取决于前面符号的选择及待选的符号。任何一个能产生由一组概率控制的符号序列的物理系统，或物理系统的数学模型都可称为随机过程。”这样一来，平稳随机过程、统计相关理论等数学成果迅速转移到通信过程的研究领域中来。仙农描述的通信系统是：

信源：由一个消息符号表X和X上的概率分布p(x)表示。

编码：把信源消息变为可向信道输入的信号的运算。数学上指函数fn：Xn→Un。

信道：由输入(拍发)信号集合U，输出(接收)信号集合V，转移概率分布矩阵p(u v)构成。其中p(u v)为拍发u条件下接收为v的概率。

译码：把信道接收信号还原为信源消息的运算，即gn：Vn→Xn。

仙农对信息论的又一贡献，是对信道最大容量的描述和研究。信道容量是指每秒在信道中可通过C个单位。今有每秒输出H个单位的信源，他提出的一个结论是：在没有噪声干扰的情况下，符号传输的平均速率有一个上限C/H，它可以逼近，但不能超越。为了将这一定理推广到具有噪声干扰的实际情形，仙农将两种不肯定性加以区别。一种是由误发和噪声干扰产生的“不需要的”不肯定性，另一种是信源本身所具有的“需要的”不肯定性。于是，有用的信息应为信源的不肯定性减去噪声带来的模糊性。仙农指出：当C>H时，传输误差可以变得很小；而当C小于H时，误差就难以控制了。因此，“不需要的”不肯定性必须大于或等于H－C。最后，至少有一种编码能降低噪声引起的模糊程度，使之非常接近H－C。仙农给出了这一重要定理的严格表述：

信息论基本定理。已知一个具有容量C>0的平稳无记忆通道，以及取自一个遍历信源的任意信号(数据)，则对任一ε>0和正数R(0<R<C)，必存在充分长的编码信号(a1，a2…an)，它以传输速率R传递数据，同时译码错误的概率小于ε。

仙农的信息论研究先处理离散的随机变量，而后很容易地推广到连续的情形，几乎无需作重大修改。

仙农在1948年发表的原始论文，并未期望对通信系统会有广泛的工程技术应用。然而人们很快就意识到仙农所提供的工具对实际通信十分有效。例如，通信中常有一些信息是多余的。我们在打电报时，总是努力压缩字数以减少多余。但是仙农指出，信息的多余往往是有用的，消灭多余倒未必有利。英语中的多余度约为百分之五十。例如，一条消息“To err is human”(人孰无过)经传输后接收为“Too err is fuman”，一般有些知识的人都能读懂，可是如果拍发“Yanks beat reds”而接收成“Yanks beat rebs”，虽然只错一个字母(d变成b)，意思却没法猜了。这是因为两条消息的多余度不同。

仙农在1948年发表的原始论文，“犹如一颗重磅炸弹起爆，震撼了科学界”。全新的思想，独创的方法，一时成为人们争相仿效的典范。它不仅在理论上十分精致和漂亮，而且为许多工程技术问题的解决提供了新工具，带来了新的希望，具有很高的实用价值。然而，也有一些情况不大正常。1956年，仙农曾这样说：“近几年来，信息论简直成了最时髦的学科。它本来只是通信工程师所采用的一种技术手段，但现今竟然在普通杂志和科学刊物上都会占有重要地位。……它已名过其实。许多不同学科的同事们，或因慕其名，或希望寻求科学分析的新途径，都把新兴理论引入各自的领域。总之，现在信息论已经名声在外。这种声誉固然使我们本学科的人感到愉快和兴奋，但也孕育着一种危险……信息论决不是通信工作的万灵药方，而对其他人则更是如此。要知道，一次就能打开全部自然奥秘的事情，是十分罕见的。否则，人们一旦知道仅仅用几个像信息、熵、多余度这样一些动人字眼并不能解决全部问题的时候，就会大失所望。那种人为的繁荣就会在一夜之间突然崩溃。”

仙农的忠告在50年代后半期受到重视，使信息论的发展走上更健康的轨道。过去的几十年，现代的信息技术在仙农的基础上迅猛发展，诸如信号的数学化、微波技术、卫星通信都成为巨大的产业。由于电子计算机的长足发展和迅速普及，信息科学正向医学、生物学、遗传工程、语言学、心理学、管理科学、经济学等几乎所有的社会科学和自然科学的各个学科渗透、溶合，甚至渗入到人们的日常生活之中，这种情形，在数学史乃至整个科学史上都是十分罕见的。

仙农在40—50年代达到科学事业的高峰，以后仍继续有科学成果发表，也有一些较重要工作。例如，1959年的论文提出了保真度准则下的离散信源编码定理，以后发展成“信息率失真论”，成为频带压缩和数据压缩的理论基础。1967年还看到他和别人合作发表文章。此后他渐渐退出历史舞台。1980年退休之后，住在波士顿安度晚年。

关于“信道容量的计算”这个话题的介绍，今天小编就给大家分享完了，如果对你有所帮助请保持对本站的关注！