l  离散连串信道及其容量, 平均互信息I(X

平均互音信量的情理意义

对自由N长的输入、输出连串,有

互信息(Mutual
Information)是胸襟两个事件集合之间的相关性(mutual
dependence)。

 图片 1

平均互音讯量不是从多个具体音信出发, 而是从随机变量X和Y的总体角度出发, 并在平均意义上考察难题, 所以平均互音讯量不会油然则生负值。

信道的互音信量:

I(X;Z)≤I(X;Y)

这是切磋信道容量的底子

平均互音信量定义:

2. 有困扰无回想信道

H(X/Y) —信道疑义度/损失熵.。Y关于X的后验不确定度。表示接到变量Y后,对自由变量X依旧存在的不确定度。代表了在信道中损失的消息。

c)        半一而再:输入和输出一个离散一个连连

③ 极值性

1.        信道

互新闻量I(xi;yj)在共同几率空间P(XY)中的总计平均值。 平均互信息I(X;Y)克制了互消息量I(xi;yj)的随机性,成为一个规定的量。

l  接二连三信道及其容量

从一个事变提取关于另一个风浪的音讯量, 至多是另一个轩然大波的熵那么多, 不会超越另一个事件自个儿所含的新闻量。

图片 2

信宿收到数额后再举行多少处理, 数据处理连串可视作一种信道, 它与前边传输数据的信道构成串联信道。

当信道固定,即p为一个定点常数时,可得出I(X;Y)是信源分布的上凸函数

④ 凸函数性

输入对称

 

DMC的转移几率矩阵

I(Y;X)≤H(Y)

岁月离散、取值屡次三番的稳定性随机体系X=(X1,X2,…,XL)和Y=(Y1,Y2,…,YL)

I(X;Y)≤H(X)

5.        噪声连串

H(X) —X的先验不确定度/无条件熵。

对称DMC信道定义

 

信道的输入输出:取值一连的一维随机进程{x(t)}和{y(t)},带宽受限fm
、观看时间受限tB

 图片 3

无反馈、有反馈

其中若是Y条件下X和Z互相独立。

2)        离散无记念信道DMC(Discrete memoryless channel)

2)观看者站在输入端:

2)        处理困难

I(Y;X) —发出X前后关于Y的先验不确定度减弱的量.

一经转移可能率矩阵P的每一行皆以首先行的置换(包括同样成分),称该矩阵是输入对称

或许说从一个风云提取关于另一个风波的音讯, 最坏的情形是0, 不会出于知道了一个事件,反而使另一个事件的不确定度增加。

波形信道→多维两次三番信道

若固定信源,调整信道, 则平均互音讯量I(X;Y)是p(yj /xi)的函数,即I(X;Y)=f [p (yj
/xi)]。

分析:

平均互音讯量I(X;Y)是输入信源可能率分布p(xi)的上凸函数(concave function; or
convext cap function)。

信道的变换几率密度函数=噪声的可能率密度函数

H(XY)—联合熵.表示输入随机变量X, 经信道传输到达信宿, 输出随机变量Y。即收,发双方通讯后,整个连串仍旧存在的不确定度.

(2).种类

I(X;Z)≤I(Y;Z)

Ø 
表达:条件熵Hc(Y/X)是由噪声引起的,等于噪声熵Hc(n),所以它被叫作噪声熵。

当对信号/数据/音讯举办体系处理时, 每处理一遍, 就有或然损失一部分信息, 也等于说数据处理会把信号/数据/音讯成为更实惠的款型, 不过绝不会创立出新的新闻。那就是所谓的新闻不增原理。

对于一直的信道,输入符号集X的几率分布不相同时,在接收端平均每一种符号所取得的音信量就差异

如上三种不同的角度表达: 从一个轩然大波得到另一个事件的平分互消息需求破除不确定度,一旦化解了不确定度,就拿到了音讯。

b)        广播信道

⑤ 数据处理定理

a)        离散信道:输入、输出的年华、幅度上都离散

平均互消息量的属性

特例:二进制对称信道BSC

数量处理定理:当新闻经过层层处理后,随着电脑数目的加码,输入音讯与输出新闻之间的平均互音信量趋于变小。即

无纪念:逐个输出只与当下输入之间有转移可能率关系,与其余非该时刻的输入、输出都毫不相关

 

信道容量

串联信道

b)        信道转移可能率

1) 观看者站在输出端:

1)        实际信道

I(X;Y)= I(Y;X)

• XY逐条对应

当已用某种格局得到Y后, 不管怎样对Y进行处理, 所拿到的新闻不会超过I(X;Y)。每处理五回, 只会使音信量减弱, 至多不变。相当于说在其余新闻流通系统中, 最终得到的新闻量,至多是信源提供的音信。一旦在某一经过中丢失了一部分音信, 今后的连串不管如何处理, 假如无法接触到丢失消息的输入端, 就不恐怕再回复已丢失的音信。

a)        多元过渡信道

两级串联信道输入与出口新闻之间的平分互信息量既不会领先第Ⅰ级信道输入与出口新闻之间的平均互消息量,也不会当先第Ⅱ级信道输入与输出新闻之间的平均互音信量。

出口对称

I(X;Y)≥0

G:白噪声,(0,σ2)

I(X;Y) —通讯前后整整系统不确定度裁减量。在通讯前把X和Y看成五个相互独立的随机变量, 整个系统的先验不确定度为X和Y的共同熵H(X)+H(Y); 通讯后把信道两端出现X和Y看成是由信道的传递计算天性联系起来的, 具有一定计算关联关系的五个随机变量, 那时整个序列的后验不确定度由H(XY)描述。

当输入符号为等可能率分布时,平均互消息量I(X;Y)为最大值,那时,接收每一种符号所获取的音讯量最大。

H(Y/X)—噪声熵。表示发出随机变量X后, 对私自变量Y如故存在的平分不确定度。假设信道中不设有任何噪声, 发送端和接收端必存在确定的呼应关系, 发出X后必能确定相应的Y, 而将来不大概一心确定相应的Y, 那眼看是由信道噪声所引起的。

无噪有损信道

当X和Y相互独立时: H(X/Y) =H(X),
I(Y;X)=0。 从一个事件不可以赢得另一个事变的任何消息,那等效于信道中断的景观。

n  R=I(X;Y)=H(X)-H(X/Y)  比特/符号

当X和Y是逐一对应涉及时: I(X;Y)=H(X), 那时H(X/Y)=0。从一个事件可以尽量拿到有关另一个事变的新闻, 从平均意义上的话, 代表信源的新闻量可全方位因此信道。

 

平均互消息量I(X;Y)是输入转移几率分布p(yj /xi)的下凸函数(convext function; or
convext cup function)。

3.        信道输入输出个数

平均互音信量是p(xi)和p(yj
/xi)的函数,即I(X;Y)=f [p(xi),
p(yj /xi)];

平均互消息I(X;Y)在数值计算上显示为输入分布p(x)的上凸函数,所以存在一个使某一一定信道的新闻量达到极大值信道容量C的信源。

在局地其实通讯系统中, 平常出现串联信道。例如微波中继接力通讯就是一种串联信道.

图片 4

图片 5

多维屡次三番信道转移密度函数

由Y提取到的关于X的新闻量与从X中领到到的有关Y的音讯量是同等的。 I(X;Y)和 I(Y;X)只是观望者的立足点差距。

音信传输的媒婆或通道

I(X;Y)—收到Y前后关于X的不确定度裁减的量。从Y得到的有关X的平均消息量。

图片 6

② 非负性

6.        输入输出事件的时日个性和聚众的特性

① 对称性

那是信息率失真论的底子

3)观看者站在通讯系统总体立场上:

y(t)=x(t)+n(t) 信号和噪声相互独立

若固定信道,调整信源, 则平均互音讯量I(X;Y)是p(xi)的函数,即I(X;Y)=f
[p(xi)];

有噪无损信道

3)        信道参数

a)        无回想信道:信道输出仅与眼下的输入有关

3. 有搅和有回想信道

第3章信道与信道容量

l  对称DMC信道的C

信道容量C仅与信道的总括特性有关,即与信道传递可能率矩阵有关,而与信源分布无关

个其他、离散的输入符号集X∈{a1,a2,…,an},输出未经量化,实轴上的任意值Y∈{-∞,
∞}

c)        有搅和有记忆信道

在任几时刻信道的出口只与此时的信道输入有关,而与在此从前的输入毫不相关

信道中不存在任意苦恼恐怕随便困扰很小可以略去不计,信道的出口信号Y与输入信号X之间有规定的涉及Y=f(X)。已知X后,确知Y,此时,转移可能率为

离散化,L=2*fm* tB

二.信道

l  两种至极的信道

d)        波形信道:输入和出口都是连接随机信号,时间总是,幅度三番五次

当固定信源的几率分布时,则平均互消息I(X;Y)是信道性情p的下凸函数

b)        有纪念信道:信道输出不仅与当前输入有关,还与过去的输入有关

a)        输入输出之间的统计正视关系p(Y/X)

c)        有噪信道中能否够兑现可信才传输?怎么落到实处?

yj∈B={b1,b2,…,bm}

l  新闻传输速率

10.    信道参数

b)       固定信源分布时的平分互新闻

图片 7

图片 8

单用户、多用户

1)        输入矢量X=(x1,x2,…,xi,…), 

n  I(X;Y)的条件极大值

l  C的含义

图片 9

b)        有搅和无纪念信道

还满足

4.        输入端和出口端关系

• C=maxI(X;Y)=maxH(X)

Rt=I(X;Y)/t  比特/秒

离散时间无回想信道,其性子由离散输入X、连续输出Y、一组条件几率密度函数PY(y/X=ai)决定。

对称的DMC信道:输入、输出都对称

图片 10

信道中存在任意烦扰,输出符号与输入符号之间无规定的附和关系,但是,信道中任一时刻的出口符号仅总计看重于对应时刻的输入符号

l  离散单个记号信道及其容量

无噪无损信道

(1).概念

3)        处理方法

加性高斯白噪声AWGN信道Y=X+G

   pX,Y(x,y)=pX,n(x,n)=pX(x)*pn(n)

9.        根据信道的回想性格

不必要矢量格局,只需分析单个符号的转换几率p(yj/xi)即可

图片 11

即,转移几率不随时间变化,安居乐业的或恒参

出口比特仅与对应时刻的一个输入比特有关,与原先的输入比特无关

对于一个恒定的信道,总存在一种信源几率分布,使传输各个标志平均获得的新闻量,即平均互音讯I(X;Y)最大,而相应的几率分布p(x)称为顶级输入分布

图片 12

xi∈A={a1,a2,…,an}

图片 13

当二元信源固定后,改变信道天性p可得到差别的平分互音信 I

 

2.        信道的关键难点

图片 14                    

信道在单位时间内平均传输的消息量定义为新闻传输速率

1. 无烦扰信道

a)        信道的建模:其计算特性的描述

 

2)        输出矢量Y=(y1,y2,…,yi,…),

图片 15

l  信道的音信传输率

假诺转移几率矩阵P的每一列都是率先列的置换(包涵同样成分),称该矩阵是出口对称

图片 16

• C=maxI(X;Y)=log n

图片 17

a)        无苦恼信道

随机差错、突发差错

l  信道容量

4)        波形信道

p=0.5时,I(X;Y)=0。即在信道输出端得到的音信最小,那意味信源的新闻全体损失在信道中,那是一种最差的信道,其噪音最大

 图片 18

b)        信道传输新闻的能力及其统计

题材简化

n  单位:比特/符号(bits/symbol或bits/channel use)

• C=maxI(X;Y)=maxH(Y)

b)        屡次三番信道:幅度延续,时间离散

4)        本章介绍

一.信道的数学模型

图片 19

   pY(y/x)=pY (y1,y2,…,yL/x1,x2,…,xL)

图片 20

3)        离散输入、三番五次输出信道

5)        将更换几率p(Y/X)看成马克ov链的花样,纪念有限

Ø  主要商讨加性、高斯白噪信道

图片 21

当X=ai给定后,Y是一个均值为ai,方差为σ2的高斯随机变量

8.        按信道接入方式分

l  离散种类信道及其容量

Ø  考虑AWGN信道

a)        固定信道时的平分互消息

• 八个输入变成一个输出:

特例:

恒参、随参

1)        二进制离散信道BSC

7.        信道参数与时间的涉及

l  信道的数学模型及其分类

二元对称信道的平分互音信为 

信道容量表征信道传送新闻的最大力量。实际中信道传送的新闻量必须低于信道容量,否则在传递进程中校会冒出谬误。

4)        将以及很强的L个符号当矢量符号,各矢量符号间作为无纪念

• 一个输入对应几个出口