Astronet > Matematicheskaya teoriya svyazi. Chast' 4. Nepreryvnyi kanal

po tekstam po klyuchevym slovam v glossarii po saitam perevod po katalogu

Klod Shennon: Matematicheskaya teoriya svyazi

<< Chast' 3. Matematicheskie osnovy | Oglavlenie | Chast' 5. Temp dlya nepreryvnogo istochnika >>

Chast' 4. Nepreryvnyi kanal

Propusknaya sposobnost' nepreryvnogo kanala

V nepreryvnom kanale vhodnaya informaciya ili peredavaemyi signal yavlyayutsya nepreryvnymi funkciyami vremeni $f(t)$ iz nekotorogo mnozhestva, a vyhodnaya informaciya idi prinyatyi signal - ih iskazhennymi versiyami. My rassmotrim lish' sluchai peredannogo i prinyatogo signalov, ogranichennyh chastotnym diapazonom $W$ . Takie signaly mozhno predstavit' na intervale vremeni $T$ naborom $2 T W$ chisel, a ih statisticheskuyu strukturu - konechnomernymi funkciyami raspredeleniya. Togda statistika peredavaemogo signala budet opredelyat'sya

$P(x_1,\dots,x_n)=P(x),$

a shuma - raspredeleniem uslovnoi veroyatnosti

$P_{x_1,\dots,x_n}(y_1,\dots,y_n)=P_x(y).$

Temp peredachi informacii dlya nepreryvnogo kanala opredelim po analogii s nepreryvnym sluchaem, a imenno kak

$R=H(x)-H_y(x)$

gde $H(x)$ - entropiya na vhode i $H_y(x)$ - oshibochnost'. Propusknaya sposobnost' kanala $C$ opredelyaetsya kak maksimal'noe znachenie $R$ pri var'irovanii vhodnoi informacii po vsem vozmozhnym ansamblyam. Eto znachit, chto v konechnomernom sluchae my dolzhny var'irovat' $P(x)=P(x_1,\dots,x_n)$ dlya maksimizacii

Eto mozhno zapisat' kak

ispol'zuya to, chto . Propusknaya sposobnost' kanala togda prinimaet vid

Ochevidno, chto v takoi zapisi $R$ i $C$ ne zavisyat ot vybora sistemy koordinat, tak kak i chislitel', i znamenatel' v $\log\frac{P(x,y)}{P(x)P(y)}$ umnozhayutsya na odno i to zhe chislo pri odinakovom preobrazovanii $x$ i $y$ . Dannoe integral'noe predstavlenie $C$ yavlyaetsya bolee obshim, chem $H(x)-H_y(x)$ . Sootvetstvennym obrazom prointegrirovannoe (sm. prilozhenie 7), ono opredeleno vsegda, togda kak $H(x)-H_y(x)$ v nekotoryh sluchayah prinimaet neopredelennoe znachenie $\infty-\infty$ . Eto imeet mesto, k primeru, kogda $x$ ogranicheno poverhnost'yu men'shei razmernosti, chem $n$ v $n$ -mernom priblizhenii.

Pri ispol'zovanii dvoiki kak osnovaniya logarifma pri raschete $H(x)$ i $H_y(x)$ $C$ yavlyaetsya maksimal'nym chislom dvoichnyh znakov, kotorye mozhno poslat' za sekundu po kanalu s proizvol'no maloi oshibochnost'yu, tak zhe, tak i v diskretnom sluchae. Fizicheski eto stanovitsya ochevidnym pri delenii prostranstva signalov na bol'shoe chislo yacheek, dostatochno malyh dlya togo, chtoby plotnost' veroyatnosti $P_x(y)$ dlya signala $x$ v rezul'tate vozmusheniya pereiti v $y$ byla dostatochno postoyannoi po yacheike (kak po $x$ , tak i po $y$ ). Esli rassmatrivat' eti yacheiki kak tochki, situaciya stanovitsya sovershenno analogichnoi diskretnomu sluchayu, i mozhno vospol'zovat'sya sootvetstvuyushim dokazatel'stvom. S fizicheskoi tochki zreniya yasno, chto eto ``kvantovanie'' prostranstva na otdel'nye tochki v lyuboi prakticheskoi situacii ne mozhet sil'no izmenit' otvet pri dostatochno malyh razmerah yacheek. Sledovatel'no6 propusknaya sposobnost' budet predelom sootvetstvuyushih diskretnyh pri stremlenii razmerov yacheek k nulyu, chto i otrazheno v vysheprivedennom opredelenii.

S matematicheskoi tochki zreniya, mozhno vnachale pokazat' (sm. prilozhenie 7), chto, esli $u$ - soobshenie, $x$ - signal, $y$ - prinyatyi signal (iskazhennyi shumom), i $v$ - vosstanovlennoe soobshenie, to

$H(x)-H_y(x)\geq H(u)-H_v(u)$

vne zavisimosti ot togo, kakimi operaciyami iz $u$ poluchaetsya $x$ , ili iz $y$ - $v$ . Sledovatel'no, vse zavisimosti ot togo, kak imenno my kodiruem ishodnoe soobshenie ili vosstanavlivaem ego v tochke priema, diskretnyi temp peredachi dvoichnyh znakov ne prevoshodit vvedennoi nami propusknoi sposobnosti kanala. S drugoi storony, pri dostatochno obshih usloviyah mozhno naiti sistemu kodirovaniya, pozvolyayushuyu peredavat' dvoichnye znaki s tempom $C$ s proizvol'no maloi chastotoi oshibok. Eto verno, k primeru, togda, kogda pri konechnomernom priblizhenii prostranstva funkcii signalov $P(x,y)$ nepreryvno kak po $x$ , tak i po $y$ za isklyucheniem mnozhestva tochek nulevoi veroyatnosti.

Vazhnym chastnym sluchaem yavlyaetsya dobavlenie k signalu shuma, nezavisimogo ot nego (v statisticheskom smysle). Togda $P_x(y)$ zavisit lish' ot raznosti $n=(y-x)$ .

$P_x(y)=Q(y-x)$

i shum imeet opredelennuyu entropiyu (ne zavisyashuyu ot statistiki signala), imenno - entropiyu raspredeleniya $Q(n)$ , kotoruyu my oboznachim $H(n)$ .

Teorema 16: Esli signal i shum nezavisimy, i prinyatyi signal raven summe peredannogo i shuma, temp peredachi raven

$R=H(y)-H(n),$

to est' entropiya prinyatogo signala men'she entropii shuma. Propusknaya sposobnost' kanala est'

$C=\max_{P(x)} H(y)-H(n).$

Tak kak $y=x+n$ , imeem

$H(x,y)=H(x,n).$

Raspisyvaya levuyu chast' i pol'zuyas' faktom nezavisimosti $x$ i $y$ , imeem

$H(y)+H_y(x)=H(x)+H(n).$

Takim obrazom,

$R=H(x)-H_y(x)=H(y)-H(n).$

Tak kak $H(n)$ ne zavisit ot $P(x)$ , maksimizaciya $R$ trebuet maksimizacii $H(y)$ , entropii prinyatogo signala. Esli est' nekotorye ogranicheniya na ansambl' peredavaemyh signalov, maksimizaciyu entropii prinyatogo signala neobhodimo provodit' s uchetom etih ogranichenii.

Propusknaya sposobnost' kanala s ogranicheniem srednei moshnosti

Prostym prilozheniem teoremy 16 yavlyaetsya sluchai teplovogo belogo shuma i peredavaemyh signalov, ogranichennyh nekotoroi srednei moshnost'yu $P$ . Togda srednyaya moshnost' prinyatogo signala ravna $P+N$ , gde $N$ - srednyaya moshnost' shuma. Entropiya prinyatogo signala maksimal'na, kogda on takzhe yavlyaetsya ansamblem belogo shuma, tak kak on obladaet naibol'shei entropiei pri zadannoi moshnosti. Eto mozhet byt' dostignuto nadlezhashim vyborom peredavaemyh signalov, a imenno - kogda oni obrazuyut ansambl' belogo shuma srednei moshnosti $P$ . Entropiya prinyatogo ansamblya (v sekundu) togda imeet vid

$H(y)=W\log 2\pi e(P+N),$

a shuma -

$H(n)=W\log 2\pi e N.$

Propusknaya sposobnost' kanala togda

$C=H(y)-H(n)=W\log\frac{P+N}{N}.$

Podytozhivaya, imeem sleduyushii rezul'tat.

Teorema 17: Propusknaya sposobnost' kanala ogranichennogo diapazona chastot $W$ , vozmushaemogo teplovym belym shumom $N$ pri srednei peredavaemoi moshnosti, ne prevoshodyashei $P$ , daetsya vyrazheniem

$C=W\log\frac{P+N}{N}.$

Eto znachit, chto pri dostatochno slozhnoi sisteme kodirovaniya my mozhem peredavat' dvoichnye znaki s tempom $W\log_2\frac{P+N}{N}$ s proizvol'no maloi chastotoi oshibok. Peredacha s bolee vysokim tempom bez konechnoi polozhitel'noi chastoty oshibok nevozmozhna pri lyuboi sisteme kodirovaniya.

Dlya priblizheniya k etomu predel'nomu tempu peredachi peredavaemyi signal dolzhen stremit'sya po statisticheskim svoistvam k belomu shumu (Eto i drugie svoistva sluchaya belogo shuma obsuzhdayutsya s geometricheskoi tochki zreniya v ``Communication in the Presence of Noise,'' loc. cit.). Sistema, priblizhayushayasya k ideal'nomu tempu, mozhet byt' ustroena tak. Pust' postroeny $M=2^s$ vyborok belogo shuma dlitel'nost'yu $T$ kazhdaya. Im sopostavlyayutsya dvoichnye chisla ot $0$ do $M-1$ . V peredatchike soobshenie razbivaetsya na posledovatel'nosti dlinoi $s$ , i sootvetstvuyushie im vyborki belogo shuma peredayutsya kak signaly. Na storone priemnika eti vyborki izvestny, i prinyatyi signal sravnivaetsya s nimi. Peredannym signalom schitaetsya ta vyborka, kotoraya naimenee ot nego otlichaetsya (v smysle naimen'shih kvadratov raznostei), i vosstanavlivaetsya sootvetstvuyushee dvoichnoe chislo. Etot process sootvetstvuet vyboru naibolee veroyatnogo aposteriornogo signala. Ispol'zovannoe chislo vyborok shuma $M$ budet zaviset' ot dopustimoi chastoty oshibok. no prakticheski dlya vseh variantov vyborok

$\lim_{\epsilon\to0}\lim_{T\to\infty}\frac{\log M(\epsilon,T)}{T}=W\log\frac{P+N}{N},$

tak chto, vne zavisimosti ot malosti $\epsilon$ my mozhem, pri vybore dostatochno bol'shogo $T$ , peredavat' kak ugodno blizko k $TW\log\frac{P+N}{N}$ dvoichnyh cifr v sekundu.

Formuly, pohozhie na $C=W\log\frac{P+N}{N}$ , dlya belogo shuma byli polucheny nezavisimo neskol'kimi drugimi avtorami, hotya i v drugoi interpretacii. Otmetim v svyazi s etim raboty Vinera(N. Wiener, Cybernetics, loc. cit.), Tallera (W. G. Tuller, ``Theoretical Limitations on the Rate of Transmission of Information,'' Proceedings of the Institute of Radio Engineers, v. 37, No. 5, May, 1949, pp. 468--78.) i Sallivana (H. Sullivan).

V sluchae proizvol'nogo vozmushayushego shuma (ne obyazatel'no belogo teplovogo) zadacha maksimizacii pri opredelenii propusknoi sposobnosti $C$ , pohozhe, ne mozhet byt' reshena yavno. Odnako, mozhno nalozhit' verhnii i nizhnii predely na $C$ v terminah srednei moshnosti shuma $N$ i moshnosti ego entropii $N_1$ . Eti predely v bol'shinstve prakticheskih sluchaev dostatochno blizki drug k drugu dlya togo, chtoby schitat'sya resheniem zadachi.

Teorema 18: Propusknaya sposobnost' kanala diapazona chastot $W$ , vozmushaemogo proizvol'nym shumom lezhit v predelah

$W\log\frac{P+N_1}{N_1}\leq C\leq W\log\frac{P+N}{N_1}$

gde

	srednyaya peredavaemaya moshnost'
	srednyaya moshnost' shuma
	moshnost' entropii shuma.

Zdes' srednyaya moshnost' vozmushennogo signala vnov' ravna $P+N$ . Maksimal'naya entropiya dlya dannoi moshnosti $W\log 2\pi e(P+N)$ imela by mesto, esli by prinyatyi signal byl belym shumom. Dostizhenie etogo nevozmozhno, nel'zya postroit' takoi ansambl' perelavaemyh signalov, chtoby pri slozhenii s shumom on dval belyi shum; no kak minimum eto daet nam verhnii predel na $H(y)$ . Sledovatel'no, imeem

Eto - verhnii predel, privedennyi v teoreme. Nizhnii zhe mozhet byt' poluchen pri rassmotrenii tempa peredachi v sluchae, kogda peredavaemyi signal yavlyaetsya belym shumom moshnosti $P$ . Togda moshnost' entropii prinyatogo signala dolzhna byt' ne men'shei sotvetstvuyushei dlya belogo shuma moshnosti $P+N_1$ , tak kak, kak pokazano v predydushei teoreme, moshnost' entropii summy dvuh ansamblei ne men'she summy otdel'nyh moshnostei entropii. Sledovatel'no,

$\max H(y)\geq W\log 2\pi e(P+N_1)$

S rostom $P$ verhnie i nizhnie predely shodyatsya drug k drugu, i my imeem asimptoticheskii temp

$W\log\frac{P+N}{N_1}.$

Esli shum yavlyaetsya belym, $N=N_1$ , i rezul'tat svoditsya k dokazannoi vyshe formule

$C=W\log\Bigl(1+\frac P N\Bigr).$

Esli zhe shum gaussov, no ne obyazatel'no s ploskim spektrom, $N_1$ yavlyaetsya geometricheskim srednim moshnosti shuma po razlichnym chastotam diapazona $W$ . Takim obrazom,

$N_1=\exp\frac1W\int_W \log N(f)\,df$

gde $N(f)$ - moshnost' shuma na achstote $f$ .

Teorema 19: Esli my ustanovim propusknuyu sposobnost' dlya dannoi peredavaemoi moshnosti $P$ ravnoi

$C=W\log\frac{P+N-\eta}{N_1},$

to $\eta$ monotonno ubyvaet s rostom $P$ i ravna $0$ v predele.

Pust' dlya zadannoi moshnosti $P_1$ propustkaya sposobnost' ravna

$W\log\frac{P_1+N-\eta_1}{N_1}.$

Eto znachit, chto luchshee raspredelenie signala, skazhem, $p(x)$ , pri dobavlenii k raspredeleniyu shuma $q(x)$ daet prinyatoe raspredelenie s moshnost'yu entropii $(P_1+N-\eta_1)$ . Uvelichim moshnost' do $P_1+\Delta P$ dobavleniem k signalu belogo shuma moshnosti $\Delta P$ . Entropiya prinyatogo signala togda ravna kak minimum

$H(y)=W\log 2\pi e(P_1+N-\eta_1+\Delta P)$

soglasno teoreme o minimal'noi moshnosti entropii summy. Sledovatel'no, tak kak my mozhem dostich' oboznachennoi $H$ , entropiya maksimiziruyushego raspredeleniya dolzhna byt' ne men'she, i $\eta$ dolzhno monotonno ubyvat'. Chtoby pokazat', chto $\eta\to0$ pri $P\to\infty$ , rassmotrim signal, yavlyayushiisya belym shumom s bol'shim $P$ . Vne zavisimosti ot vozmushayushego shuma prinyatyi signal primerno ostanetsya belym shumom pri dostatochno bol'shom $P$ v smysle moshnosti entropii, priblizhayusheisya k .

Propusknaya sposobnost' kanala s ogranicheniem maksimal'noi moshnosti

V nekotoryh prilozheniyah u peredatchika ogranichena ne srednyaya, a mgnovennaya vyhodnaya moshnost'. Zadacha vychisleniya propusknoi sposobnosti kanala v takom sluchae svoditsya k maksimizacii (pri var'irovanii ansamblya peredavaemyh signalov)

$H(y)-H(n)$

pri uslovii togo, chto vse funkcii $f(t)$ ansamblya ne prevoshodyat, k primeru, $\sqrt{S}$ pri vseh $t$ . Ogranichenie v dannom sluchae vliyaet ne tak, kak v predydushei zadache, v kotoroi bylo izvestno predel'noe srednee znachenie. V dannom sluchae my mozhem poluchit' lish' nizhnii predel, spravedlivyi dlya vseh $\frac S N$ , ``asimptoticheskii'' verhnii predel dlya bol'shih $\frac S N$ i asimptoticheskoe vyrazhenie dlya $C$ dlya malyh $\frac S N$ .

Teorema 20: Propusknaya sposobnost' kanala, ogranichennogo diapazonom chastot $W$ i vozmushaemogo teplovym belym shumom moshnosti $N$ , ogranichena

$C\geq W\log\frac{2}{\pi e^3}\frac S N,$

gde $S$ - maksimal'no vozmozhnaya peredavaemaya moshnost'. Dlya dostatochno bol'shih $\frac S N$

$C\leq W\log\frac{\frac{2}{\pi e}S+N}{N}(1+\epsilon),$

gde $\epsilon$ proizvol'no malo. Pri $\frac S N\to0$ ( i v predpolozhenii togo, chto polosa chastot nachinaetsya s $0$ )

$C \!\!\Bigm/\! W\log\biggl(1+\frac S N\biggr) \to 1.$

Hotelos' by maksimizirovat' entropiyu prinyatogo signala. Pri $\frac S N$ eto budet imet' mesto primerno togda zhe, kogda maksimal'na entropiya peredanvaemogo ansamblya.

Asimptoticheskii verhnii predel mozhet byt' poluchen pri oslablenii nalozhennyh na ansambd' ogranichenii. Predpolozhim, chto velichinoi $S$ ogranichena ne mgnovennaya moshnost', a lish' moshnost' v tochkah nekotoroi vyborki. Maesimal'naya entropiya peredavaemogo ansamblya pri etih oslablennyh usloviyah. ochevidno, ne men'she, chem pri ishodnyh. Pri takom izmenenii zadacha legko reshaetsya. Entropiya maksimal'na, esli razlichnye vyborki nezavisimy i imeyut funkciyu raspredeleniya, postoyannuyu na intervale ot $-\sqrt S$ do $+\sqrt S$ . Entropiyu mozhno rasschitat' kak

$W\log 4S.$

Prinyatyi signal imeet togda entropiyu, men'shuyu, chem

$W\log(4S+2\pi e N)(1+\epsilon)$

s $\epsilon\to0$ pri $\frac S N\to\infty$ , i propusknaya sposobnost' kanala poluchaetsya vychitaniem entropii belogo shuma $W\log 2\pi e N$

$W\log(4S+2\pi e N)(1+\epsilon)-W\log (2\pi e N)=W\log\frac{\frac{2}{\pi e}S+N}{N}(1+\epsilon).$

Eto i est' verhnii predel dlya propusknoi sposobnosti kanala.

Dlya polucheniya nizhnego predela rassmotrim tot zhe ansambl' funkcii. Pust' eti funkcii propuskayutsya cherez ideal'nyi fil'tr s treugol'noi peredatochnoi funkciei. Usilenie ravno edinice na nulevoi chastote i lineino padaet do nulya na chastote $W$ . Pokazhem vnachale, chto vyhodnye funkcii takogo fil'tra ogranicheny mgnovennoi moshnost'yu $S$ vo vseh tochkah (a ne tol'ko v nekotoroi ih vyborke). Vnachale zametim, chto impul's $\frac{\sin 2\pi Wt}{2\pi Wt}$ , prohodya cherez fil'tr, preobrazuetsya v

$\frac12\frac{\sin^2\pi Wt}{(\pi Wt)^2}$

na vyhode. Eta funkciya neotricatel'na. Vhodnaya funkciya v obshem sluchae mozhet rassmatrivat'sya kak summa nabora sdvinutyh funkcii

$a\frac{\sin 2\pi Wt}{2\pi Wt}$

gde amplituda $a$ ne prevoshodit $\sqrt S$ . Sledovatel'no, na vyhode imeem summu sdvinutyh neotricatel'nyh funkcii vysheprivedennoi formy s temi zhe koefficientami. Naibol'shee ee znachenie dlya lyubogo $t$ mozhet byt' polucheno, kogda vse $a$ prinimayut maksimal'nye znacheniya, to est' $\sqrt S$ . Eto sootvetstvuet postoyannomu vhodnomu signalu amplitudy $\sqrt S$ , i, tak kak usilenie fil'tra na nulevoi chastote ravno edinice, signal na vyhode budet tem zhe. Sledovatel'no, predel'noi moshnost'yu vyhodnogo ansamblya budet $S$ .

Entropiya vyhodnogo ansamblya mozhet byt' rasschitana cherez entropiyu vhodnogo pri pomoshi sootvetstvuyushei teoremy. Vyhodnayaya entropiya ravna summe vhodnoi i geometricheskogo srednego usileniya fil'tra

$\int_0^W\log G^2\,df=\int_0^W\log\Bigl(\frac{W-f}{W}\Bigr)^2\,df=-2W.$

Sledovatel'no, vyhodnaya entropiya ravna

$W\log 4S-2W=W\log\frac{4S}{e^2}$

i propusknaya sposobnost' kanala bol'she, chem

$W\log\frac{2}{\pi e^3}\frac S N.$

Pokazhem teper', chto dlya malyh $\frac S N$ (otnoshenie predel'noi moshnosti signala k srednei) propusknaya sposobnost' primerno ravna

$C=W\log\biggl(1+\frac S N\biggr).$

Bolee tochno, pri $\frac S N\to0$ . Tak kak srednyaya moshnost' $P$ ne prevoshodit predel'noi $S$ , dlya vseh $\frac S N$

$C\leq W\log\biggl(1+\frac P N\biggr)\leq W\log\biggl(1+\frac S N\biggr).$

Sledovatel'no, esli my mozhem naiti ansambl' funkcii, sootvetstvuyushii tempu primerno $W\log\biggl(1+\frac S N\biggr)$ , ogranichennyi diapazonom chastot $W$ i predelnoi moshnost'yu $S$ , teorema budet dokazana. Rassmotrim ansambl' fknkcii sleduyushego tipa. Vyborki dliny $t$ imeet postoyannye znacheniya, ravnye $+\sqrt{S}$ ili $-\sqrt{S}$ . Eti znacheniya vybirayutsya sluchaino s veroyatnostyami $\frac12$ kazhdoe. Pri propuskanii takogo ansamblya cherez fil'tr s treugol'noi peredatochnoi funkciei ansambl' na vyhode ogranichen $\pm S$ . Bolee togo, srednyaya moshnost' primerno ravna $S$ pri dostatochno bol'shih $t$ . Entropiya summy takogo signala i belogo shuma mozhet byt' naidena s ispol'zovaniem teoremy o summe belogo shuma i malogo signala. Eta teorema primenima, kogda

$\sqrt{t}\frac S N$

dostatochno malo, chto imeet mesto pri dostatochno malyh $\frac S N$ . Moshnost' entropii proizvol'no blizka k $S+N$ , i, sledovatel'no, temp peredachi budet raven

$W\log\biggl(\frac{S+N}{N}\biggr).$

<< Chast' 3. Matematicheskie osnovy | Oglavlenie | Chast' 5. Temp dlya nepreryvnogo istochnika >>

Publikacii s klyuchevymi slovami: matematika - informaciya - Shennon Publikacii so slovami: matematika - informaciya - Shennon
Sm. takzhe: Golograficheskii princip i chainik Golograficheskii princip Informaciya Matematika trehmernyh mnogoobrazii Klod Shennon: Biografiya D'Alambera uravnenie D'Alambera operator Vse publikacii na tu zhe temu >>

Obsudit' etu publikaciyu

Versiya dlya pechati

Astrometriya - Astronomicheskie instrumenty - Astronomicheskoe obrazovanie - Astrofizika - Istoriya astronomii - Kosmonavtika, issledovanie kosmosa - Lyubitel'skaya astronomiya - Planety i Solnechnaya sistema - Solnce