Rambler's Top100Astronet    
  po tekstam   po klyuchevym slovam   v glossarii   po saitam   perevod   po katalogu 		 

Klod Shennon: Matematicheskaya teoriya svyazi
<< Chast' 2. Diskretnyi zashumlennyi kanal | Oglavlenie | Chast' 4. Nepreryvnyi kanal >>

Chast' 3. Matematicheskie osnovy

V dal'neishem my rassmotrim situacii, v kotoryh signaly i/ili soobsheniya yavlyayutsya nepreryvnymi velichinami, v protivopolozhnost' rassmotrennomu ranee diskretnomu sluchayu. Nepreryvnyi sluchai mozhet byt' poluchen predel'nym perehodom iz diskretnogo - deleniem nepreryvnogo mnozhestva soobshenii i signalov na bol'shoe no konechnoe chislo malyh oblastei i vychisleniem velichin po takoi diskretnoi sisteme. S umen'sheniem razmerov otdel'nyh oblastei eti parametry v obshem sluchae stremyatsya k sootvetstvuyushim velichinam nepreryvnoi zadachi. Odnako, poyavlyayutsya i nekotorye novye effekty, krome togo, akcenty smeshayutsya v napravlenii specializacii obshiz rezul'tatov dlya konkretnyh zadach.

V nepreryvnom sluchae my ne budem pytat'sya poluchat' rezul'taty s kak mozhno bol'shei obshnost'yu ili matematicheskoi strogost'yu, tak kak eto potrebovalo by sushestvennogo uglubleniya v abstraktnuyu teoriyu mery i uvelo nas daleko ot osnovnoi linii nashego issledovaniya. Predvaritel'noe rassmotrenie, odnako, pokazyvaet, chto teoriya mozhet byt' sformulirovana polnost'yu aksiomaticheski i strogo tak, chto budet vklyuchat' v sebya kak nepreryvnyi, tak i diskretnyi sluchai, i mnogoe drugoe. Opredelennoye vol'nosti v predel'nyh perehodah v nashei rassmotrenii mogut byt' strogo obosnovany dlya vseh prakticheski interesnyh situacii.

Mnozhestva i ansambli funkcii

Pri rassmotrenii nepreryvnogo sluchaya my budem imet' delo s mnozhestvami i ansamblyami funkcii. Mnozhestvo funkcii, kak sleduet iz nazvaniya, est' prosto nabor ili gruppa ih, zavisyashih obychno ot odnoi peremennoi, vremeni. Ono opredelyaetsya yavnym zadaniem razlichnyh sostavlyayushih ego funkcii, ili zhe svoistvom, kotorym obladayut eto funkcii, a vse ostal'nye - net. Privedem neskol'ko primerov.

Nazovem ansamblem funkcii mnozhestvo ih s meroi, posredstvom kotoroi mozhno opredelit' veroyatnost' funkcii iz etogo mnozhestva, imeyushei zadannye svoistva. (Matematicheskim yazykom - funkcii prinadlezhat prostranstvu s meroi, prichem ego polnaya mera ravna edinice.). K primeru, dlya mnozhestva

$$f_\theta(t)=\sin(t+\theta),$$

my mozhem zadat' raspredelenie veroyatnosti dlya $\theta$, $P(\theta)$. Mnozhestvo pri etom stanovitsya ansamblem.

Privedem eshe neskol'ko primerov ansamblei.

Nazovem ansambl' funkcii $f_\alpha(t)$ stacionarnym, esli rezul'taty rascheta po nemu ne menyayutsya pri proizvol'nom (fiksirovannom) sdvige po vremeni. Ansambl'

$$f_\theta(t)=\sin(t+\theta)$$

stacionaren, esli $\theta$ raspredelena ravnomerno na intervale ot $0$ do $2\pi$. Pri sdvige kazhdoi iz funkcii na $t_1$ poluchaem

gde $\varphi$ raspredeleno ravnomerno ot $0$ do $2\pi$. Kazhdaya iz fugkcii menyaetsya, no ansambl' kak celoe invarianten po otnosheniyu k takomu preobrazovaniyu. Ostal'nye vysheprivedennye primery takzhe yavlyayutsya stacionarnymi.

Ansambl' yavlyaetsya ergodicheskim, esli ot stacionaren i v nem otsutstvuyut podmnozhestva s veroyatnost'yu, otlichnoi ot 0 i 1, kotorye yavlyayutsya stacionarnymi. Ansambl'

$$\sin(t+\theta)$$

yavlyaetsya ergodicheskim. Ni odno iz ego podmnozhestv s veroyatnost'yu $\neq0,1$ ne perehodit v sebya pri proizvol'nom sdvige po vremeni. S drugoi storony, ansambl'

$$a\sin(t+\theta)$$

s normal'no raspredelennoi $a$ i ravnomerno - $\theta$ stacionaren, no ne ergodichen, tak kak, k primeru, ego podmnozhestvo s $a$ mezhdu 0 i 1 stacionarno.

Sredi vysheprivedennyh primerov tretii i chetvertyi ergodichny, pyatyi, vozmozhno, tozhe. Esli ansambl' ergodichen, mozhno (grubo) schitat', chto lyubaya iz ego fknkcii yavlyaetsya dlya nego tipichnoi. Bolee tochno, izvestno, chto dlya ergodicheskogo ansabmlya srednee lyuboi statistiki po ansamblyu ravno (s veroyatnost'yu 1) srednemu po vremeni dlya lyuboi iz funkcii (Eto - zamenitaya ergodicheskaya teorema (tochnee, odin iz ee aspektov), dokazannaya v nemnogo razlichnyh formulirovkah Birkovym, fon Neimanom i Kupmanom (Birkoff, von Neumann, Koopman), i obobshennaya zatem Vinerom, Hopfom, Gurevichem (Wiener, Hopf, Hurewicz) i drugimi. Literatura po ergodicheskoi teorii dostatochno obshirna, i my otsylaem chitatelya k stat'yam etih avtorov za tochnoi i obshei formulirovkoi; k primeru, sm. E. Hopf, ``Ergodentheorie,'' Ergebnisse der Mathematik und ihrer Grenzgebiete, v. 5; ``On Causality Statistics and Probability,'' Journal of Mathematics and Physics, v. XIII, No. 1, 1934; N. Wiener, ``The Ergodic Theorem,'' Duke Mathematical Journal, v. 5, 1939.). Grubo govorya, mozhno schitat', chto kazhdaya funkciya so vremenem prohodit s sootvetstvuyushei chastotoi vse elementy formy vseh ostal'nyh funkcii.

Tochno tak zhe, kak my proizvodim nekotorye operacii nad chislami ili funkciyami dlya polucheniya novyh chisel lil funkcii, my mozhem proizvodit' nekotorye operacii nad ansamblyami dlya polucheniya novyh. Pust', k primeru, u nas est' ansambl' funkcii $f_\alpha(t)$ i operator $T$, perevodyashii kazhduyu iz funkcii $f_\alpha(t)$ v $g_\alpha(t)$

$$g_\alpha(t)=Tf_\alpha(t).$$

Meru veroyatnosti dlya mnozhestva $g_\alpha(t)$ opredelim cherez meru dlya $f_\alpha(t)$. Veroyatnost' nekotorogo podmnozhestva $g_\alpha(t)$ ravna veroyatnosti ego proobraza iz $f_\alpha(t)$ (to est' takogo podmnozhestva, kotoroe perevoditsya deistviem operatora $T$ v dannoe). Fizicheski eto sootvetstvuet propuskaniyu ansamblya cherez nekotoroe ustroistvo, k primeru - fil'tr, vypryamitel' ili modulyator. Funkcii na vyhode etogo ustroistva obrazuyut ansambl' $g_\alpha(t)$.

Ustroistvo ili operator $T$ nazovem invariantnym, esli sdvig vhodnogo signala sootvetstvuyushim obrazom sdvigaet vyhodnoi, to est' iz

$$g_\alpha(t)=Tf_\alpha(t)$$

sleduet

$$g_\alpha(t+t_1)=Tf_\alpha(t+t_1)$$

dlya vseh $f_\alpha(t)$ i $t_1$. Legko pokazat' (sm. prilozhenie 5), chto esli operator $T$ invarianten i vhodnoi ansambl' stacionaren, vyhodnoi ansamblyu takzhe budet stacionarnym. Analogichno, esli vhodnoi ansambl' ergodichen, budet ergodichnym i vyhodnoi.

Fil'tr ili vypryamitel' invariantny otnositel'no lyubyh preobrazovanii vremeni, togda kak operaciya modulyacii - net, tak kak nesushaya chastota imeet opredelennuyu vremennuyu strukturu. Odnako, modulyaciya invariantna otnositel'no vseh preobrazovanii, kratnyh periodu nesushei chastoty.

Viner (Wiener) obratil vnimanie na glubokuyu svyaz' invariantnosti fizicheskih ustroistv otnositel'no vremennyh sdvigov s teoriei Fur'e (Teoriya svyazi obyazana Vineru osnovami svoi filosofii i teorii. Ego klassicheskii doklad (NDRC report) The Interpolation, Extrapolation and Smoothing of Stationary Time Series (Wiley, 1949) soderzhit pervuyu yasnuyu i chetkuyu formulirovku teorii svyazi kak statisticheskoi zadachi izucheniya operacii nad vremennymi ryadami. Eta rabota, hotya i posvyashennaya glavnym obrazom zadacham lineinogo predskazaniya i fil'tracii, yavlyaetsya vazhnym dopolneniem k dannoi stat'e. Hotelos' by takzhe otmetit' ego Cybernetics (Wiley, 1948), posvyashennuyu obshei zadache svyazi i upravleniya.). Tak, on pokazal, chto, esli ustroistvo yavlyaetsya lineinym i invariantnym, fur'e-analiz daet podhodyashii matematicheskii apparat dlya ego opisaniya.

Ansambl' funkcii yavlyaetsya podhodyashim matematicheskim predstavleniem soobshenii, vydavaemyh nepreryvnym istochnikom (k primeru, rechi), signalov, sformirovannyh preobrazovatelem, i vozmushayushego shuma. Teoriya svyazi v korrektnoi formulirovke, kak bylo otmecheno Vinerom, dolzhna imet' delo ne s konkretnymi funkciyami, a s ih ansamblyami. Sistema svyazi dolzhna razrabatyvat'sya ne dlya konkretnoi rechevoi funkcii, i uzh tem bolee ne dlya sinusoidal'nogo signala, a dlya ansamblya funkcii rechi.

Ansambli funkcii s ogranichennym diapazonom chastot

Esli funkciya vremeni $f(t)$ ogranichena intervalom chastot ot $0$ do $W$, to ona polnost'yu opredelyaetsya naborom svoih znachenii v diskretnom nabore tochek s shagom $\frac1{2W}$ sposobom, predstavlennym v nizheprivedennoi teoreme (Za dokazatel'stvom i obsuzhdeniem otsylaem k rabote avtora ``Communication in the Presence of Noise'', opublikovannoi v Proceedings of the Institute of Radio Engineers, v. 37, No. 1, Jan., 1949, pp. 10--21.).

Teorema 13: Pust' $f(t)$ ne soderzhit komponent s chastotoi, bol'shei $W$. Togda

$$f(t)=\sum_{-\infty}^\infty X_n\frac{\sin\pi(2Wt-n)}{\pi(2Wt-n)}$$

gde

$$X_n=f\Bigl(\frac{n}{2W}\Bigr).$$

V etom razlozhenii $f(t)$ predstavlyaetsya summoi ortogonal'nyh funkcii. Koefficienty $X_n$ mozhno rassmatrivat' kak koordinaty v beskonechnomernom ``prostranstve funkcii'', v kotorom kazhdaya funkciya sootvetstvuet tol'ko odnoi tochke, i kazhdaya tochka - funkcii.

Funkciyu mozhno schitat' ogranichennoi vremenem $T$, esli vse ee znacheniya $X_n$ za predelami etogo intervala ravny nulyu. Takim obrazom, funkcii, ogranichennye chastotnym diapazonom $W$ i vremennym - $T$, sootvetstvuyut tochkam prostranstva razmernosti $2T W$.

Podmnozhestvo takih funkcii sootvetstvuet oblasti v etom prostranstve. K primeru, funkcii s polnoi energiei, men'shei $E$, sootvetstvuyut tochkam vnutri $2T W$-mernoi sfery radiusa $r=\sqrt{2W E}$.

Ansambl' funkcii ogranichennyh dliny i chastotnogo diapazona mozhno predstavit' raspredeleniem veroyatnosti $p(x_1,\dots,x_n)$ v sootvetstvuyushem $n$-mernom prostranstve. Esli zhe ansambl' ne ogranichen vo vremeni, mozhno schitat', chto $2T W$ koordinat na intervale $T$ predstavlyayut chast' funkcii, lezhashuyu na etom intervale, a raspredelenie veroyatnosti $p(x_1,\dots,x_n)$ - statisticheskuyu strukturu ansamblya intervalov takoi dliny.

Entropiya nepreryvnogo raspredeleniya

Entropiya diskretnogo nabora veroyatnostei $p_1,\dots,p_n$ byla opredelena kak

$$H=-\sum p_i\log p_i.$$

Opredelim analogichno i entropiyu nepreryvnogo raspredeleniya s plotnost'yu $p(x)$

$$H=-\int_{-\infty}^\infty p(x)\log p(x)\,dx.$$

Dlya $n$-mernogo raspredeleniya $p(x_1,\dots,x_n)$ imeem

Pri nalichii dvuh argumentov $x$ i $y$ (kotorye, v svoyu ochered' mogut byt' mnogomernymi) sovmestnaya i uslovnaya entropii imeyut vid

i


gde


Entropii nepreryvnyh rasperedelii sohranyayut bol'shinstvo (no ne vse) svoistv diskretnogo sluchaya. V chastnosti,

Entropiya ansamblya funkcii

Rassmotrim ergodicheskii ansambl' funkcii, ogranichennyh polosoi chastot shiriny $W$. Pust'

$$p(x_1,\dots, x_n)$$

plotnost' funkcii raspredeleniya amplitud $x_1,\dots,x_n$ v $n$ posledovatel'nyh tochkah. Opredelim entropiyu ansamblya v raschete na stepen' svobody kak

$$H'=-\lim_{n\to\infty}\frac1n\int\dots\int p(x_1,\dots, x_n)\log p(x_1,\dots, x_n)\,dx_1\dots dx_n.$$

Mozhno takzhe opredelit' entropiyu v sekundu, podeliv ne na $n$, a na vremya $T$ v $n$ vyborkah. Tak kak $n=2T W$, $H=2W H'$.

Pri belom teplovom shume $p$ gaussovo, i

Dlya dannoi srednei moshnosti $N$ belyi shum obladaet naibol'shei vozmozhnoi entropiei, chto sleduet iz svoistv maksimizacii gaussova raspredeleniya, otmechennyh vyshe.

Entropiya nepreryvnogo stohasticheskogo processa obladaet mnogimi svoistvami, analogichnymi diskretnomu sluchayu. V diskretnom sluchae entropiya byla svyazana s logarifmom veroyatnosti dlinnyh posledovatel'nostei i chislom dostatochno veroyatnyh posledovatel'nostei bol'shoi dliny. V nepreryvnom zhe sluchae ona svyazana pohozhim obrazom s logarifmom plotnosti veroyatnosti dlinnyh vyborok i ob'emom dostatochno bol'shoi veroyatnosti v prostranstve funkcii.

Bolee tochno, esli $p(x_1,\dots,x_n)$ nepreryvno po vsem $x_i$ dlya vseh $n$, to dlya dostatochno bol'shih $n$

$$\Bigl|\frac{\log p}{n}-H'\Bigr|<\epsilon$$

dlya vseh $(x_1,\dots,x_n)$ za isklyucheniem mnozhestva polnoi veroyatnosti men'she $\delta$, gde $\delta$ i $\epsilon$ proizvol'no maly. Eto sleduet iz svoistva ergodichnosti pri delenii prostranstva na bol'shoe chislo malen'kih yacheek.

Svyaz' $H$ s ob'emom mozhno ustanovit' sleduyushim obrazom. Pri teh zhe usloviyah rassmotrim $n$-mernoe prostranstvo, sootvetstvuyushee $p(x_1,\dots,x_n)$. Pust' $V_n(q)$ - naimen'shii ob'em v etom prostranstve, soderzhashii v sebe polnuyu veroyatnost' $q$. Togda

$$\lim_{n\to\infty}\frac{\log V_n(q)}{n}=H'$$

pri $q$ ne ravno 0 ili 1.

Eto pokazyvaet, chto dlya bol'shih $n$ est' horosho opredelennyi ob'em (kak minimum v logarifmicheskom smysle) bol'shoi veroyatnosti, i vnutri nego plotnost' veroyatnosti dostatochno donorodna (opyat' zhe v logarifmicheskom smysle).

V sluchae belogo shuma fknkciya raspredeleniya daetsya vyrazheniem

$$p(x_1,\dots,x_n)=\frac{1}{(2\pi N)^{n/2}}\exp -\frac{1}{2N}\sum x_i^2.$$

Tak kak eto zavisit lish' ot $\sum x_i^2$, poverhnosti ravnoi plotnosti veroyatnosti yavlyayutsya sferami i vse raspredelenie sfericheski-simmetrichno. Oblast' bol'shoi veroyatnosti yavlyaetsya sharom radiusa $\sqrt{n N}$. Pri $n\to\infty$ veroyatnost' nahodit'sya vne etoi oblasti radiusa $\sqrt{n(N+\epsilon)}$ stremitsya k nulyu, i umnozhennyi na $\frac1n$ logarifm ee ob'ema stremitsya k $\log\sqrt{2\pi e N}$.

V nepreryvnom sluchae udobno rabotat' ne s entropiei $H$ ansamblya, a s nekotoroi proizvodnoi ot nee velichinoi, kotoruyu my budem nazyvat' moshnost'yu entropii. Opredelim ee kak moshnost' ogranichennogo tem zhe diapazonom chastot belogo shuma toi zhe entropii. Inymi slovami, esli entropiya ansamblya ravna $H$, to ee moshnost' est'

$$N_1=\frac{1}{2\pi e}\exp 2H'.$$

V geometricheskom podhode eto sootvetstvuet izmereniyu ob'ema vysokoi veroyatnosti kvadratom radiusa shara togo zhe ob'ema. Tak kak belyi shum imeet naibol'shuyu entropiyu, moshnost' entropii lyubogo shuma ne prevoshodit ego deistvitel'nuyu moshnost'.

Tablica 1.
UsilenieFaktor moshnosti entropiiUsilenie moshnosti entropii v decibelahImpul'snyi otklik
$\frac{1}{e^2}$$-8.69$2}$
$\Bigl(\frac{2}{e}\Bigr)^4$$-5.33$$2\left[\frac{\sin t}{t^3}-\frac{\cos t}{t^2}\right]$
$0.411$$-3.87$$6\left[\frac{\cos t-1}{t^4}-\frac{\cos t}{2t^2}+\frac{\sin t}{t^3}\right]$
$\Bigl(\frac{2}{e}\Bigr)^2$$-2.67$$\frac{\pi}{2}\frac{J_1(t)}{t}$
$\frac{1}{e^{2\alpha}}$$-8.69\alpha$$\frac{1}{\alpha t^2}\bigl[\cos(1-\alpha)t-\cos t\bigr]$

Poteri entropii v lineinyh fil'trah

Teorema 14: Pri propuskanii ansamblya s entropiei $H_1$ v raschete na stepen' svobody v polose chastot $W$ cherez fil'tr s harakteristicheskoi funkciei $Y(f)$ entropiya vyhodnogo ansamblya ravna

$$H_2=H_1+\frac1W\int_W \log|Y(f)|^2\,df.$$

Deistvie fil'tra svoditsya k lineinomu preobrazovaniyu koordinat. Esli my rassmotrim razlichnye chastotnye komponenty kak ishodnuyu sistemu koordinat, novye chastotnye komponenty poluchayutsya iz nih umnozheniem na nekotorye faktory. Matrica preobrazovaniya koordinat, sledovatel'no, diagonalizuetsya v terminah etih koordinat. Yakobian preobrazovaniya togda (dlya $n$ sinusoidal'nyh i

Entropiya summy dvuh ansamblei

<img src= kosinusoidal'nyh komponent) imeet vid $$J=\prod_{i=1}^n|Y(f_i)|^2$$

gde $f_i$ nahodyatsya na ravnyh drug ot druga rasstoyaniyah v polose chastot $W$. Eto imeet mesto v predele

$$\exp\frac1W\int_W\log|Y(f)|^2\,df.$$

Tak kak $J$ - konstanta, ee srednee znachenie ravno samoi velichine, i, ispol'zuya teoremu ob izmenenii entropii pri preobrazovanii koordinat, poluchaem iskomoe dokazatel'stvo. Takim obrazom, esli entropiya pervogo ansamblya ravna $N_1$, to vtorogo -

$$N_1\exp\frac1W\int_W\log|Y(f)|^2\,df.$$

Konechnaya moshnost' entropii ravna ishodnoi, pomnozhennoi na geometricheskoe srednee usileniya fil'tra. Esli usilenie izmeryaetsya v decibelah (db), to moshnost' entropii na vyhode okazhetsya bol'she vhodnoi na arifmeticheskoe srednee usileniya na $W$.

V tablice 1 privedeny poteri moshnosti entropii (i perevedeny v decibely) dlya nekotoryh ideal'nyh harakteristik usileniya. Krome togo, predstavleny impul'snye otkliki etih fil'trov dlya $W=2\pi$ v predpolozhenii, chto faza ravna nulyu.

Poteri entropii dlya mnogih inyh sluchaev mogut byt' polucheny iz vysheprivedennyh. K primeru, faktor moshnosti entropii $1/e^2$ primenim takzhe k lyubym harakteristikam usileniya, poluchennym iz $1-\omega$ proizvol'nym sohranyayushim meru preobrazovaniem osi $\omega$. K primeru, lineino vozrastayushee usilenie $G(\omega)=\omega$ (ili ``piloobraznyi zubec'') na intervale ot 0 do 1 vedet k tem zhe samym poteryam entropii. Obratnoe usilenie privodit k obrasheniyu faktora, sledovatel'no, dlya $1/\omega$ faktor raven $e^2$. Vozvedenie usileniya v lyubuyu stepen' privodit k vozvedeniyu v tu zhe stepen' faktora.

Esli u nas est' dva ansamblya funkcii $f_\alpha(t)$ i $g_\beta(t)$, my mozhem obrazovat' novyi, ``slozhiv'' ih. Pust' pervyi ansambl' imeet plotnost' veroyatnosti $p(x_1,\dots,x_n)$, a vtoroi - $q(x_1,\dots,x_n)$. Togda plotnost' veroyatnosti ih summy daetsya vyrazheniem

Fizicheski eto sootvetstvuet slozheniyu signalov ili shumov, opisyvaemyh ishodnymi ansamblyami.

Sleduyushii rezul'tat poluchaetsya v prilozhenii 6.

Teorema 15: Pust' srednie moshnosti dvuh ansamblei sut' $N_1$ i $N_2$, a moshnosti entropii - $\overline N_1$ i $\overline N_2$. Togda moshnost' entropii ih summy, $\overline N_3$, ogranichena

$$\overline N_1+\overline N_2\leq\overline N_3\leq N_1+N_2.$$

Gaussovskii belyi shum imeet otlichitel'noe svoistvo, sostoyashee v tom, chto on mozhet poglotit' lyuboi drugoi signal ili shum pri ego dobavlenii, i rezul'tiruyushaya moshnost' entropii budet primerno ravna summe moshnostei belogo shuma i signala (izmeryaya ot srednei velichiny signala, ravnoi obychno nulyu), esli signal dostatochno mal po sravneniyu s shumom.

Rassmotrim $n$-mernoe prostranstvo funkcii, sootvetstvuyushih etim ansamblyam. Belyi shum sootvetstvuet sfericheskomu gaussovomu raspredeleniyu v etom prostranstve, signal - nekotoromu drugomu, ne obyazatel'no gaussovomu ili sfericheski-simmetrichnomu. Pust' vtorye momenty etogo raspredeleniya otnositel'no centra tyazhesti sut' $a_{ij}$, to est', dlya plotnosti veroyatnosti $p(x_1,\dots,x_n)$,

gde $\alpha_i$ - koordinaty centra tyazhesti. Teper' $a_{ij}$ - polozhitel'no opredelennaya kvadratichnaya forma, i my mozhet povernut' sistemu koordinat tak, chtoby ee osi sovpadali s osyami etoi formy. $a_{ij}$ togda svoditsya k diagonal'nomu vidu $b_{ii}$.Potrebuem, chtoby vse $b_{ii}$ byli maly po sravneniyu s $N$, kvadratom radiusa sfericheski-simmetrichnogo raspredeleniya.

V etom sluchae svertka signala s shumom daet primerno gaussovskoe raspredelenie, kotoromu sootvetstvuet kvadratichnaya forma

$$N+b_{ii}.$$

Moshnost' entropii takogo raspredeleniya imeet vid

$$\Bigl[\prod(N+b_{ii})\Bigr]^{1/n}$$

ili, priblizhenno,

$$=\Bigl[(N)^n+\sum b_{ii}(N)^{n-1}\Bigr]^{1/n}\doteq N+\frac1n\sum b_{ii}.$$

Poslednii chlen sootvetstvuet moshnosti signala, togda kak pervyi - moshnosti shuma.

<< Chast' 2. Diskretnyi zashumlennyi kanal | Oglavlenie | Chast' 4. Nepreryvnyi kanal >>
" align="absmiddle" width="673" height="760" >
Publikacii s klyuchevymi slovami: matematika - informaciya - Shennon
Publikacii so slovami: matematika - informaciya - Shennon
Sm. takzhe:
Vse publikacii na tu zhe temu >>

Obsudit' etu publikaciyu
Ocenka: 3.2 [golosov: 109]
 
O reitinge
Versiya dlya pechati Raspechatat'

Astrometriya - Astronomicheskie instrumenty - Astronomicheskoe obrazovanie - Astrofizika - Istoriya astronomii - Kosmonavtika, issledovanie kosmosa - Lyubitel'skaya astronomiya - Planety i Solnechnaya sistema - Solnce

Astronet | Nauchnaya set' | GAISh MGU | Poisk po MGU | O proekte | Avtoram

Kommentarii, voprosy? Pishite: info@astronet.ru ili syuda

Rambler's Top100 Yandeks citirovaniya