Astronet > Matematicheskaya teoriya svyazi. Chast' 5. Temp dlya nepreryvnogo istochnika

po tekstam po klyuchevym slovam v glossarii po saitam perevod po katalogu

Klod Shennon: Matematicheskaya teoriya svyazi

<< Chast' 4. Nepreryvnyi kanal | Oglavlenie |

Chast' 5. Temp dlya nepreryvnogo istochnika

Funkcii rascheta tochnosti

V sluchae diskretnogo istochnika informacii my mogli vvesti opredelennyi temp ``proizvodstva'' informacii, a imenno - entropiyu sootvetstvuyushego stohasticheskogo processa. V nepreryvnom zhe sluchae situaciya gorazdo bolee zaputannaya. Vo-pervyh, nepreryvnaya peremennaya mozhet prinimat' beskonechnoe chislo znachenii i trebuet, sootvetstvenno, beskonechnogo chisla dvoichnyh znakov dlya svoego predstavleniya. Eto znachit, chto dlya peredachi informacii ot nepreryvnogo istochnika s vozmozhnost'yu tochnogo vosstanovleniya v tochke priema trebuetsya, v obshem sluchae, kanal beskonechnoi propusknoi sposobnost'yu. A tak kak obychno kanal zashumlen i, sledovatel'no, imeet ogranichennuyu propusknuyu sposobnost'yu, tochnaya peredacha nevozmozhna.

Odnako na samom dele vse ne tak ploho. Obychno nam ne trebuetsya tochnaya peredacha takoi informacii, dostatochno ee peredachi s nekotoroi konechnoi tochnost'yu. Vopros v tom, mozhem li my pripisat' nepreryvnomu istochniku opredelennyi temp proizvodstva informacii, esli my trebuem lish' nekotoruyu tochnost' vosstanovleniya ee v priemnike, izmerennuyu nadlezhashim obrazom? Estestvenno, s rostom trebuemoi tochnosti temp takzhe vozrastaet. Pokazhem, chto my v dostatochno obshem sluchae mozhem opredelit' temp, obladayushii svoistvom togo, chto, pri nadlezhashem kodirovanii informacii, vozmozhno peredat' etu informaciyu po kanalu s propusknoi sposobnost'yu, ravnoi etomu tempu, s zadannoi tochnost'yu. Kanal men'shei propusknoi sposobnosti dlya etogo nedostatochen.

Vo-pervyh, neobhodimo dat' obshuyu matematicheskuyu formulirovku ponyatiya tochnosti peredachi. Rassmotrim nmozhestvo soobshenii dostatochnoi dliny $T$ . Istochnik opisyvaetsya zadaniem plotnosti veroyatnosti (v sootvetstvuyushem prostranstve) togo, chto budt vybrano dannoe soobshenie $P(t)$ . Sistema svyazi harakterizuetsya (s tochki zreniya vneshnego nablyudatelya) zadaniem uslovnoi veroyatnosti $P_x(y)$ togo, chto, pri vydache istochnikom soobsheniya $x$ , v tochke priema budet vosstanovleno $y$ . Sistema v celom (vklyuchaya istochnik i sistemu peredachi) opisyvaetsya veroyatnost'yu $P(x,y)$ ishodnogo soobsheniya $x$ i vosstanovlennogo - $y$ . Esli eta funkciya zadana, izvestny vse harakteristiki sistemy s tochki zreniya tochnosti peredachi. Lyuboi raschet tochnosti dolzhen svodit'sya k nekotoroi operacii nad $P(x,y)$ ; operaciya eta dolzhna obladat' kak minimum svoistvom uporyadochennosti, to est' o dvuh sistemah $P_1(x,y)$ i $P_2(x,y)$ dolzhno byt' mozhno skazat', v sootvetstvii s etim kriteriem tochnosti, chto libo (1) pervaya bolee tochna, libo (2) vtoraya bolee tochna, ili zhe (3) ih tochnosti ravny. Eto znachit, chto kriterii tochnosti mozhet byt' predstavlen chislennymi funkciyami

$v\bigl(P(x,y)\bigr)$

argumenty kotoryh mogut prinimat' znacheniya vseh vozmozhnyh funkcii veroyatnosti $P(x,y)$

Pokazhem teper', chto, pri dostatochno obshih i razumnyh usloviyah, funkciyu $v\bigl(P(x,y)\bigr)$ mozhno zapisat' kak usrednenie $\rho(x,y)$ po vsem znacheniyam $x$ i $y$

Dlya polucheniya etogo dostatochno prinyat', chto (1) istochnik i sistema ergodichny, to est' dostatochno dlinnaya posledovatel'nost' s veroyatnost'yu 1 tipichna dlya ansamblya, i chto (2) metod rascheta ``priemlem'' v tom smysle, chto ego mozhno provesti na osnovanii tipichnyh vhodnogo i vyhodnogo soobshenii $x_1$ i $y_1$ , prichem s rostom dlin vyborok poluchennaya ocenka shoditsya s veroyatnost'yu 1 k tochnomu znacheniyu, kotoroe mozhet byt' rasschitano na osnovanii polnogo znaniya $P(x,y)$ . Pust' metodom rascheta (ocenkoi) budet $\rho(x,y)$ . Togda $\rho(x,y)$ stremitsya (pri $T\to\infty$ ) k nekotoroi konstante prakticheski dlya vseh $(x,y)$ iz vysokoveroyatnoi oblasti sistemy

$\rho(x,y)\to v\bigl(P(x,y)\bigr)$

i, krome togo, mozhno zapisat'

tak kak

chto i dokazyvaet vysheprivedennyi rezul'tat.

Funkciya $\rho(x,y)$ imeet smysl ``rasstoyaniya'' mezhdu $x$ i $y$ (Eto, odnako, ne ``metrika'' v tochnom smysle, tak kak v obshem sluchae ne udovletvoryaet usloviyam $\rho(x,y)=\rho(y,x)$ i $\rho(x,y)+\rho(y,z)\geq\rho(x,z)$ ). Ona harakterizuet, naskol'ko nezhelatel'no (soglasno nashemu kriteriyu tochnosti) poluchenie $y$ pri peredache $x$ . Vysheprivedennyi obshii rezul'tat mozhno pereformulirovat' sleduyushim obrazom: lyuboi priemlemyi metod rascheta mozhno predstavit' kak usrednenie funkcii rasstoyaniya po mnozhestvu prinyatyh $y$ i peredannyh $x$ soobshenii, vzveshennyh soglasno veroyatnosti $P(x,y)$ dannoi pary pri dostatochnoi dline $T$ soobshenii.

Privedem neskol'ko prostyh primerov sposobov rascheta tochnosti.

Kriterii naimen'shih kvadratov.
$v=\overline{\bigl(x(t)-y(t)\bigr)^2}.$
V dannoi chasto ispol'zuemoi mere funkciya rasstoyaniya $\rho(x,y)$ s tochnost'yu do konstanty ravno kvadratu obychnogo evklidova rasstoyaniya mezhdu tochkami $x$ i $y$ v sootvetstvuyushem prostranstve funkcii.
$\rho(x,y)=\frac1T\int_0^T\bigl[x(t)-y(t)\bigr]^2\,dt.$
Kriterii vzveshennyh po chastote naimen'shih kvadratov. V bolee obshem sluchae mozhno ispol'zovat' v metode naimen'shih kvadratov razlichnye vesa dlya razlichnyh chastotnyh komponent. Eto ekvivalentno propuskaniyu raznosti $x(t)-y(t)$ cherez fil'tr nekotoroi formy i opredeleniyu zatem srednei vyhodnoi moshnosti. Potomu
$e(t)=x(t)-y(t)$
i
$f(t)=\int_{-\infty}^\infty e(\tau)k(t-\tau)\,d\tau.$
Togda
$\rho(x,y)=\frac1T\int_0^Tf(t)^2\,dt.$
Kriterii absolyutnoi oshibki
$\rho(x,y)=\frac1T\int_0^T\bigl|x(t)-y(t)\bigr|\,dt.$
Struktura uha i mozga kosvennym obrazom opredelyaet sposob rascheta, ili, tochnee, semeistvo takih sposobov, primenimyh v sluchae peredachi muzyki ili zvuka. K primeru, eto kriterii ``ponyatnosti'', v kotorom $\rho(x,y)$ ravna otnositel'noi chastote neverno interpretirovannyh slov pri prieme soobsheniya $x(t)$ kak $y(t)$ . I hotya my ne mozhem poluchit' yavnoe analiticheskoe vyrazhenie dlya $\rho(x,y)$ , ono v principe mozhet byt' opredeleno eksperimental'no. Nekotorye ego svoistva sleduyut ih horosho izvestnyh svoistv sluha, k primeru, togo, chto uho otnositel'no nechuvstvitel'no k faze, a chuvstvitel'nost' k chastote i amplitude primerno logarifmicheskaya.
Diskretnyi sluchai mozhno rassmatrivat' kak chastnyi sluchai, v kotorom neyavno predpolagaetsya raschet, osnovannyi na chastote oshibok. Funkciya $\rho(x,y)$ opredelyaetsya togda kak chislo simvolov posledovatel'nosti $y$ , otlichayushihsya ot simvolov $x$ , delennoe na polnoe chislo simvolov v $x$ .

Temp istochnika po otnosheniyu k raschetu tochnosti

Samoe vremya opredelit' temp proizvodstva informacii nepreryvnym istochnikom. Pust' zadany $P(x)$ dlya istochnika i funkciya rascheta tochnosti $v$ , opredelyaemaya posredstvom rasstoyaniya $\rho(x,y)$ , kotoroe budem schitat' nepreryvnym kak po $x$ , tak i po $y$ . Dlya opredelennogo $P(x,y)$ eta velichina ravna

Bolee togo, temp vydachi dvoichnyh cifr, sootvetstvuyushih $P(x,y)$ ,

Opredelim temp proizvodstva informacii $R_1$ dlya zadannoi tochnosti $v_1$ vosstanovleniya kak minimum $R$ pri fiksirovannoi $v=v_1$ i var'irovanii $P_x(y)$ , to est' kak

pri uslovii

Eto znachit, chto my rassmatrivaem vse sistemy svyazi, kotorye mozhno ispol'zovat' dlya peredachi s zadannoi tochnost'yu. Temp peredachi v bitah v sekundu vychislyaetsya dlya kazhdoi iz nih. i my vybiraem tu, dlya kotoroi on minimalen. Etot temp my i pripisyvaem istochniku s zadannoi tochnost'yu.

Dokazatel'stvom etogo sluzhit sleduyushaya teorema.

Teorema 21: Esli temp istochnika raven $R_1$ dlya tochnosti $v_1$ , vydavaemuyu im informaciyu im mozhno zakodirovat' i peredat' po kanalu propusknoi sposobnosti $C$ s tochnost'yu, proizvol'no blizkoi k $v_1$ pri $R_1\leq C$ . Eto nevozmozhno pri $R_1>C$ .

Poslednee utverzhdenie teoremy nemedlenno sleduet iz opredeleniya $R_1$ i predydushih rezul'tatov. Esli by eto bylo ne tak, mozhno bylo by peredat' bol'she, chem $C$ bit v sekundu po kanalu propusknoi sposobnosti $C$ . Pervaya zhe chast' mozhet byt' dokazana metodom, analogichnym ispol'zovannomu dlya teoremy 11. My mozhem, vo-pervyh, razdelit' prostranstvo $(x,y)$ na bol'shoe chislo malen'kih yacheek i svesti zadachu k diskretnomu sluchayu. Eto izmenit funkciyu rascheta tochnosti ne bolee chem na proizvol'no maloe chislo (pri dostatochno malom razmere yacheek) blagodarya predpolozheniyu o nepreryvnosti $\rho(x,y)$ . Pust' $P_1(x,y)$ - sistema, minimiziruyushaya temp i dayushaya $R_1$ . Vyberem iz vysokoveroyatnyh $y$ sluchainyi nabor, soderzhashii

$2^{(R_1+\epsilon)T}$

elementov, gde $\epsilon\to0$ pri $T\to\infty$ . Pri bol'shih $T$ kazhdaya iz vybrannyh tochek budet soedinena liniyami vysokoi veroyatnosti (kak na ris.10) s naborom $x$ . Raschet, analogichnyi ispol'zovannomu pri dokazatel'stve teoremy 11, pokazyvaet, chto pri bol'shih $T$ prakticheski vse $x$ pokryvayutsya liniyami nabora $y$ pri prakticheski lyubom vybore elementov $y$ . Iskomaya sistema svyazi rabotaet tak. Vybrannym tochkam sopostavlyayutsya dvoichnye chisla. Togda proizvol'noe soobshenie $x$ budet (s veroyatnost'yu, stremyasheisya k edinice pri $T\to\infty$ ) prinadlezhat' hotya by odnomu iz naborov, sootvetstvuyushih etim chislam. Sootvetstvuyushee dvoichnoe chislo (ili proizvol'no vybrannoe, esli iz neskol'ko) peredaetsya po kanalu s nadlezhashim kodirovaniem, dayushim maluyu veroyatnost' oshibki. Eto vozmozhno, tak kak $R_1\leq C$ . V tochke priema sootvetstvuyushee $y$ vosstanavlivaetsya i schitaetsya prinyatym soobsheniem.

Harakteristika tochnosti $v_1'$ dlya takoi sistemy mozhet byt' proizvol'no blizkoi k $v_1$ vyborom dostatochno bol'shogo $T$ , tak kak dlya lyubyh dlinnyh vyborok peredannogo $x(t)$ i prinyatogo soobshenii $y(t)$ ona stremitsya k $v_1$ (s veroyatnost'yu 1).

Interesno zametit', chto v dannoi sisteme shum vosstanovlennogo soobsheniya na samom dele vyzyvaetsya diskretizaciei v preobrazovatele, a ne shumom v kanale. Eto primerno sootvetstvuet shumu diskretizacii pri PCM-kodirovaniya.

Raschet tempov

Opredelenie tempa vo mnogih otnosheniyah analogichno opredeleniyu propusknoi sposobnosti. Tak, pervoe ravno

gde fiksirovany $P(x)$ i , a vtoroe

s fiksirovannoi $P_x(y)$ i, vozmozhno, inymi ogranicheniyami (k primeru, ogranicheniyami na srednyuyu moshnost') vida .

Mozhno naiti chastnoe reshenie obshei zadachi maksimizacii dlya opredeleniya tempa istochnika. Ispol'zuya metod Lagranzha, rassmotrim

Variacionnoe uravnenie (pervaya variaciya $P(x,y)$ ) privodit k

$P_y(x)=B(x)e^{-\lambda\rho(x,y)}$

gde $\lambda$ opredelyaetsya iz usloviya trebuemoi tochnosti, a $B(x)$ - dlya udovletvoreniya

$\int B(x)e^{-\lambda\rho(x,y)}\,dx=1.$

Eto pokazyvaet, chto, pri nadlezhashem kodirovanii, uslovnaya veroyatnost' opredelennogo proobraza dlya dannogo prinyatogo $y$ , $P_y(x)$ , ubyvaet eksponencial'no s rostom funkcii rasstoyaniya mezhdu $x$ i $y$ .

V special'nom sluchae zavisimosti funkcii rasstoyaniya $\rho(x,y)$ lish' ot (vektornoi) raznosti $x$ i $y$

$\rho(x,y)=\rho(x-y)$

imeem

$\int B(x)e^{-\lambda\rho(x-y)}\,dx=1.$

Sledovatel'no, $B(x)$ yavlyaetsya konstantoi, skazhem, $\alpha$ , i

$P_y(x)=\alpha e^{-\lambda\rho(x-y)}.$

K sozhaleniyu, eto formal'nye resheniya trudnovychislimy v real'nyh situaciyah i ne imeyut bol'shogo znacheniya. Real'nye raschety byli dovedeny do konca lish' dlya neskol'kih prostyh sluchaev.

Esli funkciya rasstoyaniya $\rho(x,y)$ ravna srednemu kvadratu raznosti $x$ i $y$ i ansambl' shuma - belyi shum, temp mozhet byt' opredelen. V etom sluchae imeem

$R=\min\bigl[H(x)-H_y(x)\bigr]=H(x)-\max H_y(x)$

gde $N=\overline{(x-y)^2}$ . No $\max H_y(x)$ imeet mesto, esli $y-x$ - belyi shum, i ravno $W_1\log 2\pi e N$ , gde $W_1$ - shirina diapazona chastot ansamblya soobsheniya. Togda

gde $Q$ - srednyaya moshnost' soobsheniya. Eto dokazyvaet sleduyuushee:

Teorema 22: Temp dlya istochnika belogo shuma moshnost'yu $Q$ v diapazone $W_1$ op otnosheniyu k mere tochnosti naimen'shih kvadratov raven

$R=W_1\log\frac{Q}{N}$

gde $$N$ - dopustimyi srednii kvadrat oshibki vosstanovlennogo soobsheniya.$

V obshem sluchae dlya lyubogo istochnika my mozhem poluchit' neravenstva, ogranichivayushie temp po otnosheniyu k kriteriyu naimen'shih kvadratov dlya oshibok.

Teorema 23: Temp lyubogo istochnika diapazona chastot $W_1$ ogranichen neravenstvami

$W_1\log\frac{Q_1}{N}\leq R\leq W_1\log\frac{Q}{N}$

gde $Q$ - srednyaya moshnost' istochnika, $Q_1$ - ego moshnost' entropii, i $N$ - dopustimyi srednii kvadrat oshibki.

Nizhnii predel sleduet iz togo, chto $\max H_y(x)$ dlya dannogo $\overline{(x-y)^2}=N$ imeet mesto dlya belogo shuma; verhnii zhe mozhet byt' poluchen pri razmeshenii tochek (ispol'zovannyh pri dokazatel'stve teoremy 21) ne luchshim, a sluchainym obrazom vnutri sfery radiusa $\sqrt{Q-N}$ .

Prilozhenie 5

Pust' $S_1$ - nekotoroe izmerimoe podmnozhestvo ansamblya $g$ , a $S_2$ - podmnozhestvo ansamblya $f$ , perehodyashee v $S_1$ pod deistviem operacii $T$ . Togda

$S_1=TS_2.$

Pust' $H^\lambda$ - operator, sdvigayushii vse funkcii mnozhestva na vremya $\lambda$ . Togda

$H^\lambda S_1=H^\lambda TS_2=TH^\lambda S_2$

tak kak $T$ - invariant, i, sledovatel'no, kommutiruet s $H^\lambda$ . Takim obrazom, esli $m[S]$ - mera veroyatnosti mnozhestva $S$ ,

gde vtoroe ravenstvo sleduet iz opredeleniya mery v prostranstve $g$ , tret'e - iz stacionarnosti ansamblya $f$ , i poslednee - vnov' iz opredeleniya mery na $g$ .

Dlya dokazatel'stva togo, chto svoistvo ergodichnosti sohranyaetsya pri invariantnyh preobrazovaniyah, rassmotrim podmnozhestvo $S_1$ ansamblya $g$ , invariantnoe otnositel'no $H^\lambda$ , i mnozhestvo $S_2$ vseh funkcii $f$ , perehodyashih v $S_1$ . Togda

$H^\lambda S_1=H^\lambda TS_2=TH^\lambda S_2=S_1$

tak chto $H^\lambda S_2$ yavlyaetsya podmnozhestvom $S_2$ pri vseh $\lambda$ . Teper'

$m[H^\lambda S_2]=m[S_1]$

otkuda sleduet

$H^\lambda S_2=S_2$

dlya vseh $\lambda$ s $m[S_2]\neq 0,1$ . Eto protivorechie pokazyvaet, chto $S_1$ ne sushestvuet.

Prilozhenie 6

Verhnii predel, $\overline N_3\leq N_1+N_2$ , sootvetstvuet tomu, chto mansimal'no vozmozhnaya entropiya dlya moshnosti $N_1+N_2$ daetsya belym shumom. Moshnost' entropii togda ravna $N_1+N_2$ .

Dlya polucheniya nizhnego predela, rassmotrim dva raspredeleniya $n$ izmerenii $p(x_i)$ i $q(x_i)$ s moshnostyami entropii $\overline N_1$ i $\overline N_2$ . Kakuyu formu dolzhny prinimat' $p$ i $q$ dlya minimizacii moshnosti entropii $\overline N_3$ ih svertki

$r(x_i)=\int p(y_i)q(x_i-y_i)\,dy_i?$

Entropiya $H_3$ velichiny $r$ daetsya vyrazheniem

$H_3=-\int r(x_i)\log r(x_i)\,dx_i.$

Minimiziruem eto vyrazhenie pri usloviyah

Rassmotrim teper'

Esli $p(x)$ var'iruetsya po nekotoromu argumentu $x_i=s_i$ , variaciya $r(x)$ ravna

$\delta r(x)=q(x_i-s_i)$

$\delta U=-\int q(x_i-s_i)\log r(x_i)\,dx_i-\lambda\log p(s_i)=0.$

Var'irovanie $q$ provoditsya analogichno. Sledovatel'no, usloviem minimuma budet

Umnozhaya pervoe na $p(s_i)$ , a vtoroe - na $q(s_i)$ i integriruya po $s_i$ , poluchaem

$H_3=-\lambda H_1$
$H_3=-\mu H_2,$

ili, razreshaya otnositel'no $\lambda$ i $\mu$ i delaya zamenu,

Pust' teper' raspredeleniya $p(x_i)$ i $q(x_i)$ - gaussovy

Togda $r(x_i)$ takzhe budet normal'no raspredeleno s kvadratichnoi formoi $C_{ij}$ . Esli formy, obratnye k dannym, sut' $a_{ij}$ , $b_{ij}$ , $c_{ij}$ , to

$c_{ij}=a_{ij}+b_{ij}.$

Pokazhem, chto eti funkcii udovletvoryayut usloviyu minimizacii togda i tol'ko togda, kogda $a_{ij}=Kb_{ij}$ , i, sledovatel'no, opredelyayut minimum $H_3$ pri etih ogranicheniyah. Imeem

Eto dolzhno byt' ravno

chto trebuet $A_{ij}=\frac{H_1}{H_3}C_{ij}$ . V etom sluchae $A_{ij}=\frac{H_1}{H_2}B_{ij}$ i oba uravneniya obrashayutsya v tozhdestva.

Prilozhenie 7

Oboznachim bolee obshii i strogii podhod k osnovnym opredeleniyam teorii svyazi. Rassmotrim prostranstvo mery veroyatnosti, elementami kotorogo yavlyayutsya uporyadochennye pary $(x,y)$ . Otozhdestvim peremennye $x$ i $y$ s vozmozhnymi peredavaemymi i prinyatymi signalami dostatochno bol'shoi dliny $T$ . Nazovem mnozhestvo tochek, u kotoryh $x$ prinadlezhat podmnozhestvu $S_1$ polosoi po $S_1$ , i, analogichno, u kotoryh $y$ prinadlezhit $S_2$ - polosoi po $S_2$ . Podelim $x$ i $y$ na neperekryvayushiesya izmerimye podmnozhestva $X_i$ i $Y_i$ , priblizhayushie temp peredachi $R$

$R_1=\frac1T\sum_i P(X_i,Y_i)\log\frac{P(X_i,Y_i)}{P(X_i)P(Y_i)}$

gde

$P(X_i)$	- mera veroyatnosti polosy po $X_i$
$P(Y_i)$	- mera veroyatnosti polosy po $Y_i$
$P(X_i,Y_i)$	- mera veroyatnosti peresecheniya etih polos.

Dal'neishee delenie ne mozhet umen'shit' $R_1$ . Podelim $X_1$ na na $X_1=X_1'+X_1''$ i pust'




$P(X_1,Y_1)=d+e.$

Zamenim v etoi summe (dlya peresecheniya $X_1$ , $Y_1$ )

$(d+e)\log\frac{d+e}{a(b+c)}$

$d\log\frac{d}{ab}+e\log\frac{e}{ac}.$

Legko pokazat', chto, pri nashem ogranichenii na $b$ , $c$ , $d$ , $e$ ,

$\biggl[\frac{d+e}{b+c}\biggr]^{d+e}\leq\frac{d^d e^e}{b^d c^e}$

i, sledovatel'no, summa vozrastaet. Sledovatel'no, razlichnye vozmozhnye deleniya obrazuyut uporyadochennoe mnozhestvo, na kotorom $R$ monotonno vozrastaet pri umen'shenii razmerov otdel'nyh chastei. My mozhem odnoznachno opredelit' $R$ kak naimen'shii verhnii predel $R_1$ i zapisat' ego kak

Etot integral, ponimaemyi v vysheprivedennom smysle, vklyuchaet v sebya kak diskretnyi, tak i nepreryvnyi sluchai, a takzhe mnogo drugih, nesvodimyh k etim dvum. Ochevidno, chto, esli $x$ i $u$ nahodyatsya v odnoznachnom sootvetstvii, to temp ot $u$ k $x$ raven tempu ot $x$ k $y$ . Esli $v$ - lyubaya funkciya $y$ (ne obyazatel'no imeyushaya obratnuyu), to temp ot $x$ i $y$ ne men'she, chem ot $x$ k $v$ , tak kak, pri raschete priblizhenii, delenie $y$ bolee melko, chem $v$ . V bolee obshem sluchae, esli $y$ i $v$ svyazany ne funkcional'no, a statisticheski, to est' esli u nas est' prostranstvo mery veroyatnosti $(y,v)$ , to $R(x,v)\leq R(x,y)$ . Eto znachit, chto primenenie lyuboi operacii, dazhe statisticheskoi, k prinyatomu signalu ne uvelichivaet $R$ .

Drugim ponyatiem, kotoroe neobhodimo tochno opredelit' pri abstraktnoi formulirovke yavlyaetsya ``temp razmernosti'', to est' srednyaya razmernost', trebuemaya dlya vydeleniya elementa ansamblya za sekundu. V sluchae oganichennogo chastotnogo diapazona dostatochno $2W$ chisel v sekundu. Obshee opredelenie mozhet byt' dano sleduyushim obrazom. Pust' $f_\alpha(t)$ - ansambl' funkcii, a $\rho_T[f_\alpha(t),f_\beta(t)]$ mera ``rasstoyaniya'' mezhdu $f_\alpha$ i $f_\beta$ za vremya $T$ (k primeru, v smysle naimen'shih kvadratov na etom intervale). Pust' $N(\epsilon,\delta,T)$ - naimen'shee chislo elementov $f$ , kotorye mozhno vybrat' tak, chto vse elementy ansamblya (za isklyucheniem mnozhestva mery $\delta$ ) lezhat v predelah $\epsilon$ ot kak minimum odnogo iz vybrannyh. Takim obrazom, my pokryli prostranstvo vplot' do rasstoyaniya $\epsilon$ za isklyucheniem mnozhestva maloi mery $\delta$ . Opredelim temp razmernosti $\lambda$ ansamblya kak troinoi predel

$\lambda=\lim_{\delta\to0}\,\lim_{\epsilon\to0}\,\lim_{T\to\infty} \frac{\log N(\epsilon,\delta,T)}{T\log\epsilon}.$

Eto - obobshenie mery razmernosti, ispol'zuemoi v topologii, soglasuyusheesya s intuitivnym tempom razmernosti dlya prostyh ansamblei, dlya kotoryh ono ochevidno.

<< Chast' 4. Nepreryvnyi kanal | Oglavlenie |

Publikacii s klyuchevymi slovami: matematika - informaciya - Shennon Publikacii so slovami: matematika - informaciya - Shennon
Sm. takzhe: Golograficheskii princip i chainik Golograficheskii princip Informaciya Matematika trehmernyh mnogoobrazii Klod Shennon: Biografiya D'Alambera uravnenie D'Alambera operator Vse publikacii na tu zhe temu >>

Obsudit' etu publikaciyu

Versiya dlya pechati

Astrometriya - Astronomicheskie instrumenty - Astronomicheskoe obrazovanie - Astrofizika - Istoriya astronomii - Kosmonavtika, issledovanie kosmosa - Lyubitel'skaya astronomiya - Planety i Solnechnaya sistema - Solnce