WikiDer > Entropiya kuchining tengsizligi

Yilda axborot nazariyasi, entropiya kuchining tengsizligi ning "entropiya kuchi" bilan bog'liq bo'lgan natijadir tasodifiy o'zgaruvchilar. Bu entropiya kuchini mos ravishda namoyish etadi o'zini yaxshi tutgan tasodifiy o'zgaruvchilar a o'ta ilg'or funktsiya. Entropiya kuchining tengsizligi 1948 yilda isbotlangan Klod Shannon uning seminal qog'ozida "Muloqotning matematik nazariyasi". Shannon shuningdek tenglikni ta'minlash uchun etarli shartni taqdim etdi; Stam (1959) bu shart aslida zarurligini ko'rsatdi.

Tengsizlik to'g'risidagi bayonot

Tasodifiy o'zgaruvchi uchun X : Ω →Rⁿ bilan ehtimollik zichligi funktsiyasi f : Rⁿ → R, differentsial entropiya ning X, belgilangan h(X), deb belgilanadi

${displaystyle h (X) = - int _ {mathbb {R} ^ {n}} f (x) log f (x), dx}$

va entropiya kuchi X, belgilangan N(X), deb belgilanadi

${displaystyle N (X) = {frac {1} {2pi e}} e ^ {{frac {2} {n}} h (X)}.}$

Jumladan, N(X) = |K| ^1/n qachon X kovaryans matritsasi bilan normal taqsimlangan K.

Ruxsat bering X va Y bo'lishi mustaqil tasodifiy o'zgaruvchilar ehtimollik zichligi funktsiyalari bilan L^p bo'sh joy L^p(Rⁿ) ba'zi uchun p > 1. Keyin

${displaystyle N (X + Y) geq N (X) + N (Y).,}$

Bundan tashqari, tenglik mavjud agar va faqat agar X va Y bor ko'p o'zgaruvchan normal mutanosib bo'lgan tasodifiy o'zgaruvchilar kovaryans matritsalari.

Shuningdek qarang

• Axborot entropiyasi
• Axborot nazariyasi
• Diskret nuqtalarning zichligini cheklash
• O'z-o'zini ma'lumot
• Kullback - Leybler divergensiyasi
• Entropiyani baholash

Adabiyotlar

• Dembo, Amir; Muqova, Tomas M .; Tomas, Joy A. (1991). "Axborot-nazariy tengsizliklar". IEEE Trans. Inf. Nazariya. 37 (6): 1501–1518. doi:10.1109/18.104312. JANOB 1134291. S2CID 845669.
• Gardner, Richard J. (2002). "Brunn-Minkovskiy tengsizligi". Buqa. Amer. Matematika. Soc. (N.S.). 39 (3): 355-405 (elektron). doi:10.1090 / S0273-0979-02-00941-2.
• Shennon, Klod E. (1948). "Aloqa qilishning matematik nazariyasi". Bell System Tech. J. 27 (3): 379–423, 623–656. doi:10.1002 / j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz / 101429.
• Stam, A. J. (1959). "Fisher va Shannon ma'lumotlari miqdorini qondiradigan ba'zi tengsizliklar". Axborot va boshqarish. 2 (2): 101–112. doi:10.1016 / S0019-9958 (59) 90348-1.