∑
MathTCG
#153 / 200•Foundations•MathTCG #153 / 500•★★Peu commune•∇Maths Appliquées•Concept

Entropie

Période historique : XIXe - XXe siècle (Boltzmann, Shannon)

La mesure universelle du désordre et de l'incertitude informationnelle contenue dans un système aléatoire.

Contenu & Formulation mathématique

Définition rigoureuse
Espérance mathématique de la quantité d'information apportée par la réalisation d'une variable aléatoire discrète.
Notation usuelle & Exemples
H(X) = 1 \text{ bit pour un lancer de pièce équilibrée}
H(X)=−∑i=1nP(xi)log⁡2P(xi)H(X) = -\sum_{i=1}^n P(x_i) \log_2 P(x_i)

Genèse & Portée historique

Grandeur mesurant le degré d'aléa ou de surprise d'une distribution de probabilités. En théorie de l'information de Shannon, elle quantifie le nombre moyen de bits nécessaires pour coder un message sans perte.

John von Neumann conseilla malicieusement à Claude Shannon de nommer son concept « entropie » en lui disant : « Personne ne sait vraiment ce qu'est l'entropie, ainsi dans tout débat tu auras toujours l'avantage ! »

« Plus l'incertitude est vaste, plus l'information acquise est précieuse. »

Filiations & Relations conceptuelles (0)

Cette notice constitue un axiome autonome sans relations directes enregistrées dans le recueil.

Objet de collection MathTCG

#153
★★Peu commune
∇

Entropie

Maths Appliquées•CONCEPT

Espérance mathématique de la quantité d'information apportée par la réalisation d'une variable aléatoire discrète.

H(X)=−∑i=1nP(xi)log⁡2P(xi)H(X) = -\sum_{i=1}^n P(x_i) \log_2 P(x_i)
XIXe - XXe siècle (Boltzmann, Shannon)

Dans l'édition physique et numérique de MathTCG, cette carte appartient à l'extension Foundations.

Extension : Foundations (#153 / 200)
Numéro global MathTCG : MathTCG #153 / 500
Rareté officielle : Peu commune (★★)
Domaine théorique : Maths Appliquées
Identifiant pérenne : entropie
Consulter mon classeurExplorer tout le recueil