ENTROPÍA

Entropía es una noción que procede de un vocablo griego que puede traducirse como “vuelta” o “transformación” (utilizado en sentido figurado).

En el siglo XIX Clausius acuñó el concepto en el ámbito de la Física para referirse a una medida del desorden que puede verse en las moléculas de un gas. A partir de entonces este concepto se utilizaría con diversos significados en múltiples ciencias, tales como la física, la química, la informática, la matemática y la lingüística.

En la teoría de la información, la entropía es la medida de la incertidumbre que existe ante un conjunto de mensajes (de los cuales sólo se recibirá uno solo). Se trata de una medida de la información que es necesaria para reducir o eliminar la incertidumbre.

Otra manera de entender la entropía es como la cantidad media de información que contienen los símbolos transmitidos. Palabras como “el” o “que” son los símbolos más frecuentes en un texto pero, sin embargo, son los que aportan menos información. El mensaje tendrá información relevante y máxima entropía cuando todos los símbolos son igualmente probables.