Skip navigation

Entropía

 

Definición: Medida del grado de incertidumbre asociado a una distribución de probabilidad.

 

En una distribución uniforme, todos los valores son igualmente probables Pi = 1/N y por tanto la entropía es máxima, lo cual indica máxima incertidumbre.

 

Por el contrario, en una distribución pico en la que Pi = 1 y Pj=0, para todo j≠i la entropía es mínima lo cual indica mínima incertidumbre o sea máxima información.

  

E(S)=∑ – pi log2 pi

                                                                               iЄC

 

 

Entropía Condicionada

Entropía de la distribución de Y condicionada a  X.

Una entropía condicionada menor que H(Y) indica que el conocimiento de X mejora la información que se dispone sobre X:

 

H(Y/X) = ∑JProb(X=vj) H(Y|X = Vj)

 

Ganancia de Información

Medida de cuanto ayuda el conocer el valor de una variable aleatoria X para conocer el verdadero valor de otra Y.

En nuestro caso, X es un atributo de un ejemplo dado mientras que Y es la clase a la que pertenece el ejemplo.

Una alta ganancia implica que el atributo X permite reducir la incertidumbre de la clasificación del ejemplo de entrada.

  

IG(Y|X) = H(Y) – H (Y|X)

Redefinición de ganancia

Restar a la entropía global la media ponderada de las entropías asociadas a los valores que puede tomar un atributo A.

 

 

G(S,A) = E(S) – ∑ (|Svi|/|S|)E(Svi)

viЄV

 

Para cada valor v hay un conjunto de ejemplos que lo verifica Sv y es el tamaño relativo de ese conjunto el que define la ponderación.

 

En general…

Una manera de cuantificar la bondad de un atributo en este contexto, consiste en considerar la cantidad de  información que proveerá este atributo, tal y como ésto es definido en teoría de información por Claude E. Shannon. Un bit de información es suficiente para determinar el valor de un atributo booleano, por ejemplo, si/no, verdadero/falso, 1/0, etc., sobre el cual no sabemos nada.

 

Referencias

http://www.uv.mx/aguerra/teaching/ml-04/clase07.pdf

http://www.sc.ehu.es/ccwbayes/docencia/mmcc/docs/t10arboles.pdf

http://elvex.ugr.es/etexts/spanish/proyecto/cap5.pdf

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: