La medicina es un campo muy complejo, especialmente en el área de uncología, donde los médicos deben diagnosticar si determinados pacientes de sexo masculino tienen o no cáncer de próstata.

El cáncer de próstata es el tumor maligno más común entre los hombres mayores de 50 años de edad y la segunda causa de muerte por cáncer (el cáncer de pulmón es la primera).

La probabilidad de recuperación depende de la etapa del cáncer (si se encuentra localizado exactamente en la próstata o se ha diseminado en otras partes del cuerpo) y de la salud del paciente en general. Por eso, es importante diagnosticarla en una fase temprana. Sin embargo, los síntomas del cáncer de próstata son muy parecidos a los de la hiperplasia protática benigna (HPB) o de otros problemas de la próstata, por lo que es fácil confundirlos. Por ello, resulta útil disponer de algunas herramientas que ayuden a los médicos, especialmente en medicina general, a realizar un diagnóstico diferencial entre las posibles enfermedades basado en sus probabilidades.

Se han presentado casos en los que se ha tenido que repetir el exámen de próstata aún saliendo resultado negativo debido a que no se puede tener la certeza de que dicho resultado sea el acertado, por lo mismo, en base a estudios realizados por médicos de los hospitales en Europa, se ha concluído que no se puede tener certeza con una simple variable, para lo cual se deben tomar más variables que incluyen factores como sintomatologías, tratamientos, para de esta manera poder dar un acertado diagnóstico a pacientes con sospecha de cáncer prostático y evitar el exámen que muchas veces resulta molesto a los pacientes.

Elvira

Elvira surge como resultado de un proyecto de investigación desarrollado entre los años 1997 – 2000 por varias universidades españolas, con el objeto de crear un entorno de desarrollo para modelos gráficos probabilísticos cuyo código fuente estuviera disponible para que los investigadores del proyecto pudieran trabajar y experimentar nuevos métodos de propagación, aprendizaje y explicación. Adicionalmente se intentó descubrir las deficiencias que el resto de herramientas poseen.

La idea de ELVIRA es proporcionar al usuario la posibilidad de realizar las principales tareas de procesamiento de redes bayesianas desde línea de comandos.

ELVIRA es la única herramienta que ofrece explicación textual del modelo y explicación gráfica de los enlaces entre nodos.

La interacción usuario-sistema se lleva a cabo a través de menús y las explicaciones se presentan en forma gráfica.

En cuanto a su adaptación, su entendimiento es sólo para gente experta con conocimientos en redes bayesianas.

Proyecto Prostanet

ProstaNet es una red bayesiana para el diagnóstico de cáncer de próstata. [1]

Su construcción manual se llevó a cabo en conjunto con un urólogo, con un avance de 5 versiones hasta el momento.

Consta de 47 nodos: 7 enfermedades o anomalías. 6 síntomas, 8 signos, 10 pruebas, 11 factores de riesgo, 1 tratamiento, 4 auxiliares.

En recursos humanos se tomó la ayuda de 1 urólogo, y en recursos materiales se recolectó bibliografía médica, el programa Elvira e historias clínicas de diversos pacientes. [2]

Construcción

La enfermedad de cáncer de próstata tiene los siguientes Factores de riesgo: Edad, Actividad sexual, Factores hormonales, Infección previa, antecedentes familiares, obesidad.

Se manifiesta a través de los siguientes Síntomas: Dolor y Signos: Metástasis, Anemia, Pérdida de Peso, Afección al hígado, Hematuria, Masa Supra, Infección vejiga.

Existen las siguientes pruebas que nos ayudan a confirmarla o descartarla: Exploración rectal, Gleason[1], PSA, Datos radiológicos.

• Edad: Es factor de riesgo para hombres a partir de los 50 años.
• Actividad sexual: hombres con menor actividad sexual cuya eyaculación es en pocas proporciones, son más propensos a un cáncer de próstata que aquellas mayores actividades sexuales con eyaculaciones en grandes proporciones.
• Dieta: hombres de países occidentales en cuya dieta incluyen alto contenido en grasas  tienen más probabilidades de desarrollar el cáncer.
• Raza: El cáncer de próstata es casi dos veces más frecuente entre los hombres afroamericanos que entre los americanos caucásicos.
• Obesidad: no solamente contribuye a la diabetes y al colesterol alto, sino que también se ha asociado con algunos cánceres comunes, incluyendo los tumores relacionados con las hormonas, como los cánceres de próstata, de mama y de ovario.
• Historia familiar de cáncer de próstata: si el padre o hermano tienen cáncer  de próstata, el riesgo de desarrollar la enfermedad se duplica.

Durante la construcción del grafo cualitativo sigue la definición de los estados de cada variable que se realiza a la vez que se van creando las variables. Hay que intentar buscar un equilibrio respecto al número de estados elegidos para cada una de ellas, pues cuanto mayor es el número de estados, más se incrementa el número de estados a obtener. Con el ejemplo de Prostanet, todas las variables, excepto el País de origen, son ordinales. Algunas tienen abreviaturas como:

• ITUS: infecciones del tracto urinario.
• ITUS_dos: infecciones urinarias por gérmenes acantonados en la próstata y que se producen después de haber tenido una infección urinaria previa.
• RAO: retención aguda de orina.
• ETS: enfermedades de transmisión sexual.

Casi todas son binarias con valores del tipo presente-ausente, no-si, negativo-positivo, puesto que lo que interesa conocer de cada una de ellas es si tienen un valor distinto del habitual.

Variables no binarias:

• Edad
• Actividad sexual: poco_o_nada, normal, mucha.
• PSA: niveles en sangre del antígeno prostático específico, con valores:
  • 0-4, ausencia del cáncer
  • 4-10, valor dudosos, hacer otro tipo de pruebas
  • 10-20, hay bastantes indicios de tener cáncer de próstata.
  • Mayor que 20, indica casi con certeza que el paciente tiene cáncer de próstata.
• IPSS: tipo de topología
  • Leve: 0-7
  • Moderado: 8-19
  • Grave: mayor que 20
• Gleason: se mide en 6 intervalos:
  • 0, ausencia de cáncer prostática
  • Menor que 6, las células cancerosas se parecen a las normales, el cáncer es menos agresivo.
  • Mayor que 6, indica que el cáncer crece muy rápidamente.
• Exploración rectal: valores normal, fibrosa, pétrea.

Se aplicaron modelos canónicos

• Flujometría-HPB[2], Prostatitis crónica, Congestión prostática. Se definió una puerta MAX residual.
• IPSS – HPB, Prostatitis crónica, Congestión prostática.
• Cáncer de próstata: presente – ausente, corresponde a una compuerta or.

Estas son algunas de las variables aplicadas en la construcción de la red bayesiana para determinar si un hombre tiene o no cáncer de próstata.

Fig.1. Red bayesiana de Prostanet para la detección cáncer en la próstata

[1] Representa el grafo de diferenciación tumoral y describe las semejanzas entre el tumor y el tejido normal. Basándose en la apariencia microscópica de un tumor, los patólogos pueden describir el grado del cáncer como bajo, medio o alto.

[2] También llamada Hipertrofia prostática benigna, define la condición de una próstata agrandada y representa el problema prostático no canceroso más común.

Bibliografía

[1] Lacave Rodero, Carmen. 2002, Madrid.. Esvuela Superior de Informática. Universidadd de Castilla – La Mancha. [En línea] 2002, Madrid. www.inf-cr.uclm.es/www/clacave/public/tesisdefinitiva.pdf.

[2] Fernandez Galán, Severino. 2002, Madrid. UNED (Universidad Nacional de Educación a Distancia). Departamento de Inteligencia Artificial. [En línea] 2002, Madrid. www.ia.uned.es/~fjdiez.

Roberth Paúl Bravo Castro[*], Julio Wladdimir Criollo Cabrera[**]

Henry Daniel Pilco Vivanco[***], Bayardo Fabián Sarmiento Andrade[****].

Desde los últimos años, la medicina se ha encaminado a buscar métodos que le ayuden al médico a determinar enfermedades en base a su sintomatología.

Un caso particular: El cáncer de próstata es el tumor maligno más común entre los hombres mayores de 50 años de edad y la segunda causa de muerte por cáncer (el cáncer de pulmón es la primera). La probabilidad de recuperación depende de la etapa del cáncer (si se encuentra localizado exactamente en la próstata o se ha diseminado a otras partes del cuerpo) y de la salud del paciente en general. Por eso, es importante diagnosticarla en una fase temprana. Sin embargo, los síntomas del cáncer de próstata son muy parecidos a los de la hiperplasia prostática benigna (HPB) o de otros problemas de la próstata, por lo que es fácil confundirlos. Por ello, resulta útil disponer de una herramienta que ayude al médico, especialmente de medicina general, a realizar un diagnóstico diferencial entre las posibles enfermedades basado en sus probabilidades.

El uso de herramientas que permitan hacer el diseño de una red bayesiana es de suma importancia, es por eso que haciendo referencia a la introducción anterior, les vamos a hablar sobre algunas de ellas.

Elvira

Elvira[1] surge como resultado de un proyecto de investigación  desarrollado entre los años 1997 a 2000 por varias universidades españolas, con el objeto de crear un entorno de desarrollo para modelos gráficos probabilísticos cuyo código fuente  estuviera disponible para que los investigadores del proyecto pudieran trabajar y experimentar nuevos métodos de propagación, aprendizaje y explicación. Adicionalmente se intentó descubrir las deficiencias que el resto de herramientas poseen.

La idea de Elvira es proporcionar al usuario la posibilidad de realizar las principales tareas de procesamiento de redes bayesianas desde línea de comandos

Proyecto principal

PROSTANET es una red bayesiana para el diagnóstico del cáncer de próstata. Su construcción manual se hizo con la ayuda de un urólogo, con un avance de 5 versiones hasta el momento.

Consta de 47 nodos entre enfermedades, síntomas, signos, pruebas, factores de riesgo, tratamiento, 4 auxiliares. Posee 83 enlaces: 11 negativos, 1 indefinido, 71 positivos.

Contiene un entorno amigable, eso sí, debe ser utilizado por un experto en el conocimiento de las RB, para que se familiarice con la misma.

Entre sus características tenemos:

• Permite añadir, modificar y eliminar uno o todos los hallazgos de un Editor de casos.
• Permite tener una explicación del nodo, indicando las razones de probabilidad a priori y a posterior, con la finalidad de una mayor comprensión y entendimiento. Además explica la causa del malestar y que efectos se producen. También da a conocer con que estados se está trabajando.
• Que relevancia tiene dentro del proceso de detección de la enfermedad. Además detalla las relaciones que tiene, cual es o son sus padres y que valores se le ha dado como primera instancia.

Características de ELVIRA

• Está escrito y compilado en Java, por lo que puede funcionar en diferentes plataformas y sistemas operativos.
• Utiliza un formato propio para la codificación de redes bayesianas y diagramas de influencia, y un lector (párser) que interpreta los modelos codificados.
• Está dotado de métodos de explicación de razonamiento y algoritmos para la toma de decisiones (evaluación de diagramas de influencia).
• Permite realizar fusión de redes y aprendizaje de modelos a partir de bases de datos.

HUGIN

Fue una de las primeras herramientas creadas para la edición y evaluación de influencia y redes bayesianas.

Definir una red con el programa HUGIN[2] es muy sencillo, puesto que se hace utilizando un interfaz gráfico. Para definir un nodo, simplemente se selecciona el botón con un óvalo y se coloca el nodo en el Panel de edición. Una vez definido el nodo, pueden añadírseles más estados pinchando en el botón + o eliminarlos pinchando en -. Para definir los enlaces, pinchamos en el botón con una  flecha, y en el panel de edición se inserta la fecha en la dirección adecuada.

GENIE Y JAVABAYES

GeNie[3] y JavaBayes son aplicaciones no comerciales desarrolladas por grupos de investigación. Las primeras versiones de ELVIRA estuvieron inspiradas en JavaBayes.

GeNie ofrece la posibilidad de definir submodelos, lo que resulta muy útil de cara a la edición gráfica de redes en los que el número de nodos es grande, pues pueden construirse mediante refinamientos sucesivos. Además permite trabajar con variables continuas.

Javabayes[4] posee la interfaz más sencilla.

Diferencias entre herramientas en la Inferencia

• Introducción de la evidencia: Excepto en JavaBayes, la evidencia se introduce después de compilar la red. Tiene en común todas las herramientas en la posibilidad de visualizar los nodos de la red en una lista e introducir la evidencia a partir de ella.
• Tareas: Permiten propagar la evidencia introducida para obtener las probabilidades a posteriori de las variables no observadas.
• Algoritmos de propagación: El Elvira y GeNie el usuario tiene la posibilidad de elegir el algoritmo de desea utilizar para realizar la inferencia.
• Visualización de resultados: JavaBayes ofrece los resultados de propagación en forma de texto en una ventana distinta a la que contiene la representación gráfica de la red. En Elvira, Hugin y Netica permite la visualización gráfica de los resultados.

NETICA

Netica Posee una interfaz amigable, además de que es posible realizar abducción total y/o parcial, mediante forma textual o gráfica. Se pueden realizar análisis de sensibilidad y permite trabajar con variables continuas.

Permiten definir submodelos. Permite visualizar los resultados de los estados de cada nodo sobre el propio grafo de la red mediante diagramas de barras.

BIBLIOGRAFÍA

• http://www-2.cs.cmu.edu/~javabayes/Home/node3.html
  • Interfaz gráfica de red: http://www2.sis.pitt.edu/genie
  • JavaBayes: http://www-2.cs.cmu.edu/~javabayes/Home/node3.html
  • http://www.hugin.com

[1] Se puede tener más información del proyecto ELVIRA en la dirección de internet http://www.ia.uned.es/~elvira/

[2] Se puede descargar un demo de su página: http://www.hugin.com

[**] Wladdy1023@gmail.com

[***] henryp007@hotmail.com

[****] bayardo.sarmiento@gmail.com

Aprendizaje Automático

¿Qué es el aprendizaje automático?

Es una rama de la Inteligencia Artificial que tiene como objetivo el desarrollar técnicas que permitan que las computadoras puedan aprender.

Es decir, crear programas que sean capaces de generalizar los comportamientos partiendo de una información que no esté estructurada suministrada en forma de ejemplos.

Una máquina puede considerarse inteligente cuando cumple con los siguientes requisitos:

• Si es capaz de percibir visualmente los objetos que la rodean y reconocer sus formas.
• Si es capaz de “entender” el lenguaje natural, hablado o escrito, así como de producir respuestas en dicho lenguaje.
• Elaborar actuaciones de acuerdo con las condiciones cambiantes del entorno y llevarlas a cabo mediante los correspondientes elementos físicos.
• Cuando puede almacenar información y conocimientos a los que manipula mediante reglas y algoritmos para alcanzar soluciones a los problemas que plantea su funcionamiento.

En el aprendizaje automático entra el término reconocimiento de formas en la cual se hace distinción sobre dos aproximaciones:

Aproximaciones Paramétricas: Se asume un conocimiento a priori acerca de la forma funcional de las distribuciones de probabilidad de cada clase sobre el espacio de representación, las cuales vendrán determinadas por un conjunto finito de parámetros.

Aproximaciones no Paramétricas: No supone ninguna forma de las distribuciones de probabilidad sobre el espacio de representación, de modo que el único conocimiento a priori será el correspondiente a la información inducida a partir de un conjunto de muestras controladas.

Dentro del reconocimiento de patrones hay dos grupos de familias:

1. Clasificación no supervisada

Enfoca la clasificación como el descubrimiento de las clases del problema. También se la denomina “clustering”.

Su objetivo es el descubrimiento de grupos de objetos, que con características afines, separen las diferentes clases del problema clasificatorio.

2. Clasificación supervisada

Basándose en un conjunto de entrenamiento, construye un modelo o regla general que se utilizará para clasificar objetos nuevos de los cuales no sepamos su clase.

Este tipo de clasificación ha sido utilizada en áreas como: diagnóstico de enfermedades, concesión o rechazo de créditos de banca, predicción de bancarrota en empresas, etc.

Criterios para la evaluación de los clasificadores

Tasa de error: nos da una idea del porcentaje de objetos nuevos, de los cuales no sabemos su clase, que no es capaz de clasificar bien el clasificador en cuestión.

Rapidez: Con la que el clasificador construye el modelo.

Interpretabilidad del modelo

Simplicidad del modelo

Dirección de la modelización

Modelización hacia delante: la construcción del modelo empieza desde el modelo más simple y aumenta su complejidad hasta cumplir algún criterio preestablecido.

Modelización hacia atrás: La construcción del modelo empieza desde el modelo más complejo y disminuye su complejidad hasta cumplir algún criterio preestablecido.

Modelización paso a paso: La construcción del modelo comienza desde el modelo más simple o más completo, y aumenta o disminuye su complejidad, hasta cumplir con algún criterio preestablecido.

Bibliografía

• Aprendizaje automático: http://es.wikipedia.org/wiki/Aprendizaje_autom%C3%A1tico
• Inteligencia Artificial: http://www.lsi.upc.es/~bejar/ia/material/teoria/aprendizaje.pdf
• PEARSON. Aprendizaje Automático: conceptos básicos y avanzados. Capítulo 2.

Las redes neuronales son una rama de la Inteligencia Artificial.

A finales del siglo 19 se logró una mayor claridad sobre el trabajo del cerebro debido a los trabajos de Ramón y Cajal en España y Sherrington en Inglaterra. El primero trabajó en la anatomía de las neuronas y el segundo en los puntos de conexión de las mismas o sinápsis.

En las redes neuronales el conocimiento se incorpora mediante el aprendizaje a partir de ejemplos.

Durante el verano de 1951, Minsky y Edmonds montaron la primera máquina de redes neuronales, compuesta básicamente de 300 tubos de vacío y un piloto automático de un bombardero B-24. Llamaron a su creación “Sharc”, se trataba nada menos que de una red de 40 neuronas artificiales que imitaban el cerebro de una rata.

La Red Neuronal

El sistema de neuronas biológico está compuesto por neuronas de entrada (censores) conectados a una compleja red de neuronas “calculadoras” (neuronas ocultas), las cuales, a su vez, están conectadas a las neuronas de salidas que controlan, por ejemplo, los músculos.

¿Cómo de trabaja con la Red Neuronal?

La figura siguiente describe el procedimiento para operar con redes neuronales. Originalmente la red neuronal no dispone de ningún tipo de conocimiento útil almacenado. Para que la red neuronal ejecute una tarea es preciso entrenarla, en terminología estadística diríamos que es necesario estimar los parámetros.

En realidad todo el procedimiento que vemos en la figura es estadístico: primero se selecciona un conjunto de datos, o patrones de aprendizaje en jerga neuronal. Después se desarrolla la arquitectura neuronal, número de neuronas, tipo de red. Por decirlo con otras palabras, se selecciona el modelo y el número de variables dependiente e independientes. Se procede a la fase de aprendizaje o estimación del modelo y a continuación se validan los resultados.

Problemas que tratan de resolver

Las redes neuronales tratan de resolver de forma eficiente problemas que pueden encuadrarse dentro de tres amplios grupos: optimización, reconocimiento y generalización. Estos tres tipos engloban un elevado número de situaciones, lo que hace que el campo de aplicación de las redes neuronales en la gestión empresarial sea muy amplio.

Topología: Consiste en la organización y disposición de las neuronas en la red formando capas o agrupaciones de neuronas. Los parámetros fundamentales de la red son: número de capas, número de neuronas por capa, grado de conectividad y tipo de conexión entre neuronas.

Mecanismo de Aprendizaje: El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una información de entrada. Los cambios que se producen durante la etapa de aprendizaje se reducen a la destrucción (el peso de la conexión toma el valor 0), modificación y creación (el peso de la conexión toma un valor distinto de 0) de conexiones entre las neuronas.

Tipo de asociación entre las informaciones de E/S: Las redes neuronales son sistemas que almacenan cierta información aprendida; esta se registra de forma distribuida en los pesos asociados a las conexiones entre neuronas. Hay que establecer cierta relación o asociación entre la información presentada a la red y la salida ofrecida por esta. Es lo que se conoce como memoria asociativa.

Representación de la Información de E/S

Redes contínuas: En un gran número de redes, tanto los datos de entrada como de salida son de naturaleza analógica (valores reales contínuos y normalmente normalizados, por lo que su valor absoluto será menor que la unidad). En este caso las funciones de activación de las neuronas serán también contínuas, del tipo lineal o sigmoidal.

Redes discretas: Por el contrario, otras redes sólo admiten valores discretos [0,1] a la entrada, generando también en la salida respuestas de tipo binario. La función de activación en este caso es del tipo escalón.

Redes híbridas: La información de entrada es contínua pero a la salida ofrecen información binaria.

BIBLIOGRAFÍA

http://www.une.edu.ve/electronica/neurona.htm

http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo3.html

PEARSON, Aprendizaje automático: conceptos básicos y avanzados.

Identificar las diferencias entre un tipo de conocimiento y el otro es, para Nonaka y Takeuchi (1999:65); la clave para entender de forma distinta cómo los occidentales y los japoneses tratan el conocimiento. Estos autores plantean que las compañías japonesas han sido exitosas gracias a sus habilidades y perfeccionamiento en el campo de la creación del conocimiento organizacional, el cual definen como la capacidad de una compañía para generar nuevos conocimientos, diseminarlos entre los miembros de la organización y materializarlos en productos, servicios y sistemas. Además, resaltan que la creación de conocimiento organizacional es la clave para que las firmas innoven continuamente y consideran que la principal fortaleza de las empresas japonesas es manejar el conocimiento tácito y convertirlo en conocimiento explícito.

En nuestra vida profesional aplicamos ambos tipos de conocimiento ya que gracias al conocimiento adquirido en nuestra formación académica, más las habilidades adquiridas a través de los años se complementan para ser profesionales integrales.

GESTIÓN DEL CONOCIMIENTO

Roberth Paúl Bravo Castro

CONOCIMIENTO

El conocimiento es aquél conjunto de datos sobre hechos, experiencias y verdades almacenadas en una persona, que al ser transmitidos se retroalimentan constantemente por medio de la información.

Tipos de conocimiento

Según Foray y Lundvall han formulado una distinción entre 4 diferentes clases de conocimiento:

Saber qué: Conocimiento acerca de hechos, cercano a lo que comúnmente llamamos información y que puede ser comunicado como datos.

Saber cómo: Relativo a la habilidad o capacidad de hacer algo.

Saber por qué: Referido al conocimiento sobre principios y leyes de movimiento en la naturaleza, en la mente humana y en la sociedad.

Saber quién: Referente al conocimiento basado en diferentes disciplinas, que requiere acceso a distintas fuentes de conocimiento, e información sobre quién sabe qué y quién sabe hacer qué, así como la habilidad para cooperar y comunicarse con diferentes tipos de personas y expertos.

Además de estos, otros autores identifican otros tipos de conocimiento:

• El conocimiento a priori es independiente de cualquier experiencia, verdad universal y necesaria.
• El conocimiento a posteriori deriva de la experiencia de los sentidos. Puede rechazarse sin necesidad de una contradicción.
• El conocimiento puede ser codificado si se puede almacenar o especificar formalmente de tal manera que no se pierda ninguna información. Por contraposición el conocimiento no codificado es aquél que no puede ser codificado ya que es difícil de expresar o explicitar.
• El conocimiento puede ser público si es fácil de compartir, y consiste en un conocimiento creado/difundido por la sociedad. En cambio, si es personal ha sido construido por el propio individuo; es la base del conocimiento público.
• El conocimiento puede ser orientado si hace referencia a las relaciones causales entre conceptos, y será axiomático cuando se refiera a explicaciones de causas finales o a priori de sucesos.
• El conocimiento es explícito si puede ser transmitido de un individuo a otro mediante algún medio de comunicación formal. Si el conocimiento es difícil de comunicar o de formalizar, hablamos de conocimiento tácito o implícito.
• El conocimiento es empírico si ha sido asumido colectivamente a través de ciertos resultados a los que no se ha llegado aplicando ningún método formal. Si por el contrario se ha seguido una metodología estamos ante conocimiento científico.

Referencias Bibliográficas

http://books.google.com.ec/books?id=RizPjeDQTPYC&pg=PA69&lpg=PA69&dq=Tipos+de+conocimiento+%2B+Foray+y+Lundvall&source=web&ots=wj_Opzfyfg&sig=HFr6X8HIMUfpBiwFc-EKrUR- 7k&hl=es&sa=X&oi=book_result&resnum=6&ct=result

http://sigc.wikidot.com/system:acerca-del-conocimiento

Definición: Medida del grado de incertidumbre asociado a una distribución de probabilidad.

En una distribución uniforme, todos los valores son igualmente probables Pi = 1/N y por tanto la entropía es máxima, lo cual indica máxima incertidumbre.

Por el contrario, en una distribución pico en la que Pi = 1 y Pj=0, para todo j≠i la entropía es mínima lo cual indica mínima incertidumbre o sea máxima información.

E(S)=∑ – p_i log₂ p_i

                                                                               _iЄC

Entropía Condicionada

Entropía de la distribución de Y condicionada a  X.

Una entropía condicionada menor que H(Y) indica que el conocimiento de X mejora la información que se dispone sobre X:

H(Y/X) = ∑_JProb(X=v_j) H(Y|X = V_j)

Ganancia de Información

Medida de cuanto ayuda el conocer el valor de una variable aleatoria X para conocer el verdadero valor de otra Y.

En nuestro caso, X es un atributo de un ejemplo dado mientras que Y es la clase a la que pertenece el ejemplo.

Una alta ganancia implica que el atributo X permite reducir la incertidumbre de la clasificación del ejemplo de entrada.

IG(Y|X) = H(Y) – H (Y|X)

Redefinición de ganancia

Restar a la entropía global la media ponderada de las entropías asociadas a los valores que puede tomar un atributo A.

G(S,A) = E(S) – ∑ (|S_vi|/|S|)E(S_vi)

viЄV

Para cada valor v hay un conjunto de ejemplos que lo verifica Sv y es el tamaño relativo de ese conjunto el que define la ponderación.

En general…

Una manera de cuantificar la bondad de un atributo en este contexto, consiste en considerar la cantidad de  información que proveerá este atributo, tal y como ésto es definido en teoría de información por Claude E. Shannon. Un bit de información es suficiente para determinar el valor de un atributo booleano, por ejemplo, si/no, verdadero/falso, 1/0, etc., sobre el cual no sabemos nada.

Referencias

http://www.uv.mx/aguerra/teaching/ml-04/clase07.pdf

http://www.sc.ehu.es/ccwbayes/docencia/mmcc/docs/t10arboles.pdf

http://elvex.ugr.es/etexts/spanish/proyecto/cap5.pdf