METODOS MATEMATICOS EN CIENCIAS DE LA COMPUTACION 05-06
UNIVERSIDAD DEL PAIS VASCO - EUSKAL HERRIKO UNIBERTSITATEA, UPV-EHU

PRACTICA II: RECONOCIMIENTO DE PATRONES CON WEKA

Tareas a realizar para el Tema 13 (Combinación de clasificadores):

  1. WEKA ofrece distintas posibilidades acerca de la combinación de clasificadores supervisados. Todas ellas se encuentran dentro de la familia de clasificación supervisada "meta".

    Aunque no estoy seguro del todo, me da la impresión que con el esquema del clasificador "Vote" se puede construir un esquema de combinación basado en la "Mayoría Simple". Mediante su parámetro "classifiers", puedes incluir cualesquiera otros clasificadores base (por clasificadores "base" me refiero a cualquier clasificador visto hasta ahora en el curso: naive Bayes, árboles, etc.). Date cuenta que en este parámetro "classifiers" debes primeramente quitar el clasificador que tiene por defecto y que se llama "ZeroR" (Zero Rules = Cero Reglas), y que simplemente predice la clase mayoritaria mayoritaria para cualquier caso (esto es, "no aprende nada"...).

    El esquema de combinación de clasificadores propuesto por "Stacking" reproduce lo visto en la teoría bajo el mismo nombre, construyendo en un segundo nivel un clasificador con las etiquetas predichas por un conjunto de clasificadores base. Trata de entender sus parámetros "classifiers" (el mismo que para "Vote") y "metaClassifier".

    Escoge 3 o 5 clasificadores base cualesquiera (k-nn, árboles...). Propón para ellos esquemas de combinación "Vote" y  "Stacked" (para éste, elige el clasificador de segundo nivel que te parezca). Utilizando distintas semillas de aleatorización en WEKA, realiza una comparativa estadística mediante un test estadístico (no paramétrico) de los porcentajes de acierto estimados en base a 5 ejecuciones del método H (2/3 del fichero para entrenar, 1/3 para testear) entre ambas propuestas ("Vote" versus "Stacked").
    Brevemente: ¿mejora significativamente el "Stacked" (con su segundo nivel) el esquema de voto-por-mayoría propuesto por "Vote", esto es, nos da un "plus" significativo este segundo nivel?