METODOS MATEMATICOS EN CIENCIAS DE LA COMPUTACION
05-06 UNIVERSIDAD DEL PAIS VASCO - EUSKAL HERRIKO
UNIBERTSITATEA, UPV-EHU
PRACTICA II: RECONOCIMIENTO DE PATRONES CON
WEKA
Tareas a realizar para el Tema 13
(Combinación de clasificadores):
WEKA ofrece distintas posibilidades acerca de la combinación de
clasificadores supervisados. Todas ellas se encuentran dentro de la familia de
clasificación supervisada "meta".
Aunque no estoy seguro del todo, me
da la impresión que con el esquema del clasificador "Vote" se puede construir
un esquema de combinación basado en la "Mayoría Simple". Mediante su parámetro
"classifiers", puedes incluir cualesquiera otros clasificadores base (por
clasificadores "base" me refiero a cualquier clasificador visto hasta ahora en
el curso: naive Bayes, árboles, etc.). Date cuenta que en este parámetro
"classifiers" debes primeramente quitar el clasificador que tiene por defecto
y que se llama "ZeroR" (Zero Rules = Cero Reglas), y que simplemente predice
la clase mayoritaria mayoritaria para cualquier caso (esto es, "no aprende
nada"...).
El esquema de combinación de clasificadores propuesto por
"Stacking" reproduce lo visto en la teoría bajo el mismo nombre, construyendo
en un segundo nivel un clasificador con las etiquetas predichas por un
conjunto de clasificadores base. Trata de entender sus parámetros
"classifiers" (el mismo que para "Vote") y "metaClassifier".
Escoge 3
o 5 clasificadores base cualesquiera (k-nn, árboles...). Propón para ellos
esquemas de combinación "Vote" y "Stacked" (para éste, elige el
clasificador de segundo nivel que te parezca). Utilizando distintas semillas
de aleatorización en WEKA, realiza una comparativa estadística mediante un
test estadístico (no paramétrico) de los porcentajes de acierto estimados en
base a 5 ejecuciones del método H (2/3 del fichero para entrenar, 1/3 para
testear) entre ambas propuestas ("Vote" versus "Stacked"). Brevemente:
¿mejora significativamente el "Stacked" (con su segundo nivel) el esquema de
voto-por-mayoría propuesto por "Vote", esto es, nos da un "plus" significativo
este segundo nivel?