weka completo

Programa Open Source WEKA

• Introducción.

• Instalación del WEKA.

• Uso del WEKA.

• Repositorios del WEKA.

Gracias al apoyo del Consejo de Investigación y Postgrado de la Universidad Nacional Abierta

Elaborado por: Ing. Jean Sánchez

IntroducciónEl sistema WEKA (Waikato Environment for Knowledge Analysis) fuedesarrollado en la Universidad de Waikato en Nueva Zelanda. Está bajolicencia GNU implementado en Java y ha sido probado en Windows, Linux yMacintosh.Implementa algoritmos de minería de datos que pueden aplicarse a bases dedatos desde su línea de comando o bien desde su interfaz gráfica.Este sistema incluye una variedad de herramientas para transformarconjuntos de datos.Permite realizar preprocesamientos de datos para transformarlos en unesquema de aprendizaje, a fin de que sus resultados puedan ser analizados.WEKA permite aplicar un método de aprendizaje a conjuntos de datos yanalizar los resultados para extraer información. Otra forma es aplicar variosmétodos de aprendizaje y comparar sus resultados en orden de escoger unapredicción. Estos métodos son llamados clasificadores.La implementación de los esquemas de aprendizaje son los recursos másvaliosos de WEKA. Las herramientas para el preprocesamiento de datos,llamados filtros, WEKA centra su atención en los algoritmos de clasificación yfiltro, sin embargo, también incluye la implementación de algoritmos para elaprendizaje de reglas de asociación y el agrupamiento de datos (clustering).

Instalación de WEKA

Descargar desde la página web de la Universidad de

Waikato http://www.cs.waikato.ac.nz/ml/weka/

Permitirá la instalación de la máquina virtual java.

Comenzará la instalación automática del programa.

Se mostraran las ventanas que se muestran a continuación

http://www.cs.waikato.ac.nz/ml/weka/


Se mostrará la siguiente ventana

Pulsa siguiente



Pulsa Estoy de Acuerdo



Pulsa siguiente



Pulsa Instalar



Pulsa siguiente



Pulsa Finalizar

Uso del WEKALa pantalla principal del WEKA se muestra a

continuación:

Uso del WEKASe muestran las 4 opciones posibles interfaces de trabajo

con WEKAExplorer: es la opción quepermite ejecutar losalgoritmos de análisis ycomparar resultados sobre unúnico conjunto de datos.Experimenter: es la opciónque permite definirexperimentos complejos yalmacenar resultados.Knowledge Flow: es laopción que permite llevar acabo las mismas operacionesque Experimenter perorepresentado como un grafodirigido.Simple Cli: es “Command-Line Interfaz” es una ventanade comandos java paraejecutar las clases WEKA.

Uso del WEKAExplorer:

Como se observa con seissubentornos de ejecución:Preprocess: permite el uso delas herramientas y filtros paracargar y manipular los datos.Classification: permite elacceso a las técnicas declasificación y regresión.Cluster: permite integrarvarios métodos deagrupamiento.Associate: permite incluir lasreglas de asociación.Select Attributes: permiteaplicar las técnicas dereducción de atributos.Visualize: permite visualizarel comportamiento de losdatos.

Uso del WEKA

Explorer: Preprocesamiento de Datos.

•Se pueden importar datos en varios formatos: ARFF,

CVS, C.45, binarios.

•Los datos pueden provenir desde un URL o de una

base de datos (usando JDBC).

•Herramientas de preprocesado: Filters.

•Filtros para: discretización, normalización, selección

de atributos, ...


Las flores de las plantas Iris(liliáceas) se clasifican a base delas dimensiones de sus pétalos ysépalos

Es un problema académico planteado por Fisher en 1936, que consta de las mediciones de 150 ejemplares de tres subclases: Setosa, Versicolor, Virginica.


Los datos son introducidos comoarchivos ARFF los cuales poseenlas siguientes características:

@RELATION iris@ATTRIBUTE sepallength REAL@ATTRIBUTE sepalwidth REAL@ATTRIBUTE petallength REAL@ATTRIBUTE petalwidth REAL@ATTRIBUTE class {Iris-setosa,Iris-versicolor,Iris-virginica}@DATA5.1,3.5,1.4,0.2,Iris-setosa4.9,3.0,1.4,0.2,Iris-setosa…5.2,2.7,3.9,1.4,Iris-versicolor5.0,2.0,3.5,1.0,Iris-versicolor…7.2,3.6,6.1,2.5,Iris-virginica6.5,3.2,1.4,2.0,Iris-virginica

Cabecera con el nombrede la relación:iris

Declaración de atributos:{a1,a2,..,an} enumeradoREAL numérico

Conjunto de datos:150 instancias.Ordenadas de 50 en 50.

Uso del WEKAExplorer: Preprocess

Pulse para abrir archivo


Pulse para abrir archivoseleccionado


Pulse sobre el atributo class


Pulse sobre la opción Visualiza todo


Como se observa los cincoatributos de las plantas Iris:sepallenght: longitud delsépalo.sepalwidth: anchura delsépalo.petallenght: longitud delpétalo.petalwidth: anchura delpétalo.class: especies quecomponen la planta Iris.


Pulse sobre el atributo petalwidth


Pulse sobre la opción Elegir


Pulse sobre la opción dela herramienta depreprocesamineto nosupervisada


Pulse sobre la opción dela herramienta depreprocesamineto nosupervisada para eltratamiento de losatributos


Pulse sobre la opción defiltros


Marca sobre la opciones filtros que considere necesarias y pulsa Esta bien


Pulse sobre la opción dela herramienta depreprocesamineto nosupervisada para eltratamiento de losatributos escogiendoDiscretizar


Pulse sobre laopción aplicar


Usaremos ahora de laherramienta depreprocesamineto nosupervisada para eltratamiento de losatributos escogiendoDiscretizar las opcionesque posee pulsandosobre el


Colocar en verdadero para hacer iguales el número de las frecuencias. Sepuede también modificar cualquiera de las opciones a nuestra conveniencia


Pulsar sobre la opción esta bien

En la sección Acerca de semuestra la informaciónsobre la herramienta dePreprocesamiento utilizada.


Pulse sobre laopción aplicar

Uso del WEKAExplorer: Classify

WEKA ofrece cuatro opciones enel Test options:Use trainig set: la muestra esusada para entrenar y probar almismo tiempo. Los resultadosobtenidos no corresponden conla realidad.Supplied test set: los atributosde los datos son escritos en unnuevo archivo de formato ARFFsobre el cual se efectuará laclasificación.Cross-validation: permitedividir la muestra en k partes,sobre estas se procede aentrenar el clasificador con las k-1 partes y evaluar con la parte kactual.Percentage split: indica elporcentaje de la muestra queempleara para probar elclasificador.


Pulsar sobre la opción Elegir


WEKA ofrece ocho opciones paraclasificar:Bayes: métodos basados en elaprendizaje de Bayes.Functions: métodosmatemáticos.Lazy: métodos basados en elaprendizaje del perezoso.Meta: métodos que resultan dela combinación de diferentesmétodos de aprendizaje.Mi: métodos que aprendenmediante la variación de ladensidad de los algoritmos.Misc: métodos que aprendencomo si leyeran los datos.Trees: métodos que aprendenmediante arboles de decisión.Rules: métodos que aprenden yesto se puede expresar comoreglas.

Uso del WEKAExplorer: Classify (bayes)

Pulsar sobre la de filtros


Marca sobre la opciones filtros que considere necesarios y pulsa Esta bien


Pulsar sobre NaiveBayes paraque se muestren las opcionesque este posee


En la sección Acerca de semuestra la informaciónsobre la herramienta deClasificación utilizada.

Pulsa Esta bien luego de realizar lasmodificaciones en las opciones de ser necesario.


Pulsar sobre Más opciones conlo cual se desplegara un menúemergente


Pulsa sobre Comienzo paraque el algoritmo empiece aejecutarse


Se muestra el resultado del algoritmo, deberás pulsar sobre la ventanadeslizante hasta llegar al final de la misma


Se muestra el resultado del algoritmo


Pulsando botón contrario del ratón se desplegara la siguiente ventana emergente


Pulsa sobre la opción visualizar los errores clasificados


Pulsa sobre X para cerrar la ventana emergente


Pulsa sobre la opción visualizar la curva marginal


Pulsa sobre la opción visualizar el umbral de la curva


Pulsa sobre la opción visualizar la curva de costos

Uso del WEKAExplorer: Classify (trees)

Pulsar sobre la opción Arbolesde decisión


Pulsar sobre la opción J48 queusa el algoritmo C4.5


Pulsar sobre la de filtros


Pulsar sobre J48 para que semuestren las opciones queeste posee


En la sección Acerca de semuestra la informaciónsobre la herramienta deClasificación utilizada.



Pulsar sobre Más opciones conlo cual se desplegara un menúemergente


Pulsa sobre la opción visualizar Árbol de Decisión


Pulsa sobre la opción visualizar los errores clasificados


Pulsa sobre la opción visualizar la curva marginal


Pulsa sobre la opción visualizar el umbral de la curva


Pulsa sobre la opción visualizar la curva de costos


Principales Algoritmos utilizados en Clasificar

•BayesNet: Aprende redes Bayesianas.•NaiveBayes: Clasificador discriminador de Bayes.•Id3: Arboles de decisión usando el divide y vencerás.•J48: Arboles de decisión usando el C4.5.•RandomForest: Contruye un bosque aleatorio.•JRip: Construye reglas con el algoritmo RIPPER.•M5Rules: Construye reglas M5 desde árboles.•LinearRegression: Utiliza la regresión lineal.•MultilayerPerceptron: Usa Red Neuronal de Retroprogramación.•RBFNetwork: Usa Red de función en Radio Base.•SMO: Basado en Vectores de Soporte.•Ibk: Usa k vecinos más cercanos.•LWL: Aprendizaje basados en Pesos Locales.•Entre muchos otros…

Uso del WEKAExplorer: Cluster

WEKA ofrece cuatro opciones enel Cluster mode:Use trainig set: la muestra esusada para entrenar y probar almismo tiempo. Los resultadosobtenidos no corresponden conla realidad.Supplied test set: los atributosde los datos son escritos en unnuevo archivo de formato ARFFsobre el cual se efectuará laclasificación.Percentage split: indica elporcentaje de la muestra queempleara para probar elclasificador.Classes to cluster evaluation:permite escoger el atributo aagrupar


WEKA ofrece nueve algoritmospara agrupar datos:•CobWeb: utiliza el algoritmoCobWeb.•DBScan: utiliza el algoritmoDBScan.•EM: utiliza el algoritmo EM.•FarthestFirst: utiliza elalgoritmo FarthestFirst.•FilteredCluster: agupra losdatos arbitrariamente y luegoson pasados por un filtroarbitrario.•MakeDensityBasedClusterer: losdatos son envueltos en clases ydevuelven su distribución ydensidad.•OPTICS: utiliza el algoritmoOPTICS.•SimpleKMeans: utiliza elalgoritmo de k-medias.•XMeans: utiliza el algoritmo dex-medias.


Pulsa sobre la opción filtros


Pulsa sobre la opción delalgoritmo CobWeb


Pulsar sobre CobWeb para quese muestren las opciones queeste posee


En la sección Acerca de semuestra la informaciónsobre la herramienta deAgrupamiento de datosutilizada.



Pulsa sobre la opción visualizar Árbol


Pulsa sobre la opción visualizar los grupos formados

Uso del WEKAExplorer: Associate



WEKA ofrece cinco algoritmospara asociar datos:•Apriori: utiliza el algoritmoApriori.•FilteredAssociator: utiliza elalgoritmo que asocia los datosarbitrariamente además defiltrarlos arbitrariamentetambién.•GeneralizedSequentialPatterns:utiliza el algoritmo GSP•PredictiveApriori: utiliza elalgoritmo Apriori para hacerreglas de asociación.•Tertius: utiliza el algoritmo deTertius.


Pulsa sobre la opción filtros


Pulsa sobre la opción delalgoritmo FilteredAssociator


Pulsar sobre FilteredAssociatorpara que se muestren lasopciones que este posee


En la sección Acerca de semuestra la informaciónsobre la herramienta deAsociación de datosutilizada.


Uso del WEKAExplorer: Visualize

Uso del WEKAExperimenter:

Como se observa con tressubentornos de ejecución:Setup: permite la carga de losarchivos así como la creaciónde los mismos.Run: permite ejecutar elarchivo con los algoritmosindicados en Setup.Analyse: permite configurarlas pruebas sobre los datos.

Uso del WEKAKnowledgeFlow:

Como se observa con ochosubentornos de ejecución:DataSources: permite leer los datosen los diferentes tipos de archivos:ARFF, C45, CVS, LIBSVM, XRFF.DataSkin: permite guardar los datosen los diferentes tipos de archivos:ARFF, C45, CVS, LIBSVM, XRFF.Filters: permite efectuar elpreprocesamiento de los datos, sedividen supervisados y nosupervisados.Classifiers: permite efectuar laclasificación de los datos, se dividenen: bayes, functions, lazy, meta, mi,misc, trees y rules.Clusterers: permite aplicar lastécnicas de agrupamiento de datos.Associations: permite aplicar lastécnicas de asociación de los datos.Evaluation: permite evaluar odesignar el conjunto de datos para elentrenamiento.Visualization: permite visualizar yasea como texto o grafico el resultadode los algoritmos.


Como primer paso es necesariocargar los datos. Para esto se debe:1) Pulsar sobre la pestaña deDataSources

2) Pulsar sobre la el icono deArffLoader

3) Pulsar doble clic y aparecerá elicono de ArffLoader


Pulsar clic contrario sobre el icono deArffLoader y aparecerá un menúdesplegable sobre este elegirás laopción Configure, esto para indicarlela ubicación del archivo ARFF


Pulsar clic sobre el archivo ARFF denuestra elección el cual seráinmediatamente cargado como fuentede datos


Como segundo paso es necesarioevaluar los datos. Para esto se debe:1) Pulsar sobre la pestaña deEvaluation

2) Pulsar sobre la el icono deClassAssigener

3) Pulsar doble clic y aparecerá elicono de ClassAssigner

ClassAssigner es un algoritmo que divide los datos en grupos (clases)


Pulsar clic contrario aparecerá elmenú emergente pulsaras sobre laopción dataSet.


La flecha indica que se efectúa laconexión entre el conjunto de losdatos “dataSet” en formato ARFF(icono ArffLoader) y seránevaluados dicho conjunto de datos(icono ClassAssigner)

Cada uno de los iconos u objetos sólo se conectaran con los atributos comunesa los mismos, en este caso es común el conjunto de datos “dataSet” y es la únicaforma de comunicación entre la carga del conjunto de datos (ArffLoader) y laevaluación de los mismos (ClassAsigner).


Pulsar sobre la el icono deCrossValidationFoldMaker

Pulsar doble clic y aparecerá elicono de CrossValidationFoldMaker

CrossValidationFolderMaker es un algoritmo de evaluación que divide unconjunto de datos al efectuar una validación cruzada, para esto separa elentrenamiento y las pruebas de los datos que son producidas por cada k-partes


Pulsar clic contrario aparecerá elmenú emergente pulsaras sobre laopción dataSet.


La flecha indica que se efectúa laconexión entre el conjunto de losdatos “dataSet” formados por elmétodo de agrupar en clases (iconoClassAssigner) y serán evaluadosdicho conjunto de datos (iconoCrossValidationFolderMaker)


Como tercer paso es necesarioefectuar la clasificación de los datos.Para esto se debe:1) Pulsar sobre la pestaña deClassifiers

2) Pulsar sobre la el icono de SMO

3) Pulsar doble clic y aparecerá elicono de SMO

SMO es una función que implementa el algoritmo de secuencia mínima optimade John Platt.


Pulsar clic contrario aparecerá elmenú emergente pulsaras sobre laopción trainingSet y luego de igualmanera pulsaras clic contrarioaparecerá el menú emergente yluego pulsaras sobre la opcióntestSet.


La flecha indica que se efectúa laconexión entre el evaluador (iconoCrossValidationFoldMaker) ya seatanto por entrenamiento de losdatos “trainingSet” o por pruebasde los datos “testSet” al clasificadorSMO.


Pulsar sobre la el icono deNaiveBayes

3) Pulsar doble clic y aparecerá elicono de NaiveBayes

NaiveBayes es una función que se usa para estimar las clases


La flecha indica que se efectúa laconexión entre el evaluador (iconoCrossValidationFoldMaker) ya seatanto por entrenamiento de losdatos “trainingSet” o por pruebasde los datos “testSet” al clasificadorNaiveBayes.


Como cuarto es necesario efectuar lavisualización de los datos. Para estose debe:1) Pulsar sobre la pestaña deVisualization

2) Pulsar sobre la el icono deTextViewer

3) Pulsar doble clic y aparecerá elicono de TextViewer

TextViewer es un visualizador que permite observar por pantalla los resultadosgenerales del experimento


Pulsar clic contrario aparecerá elmenú emergente pulsaras sobre laopción text


La flecha indica que se efectúa laconexión entre el clasificador(icono MSO) que envía el resultadotipo texto “text” al visualizadorTextViewer

Pulsar TextViewer y luego pulsardoble clic y aparecerá el icono deTextViewer


Pulsar clic contrario aparecerá elmenú emergente pulsaras sobre laopción text


La flecha indica que se efectúa laconexión entre el clasificador(icono NaiveBayes) que envía elresultado tipo texto “text” alvisualizador TextViewer


Pulsar clic contrario sobre los datos(icono titanic.txt) aparecerá unmenú emergente donde escogerásla opción Start loading, con esto seiniciará la carga de los datos en elmodelo creado.

Como quinto paso es necesario cargarlos datos.


Pulsar clic contrario aparecerá elmenú emergente pulsaras sobre laopción ShowResults


Estos son los resultados en formade texto del clasificadorimplementado.


Pulsar sobre la el icono de J48

Pulsar doble clic y aparecerá elicono de J48

J48 es una función que genera un árbol de decisión usando el algoritmo C4.5


Pulsar clic contrario sobre los datos(icono titanic.txt) aparecerá unmenú emergente donde escogerásla opción Start loading, con esto seiniciará la carga de los datos en elmodelo creado.

Como sexto paso y para efectuarcomparación con los algoritmos deárboles de decisión, es necesariovolver a cargar los datos.


Este es el resultado en forma deárbol del clasificadorimplementado.

Uso del WEKASimpleCLI:

Como se observa con los sietecomandos posibles son:java <classname> <args>.break.kill.cls.history.exit.help <command>

Repositorios de WEKASimpleCLI:

Como se observa con los sietecomandos posibles son:java <classname> <args>.break.kill.cls.history.exit.help <command>

weka completo

Education