¿Correo basura o no?

Clasificación de Textos (Parte 1)

NLP - Analítica Estratégica de Datos

Fundación Universitaria Konrad Lorenz
Docente: Viviana Márquez vivianam.penama@konradlorenz.edu.co
Clase #7: Abril 8, 2021

Retroalimentación taller 5 & 6

⌛ En clases anteriores

• Repaso de Feature Engineering en Machine Learning
• Representación de datos en forma numérica
• Métodos de vectorización
  • Bag of Words
  • TF-IDF
  • Word2Vec

Flujo de datos en un proyecto de NLP (pipeline)

Flujo de datos en un proyecto de NLP (pipeline)

Flujo de datos en un proyecto de NLP (pipeline)

Flujo de datos en un proyecto de NLP (pipeline)

Flujo de datos en un proyecto de NLP (pipeline)

🚀 Hoy veremos...

• Repaso de modelos en Machine Learning
• Modelos de clasificación
• Medidas de rendimiento para modelos de clasificación

🚀 Próxima clase...

• Modelos de clasificación para NLP
  • Regresión logística
  • Bayesiano ingenuo (Naive Bayes)
  • Máquinas de vectores de soporte (SVM)

🤖 Machine Learning

Primero hagamos un repaso de ML

• El Machine Learning (aprendizaje automático) se encarga de representar la estructura y generalizar el comportamiento de un conjunto de datos a través de un modelo.

💡 Representar: Extraer la estructura de un conjunto de datos.

💡 Generalizar: Hacer predicciones a partir de un conjunto de datos.

👠 ¿Modelo?

Sí, pero modelos matemáticos.

Estos se usan para describir un sistema (natural, físico, social, industrial, etc.) usando conceptos y lenguaje matemático.

👠 Elementos de un modelo en el contexto de ML

import pandas as pd

data = pd.read_csv("../archivos/basura.csv")
data.sample(3)

	mensaje	etiqueta
517	Envíale un mensaje de texto. Si no responde, a...	legítimo
106	Su ID de usuario único es 1172. Para eliminarl...	basura
41	Gana el más nuevo “Harry Potter y la Orden del...	basura

• Datos de entrada (input) del modelo: En ML también conocido como: X, Características, Atributos, Predictores, Entradas, Variables independientes, Dimensiones, etc.

• Datos de salida (output) del modelo: En ML también conocido como: Y, Objetivo, Respuesta, Salida, Variable dependiente, etc.

• Fila: (Incluye input y output) En ML también conocido como: Observación, Registro, Documento, etc.

• Etiquetas: Los valores de la variable dependiente (en el contexto de aprendizaje supervisado).

📝 Tipos de modelos en Machine Learning

¿Es un perro o es un muffin?

Dos preguntas:

• ¿Tenemos etiquetas? ¿De qué tipo son nuestros datos?

• Supervisados Problemas con etiquetas
• No supervisados Problemas sin etiquetas

• Aprendizaje supervisado: Le das a la computadora algunos pares de entradas/salidas, así en el futuro nuevo cuando se presenten nuevas entradas tienes una salida inteligente.

• Aprendizaje no supervisado: Dejas que la computadora aprenda de los datos en sí sin mostrar cuál es la salida esperada.

👮‍♀️ Pop Quiz: ¿Supervisado o no?

• Clasificar críticas de restaurantes como positivas o negativas == Supervisado

• Agrupar diferentes tipos de clientes en conjuntos similares == No supervisado

• Datos continuos -> Regresión: Información cuantitativa/numérica
• Datos discretos -> Clasificación: Información cualitativa

👮‍♀️Pop Quiz: ¿Clasificación o regresión?

• ¿Es un pollo o un perro?

• Predecir la estatura de una persona

• Supervisados: Problemas con etiquetas
• No supervisados: Problemas sin etiquetas

• Datos continuos: Información cuantitativa/numérica
• Datos discretos: Información cualitativa

🤔 ¿Es correo basura o no?

🚀 Hoy vimos...

• Repaso de modelos en Machine Learning ✅
• Modelos de clasificación
• Medidas de rendimiento para modelos de clasificación

Modelos de clasificación

Se dividen en tres categorías:

• Binarios
• Multiclase
• Multietiqueta

Modelos de clasificación

Binarios: Clasificar dos clases

Modelos de clasificación

Multiclase: Clasificar más de dos clases

Modelos de clasificación

Multietiqueta: Cuando un documento puede tener más de una clase/etiqueta

¿En qué otros escenarios podemos tener un problema de multietiqueta?

Modelos de clasificación

Pasos para un modelo de clasificación:

1. Adquirir datos etiquetados... (mala noticia)

print(f"El conjunto de datos tiene {data.shape[0]} registros.")
data.sample(2)
data.etiqueta.value_counts(normalize=True)

El conjunto de datos tiene 729 registros.

basura      0.550069
legítimo    0.449931
Name: etiqueta, dtype: float64

Modelos de clasificación

Pasos para un modelo de clasificación:

1. Adquirir datos etiquetados
2. Feature Engineering (Pre-procesamiento, TF-IDF, etc...)

Modelos de clasificación

Pasos para un modelo de clasificación:

1. Adquirir datos etiquetados
2. Feature Engineering (Pre-procesamiento, TF-IDF, etc...)
3. Dividir el conjunto de datos en dos:
   • Entrenamiento (training) y prueba (test)

from sklearn.model_selection import train_test_split

train, test = train_test_split(data, test_size=0.2)

print(f"El conjunto de datos de entrenamiento tiene {train.shape[0]} registros y el de prueba tiene {test.shape[0]} registros.")

El conjunto de datos de entrenamiento tiene 583 registros y el de prueba tiene 146 registros.

Modelos de clasificación

Pasos para un modelo de clasificación:

1. Adquirir datos etiquetados
2. Feature Engineering (Pre-procesamiento, TF-IDF, etc...)
3. Dividir el conjunto de datos en dos:
   • Entrenamiento (training) y prueba (test)
4. Entrenar el modelo 🚀

Modelos de clasificación

Pasos para un modelo de clasificación:

1. Adquirir datos etiquetados
2. Feature Engineering (Pre-procesamiento, TF-IDF, etc...)
3. Dividir el conjunto de datos en dos:
   • Entrenamiento (training) y prueba (test)
4. Entrenar el modelo 🚀
5. Obtener medidas de rendimiento en el conjunto de datos de prueba y mejorar modelo

Modelos de clasificación

Pasos para un modelo de clasificación:

1. Adquirir datos etiquetados
2. Feature Engineering (Pre-procesamiento, TF-IDF, etc...)
3. Dividir el conjunto de datos en dos:
   • Entrenamiento (training) y prueba (test)
4. Entrenar el modelo**
5. Obtener medidas de rendimiento en el conjunto de datos de prueba y mejorar modelo
6. Poner en producción

🚀 Hoy veremos...

• Repaso de modelos en Machine Learning ✅
• Modelos de clasificación ✅
• Medidas de rendimiento para modelos de clasificación

Medidas de rendimiento para modelos de clasificación

Algunas de las medidas más populares son:

• Exactitud (accuracy)
• Precisión (precission)
• Sensibilidad (recall)
• Valor-F1 (F1-score)

En tu modelo puedes lograr dos resultados:

• Tu modelo predice correctamente
• Tu modelo predice incorrectamente

Medidas de rendimiento para modelos de clasificación

Exactitud (accuracy): El número de predicciones correctas hechas por el modelo divididas por el número total de predicciones.

• Exactitud: $\dfrac{7}{10} = 0.7$ ó 70% exacto

Medidas de rendimiento para modelos de clasificación

• Exactitud: $\dfrac{9}{10} = 0.9$ ó 90% exacto

Problemas con la exactitud (accuracy). Necesita un conjunto de datos balanceados.

Medidas de rendimiento para modelos de clasificación

Sensibilidad (recall): La capacidad que tiene el modelo para encontrar todos los casos relevantes dentro de un conjunto de datos.

• Sensibilidad $= \dfrac{\text{verdaderos positivos}}{\text{verdaderos positivos}+\text{falsos negativos}} = \dfrac{\text{verdaderos positivos}}{\text{lo que realmente es positivo}} = \dfrac{2}{3} = \text{67% sensibilidad}$

Medidas de rendimiento para modelos de clasificación

Precisión (precision): La capacidad que tiene el modelo para encontrar sólo los casos relevantes dentro de un conjunto de datos.

• Precisión $= \dfrac{\text{verdaderos positivos}}{\text{verdaderos positivos}+\text{falsos positivos}} = \dfrac{\text{verdaderos positivos}}{\text{lo que fue clasificado positivo}} = \dfrac{2}{4} = \text{50% precisión}$

Medidas de rendimiento para modelos de clasificación

Valor-F1: Sirve para encontrar un balance óptimo entre precisión y sensibilidad.

• $F_1 = 2 \cdot \dfrac{\text{precisión}\cdot\text{sensibilidad}}{\text{precisión}+\text{sensibilidad}} = 2 \cdot \dfrac{(2/3)\cdot(2/4)}{(2/3)+(2/4)} = \dfrac{4}{7} = 57\%$

En tu modelo puedes lograr dos resultados:

• Tu modelo predice correctamente
• Tu modelo predice incorrectamente

Esto quiere decir que al final tienes cuatro grupos:

• Clasificación correcta clase 1: Verdadero perro
• Clasificación correcta clase 2: Verdadero gato
• Clasificación incorrecta clase 2: Falso perro
• Clasificación incorrecta clase 1: Falso gato

Matriz de confusión

Herramienta que permite la visualización del desempeño de un modelo de clasificación

Matriz de confusión

• El objetivo principal de la matriz de confusión es obtener medidas para comparar los valores predecidos con los valores verdaderos

• Lo que constituye una "buena" medida depende de la situación

🤓 Recapitulando: Hoy aprendímos...

• Repaso de modelos en Machine Learning ✅
• Modelos de clasificación ✅
• Medidas de rendimiento para modelos de clasificación ✅

¿Y para los textos? 🙀

🚀 Próxima clase...

• Modelos de clasificación para NLP
  • Regresión logística
  • Bayesiano ingenuo (Naive Bayes)
  • Máquinas de vectores de soporte (SVM)

¡Tiempo de taller!

• Buena noticia, no hay taller
• Plan de Proyecto Final
• (P.S. ¡Cuenta de desarrollador en Twitter) https://developer.twitter.com/en/dashboard

Fecha de entrega: Abril 15, 2021. (Antes del inicio de la próxima clase)

Próxima clase: Clasificación de textos (Parte 2)