11 Transformación de datos.pdf11 Transformación de datos.pdf

11 Transformación de datos.pdf11 Transformación de datos.pdf

1. IMT2200 Introducción a la
Ciencia de Datos
Rodrigo A. Carrasco
Instituto de Ingeniería Matemática y Computacional
Escuela de Ingeniería

2. Avisos Importantes
•I1
•Les recuerdo que la I1 es el 25de septiembre a las 17:30,avisaremosde la salaapenasnosloindiquen.
•Entrará todo el material revisado hasta la clase dehoy, sobre transformación de datos.
•También habrá un set de preguntas de Armas de Destrucción Matemática (capítulos 1 a 3).
•Actividad 05
•El martes 23 tendremos la Actividad 05 que nos ayudará como preparación para la I1.
•Traigansuscomputadorescargados para hacer la actividad.
•Charla
•El jueves 25 tendremos la charla de Sebastián Imperatore, director de Enseña Chile, sobre el uso de datos en educación.
•Lacharlaserápresencialy pasaremos asistencia los primeros 20 minutos, que será la nota de la Actividad 06. Lleguen a
tiempo.

3. Repaso
01

4. Temas vistos hasta ahora
•Comenzamos entendiendo la “ transformación” de datos.
•Aprendimos los efectos que pueden tener los errores en los datos sobre el
proceso de ciencia de datos.
•Como primer ejercicio revisamos algunos tipos de problemas típicos y cómo
trabajar cuando necesitamos eliminarlos.
•Ahora formalizaremos el proceso de transformación y agregaremos
herramientas a nuestra caja.

5. Limpieza de datos
Transformación
02

6. Limpieza de datos
Eselprocesodeidentificaraquellapartede
ladataincorrecta,incompleta,imprecisa,
irrelevanteofaltante,yluegomodificar,
reemplazaroeliminarsegúncorresponda.
Esunadelastareasesencialesparaelbuen
análisisymodelamientodelosdatos.

7. Los errores se extienden si no se arreglan
extracción exploración conocimiento reporte
Error
técnico o
humano

8. Limpieza de datos: ejemplo

9. Limpieza de datos: ejemplo

10. Limpieza de datos: ejemplo

11. Limpieza de datos: ejemplo

12. ¿Dónde tenemos que limpiar?
Recolectar datos Datasetcrudo
Limpiar y procesar
datos
Construir productos de
datos
Análisis exploratorio
Datasetlimpio
Modelamiento
estadístico
Algoritmos de ML
Visualización
Comunicación /
Reporte
Toma decisiones
Datos
Preguntas

13. Problemas comunes
Datos faltantes
Datos duplicados Transformación de valores
Nulos

14. Más problemas comunes
Datos innecesarios
Datos
inconsistentes

15. Eliminar y renombrar columnas
•El datasetcrudo puede contener columnas innecesarias, o con etiquetas
que hacen su manipulación poco eficiente.
•Funciones relevantes:
•df.columns(): permite chequear listado de columnas
•df.drop(): eliminar columnas
•df=df[[‘col1’,’col2’,..]]: selección de un listado de columnas del
dataframe
•df.rename(colums={‘old1’:’new1’,’old2’:’new2’…}) :renombrar
columnas

16. Está disponible en el GitHub del curso
Notebook de Ejemplos
03