Implementación de data lake en la nube para análisis de movilidad en la Ciudad de México y la ZMG
Cargando...
Archivos
Fecha
2020-06
Autores
Ojeda-Orozco, Miguel A.
Título de la revista
ISSN de la revista
Título del volumen
Editor
ITESO
Resumen
Descripción
Se presenta una breve introducción al proyecto data lake en la nube para análisis de movilidad en la Ciudad de México y la Zona Metropolitana de Guadalajara. El cual tiene como objetivo principal generar una infraestructura que es creada con servicios de computación en la nube ofrecidos por Amazon Web Services con el fin de cargar, integrar, procesar y analizar datos de movilidad urbana registrados por los organismos que ofrecen dichos servicios, para de esta manera poder detectar y generar métricas y análisis que a su vez puedan dar soluciones y/o propuestas a los actuales problemas de movilidad que ambas ciudades presentan.
Es posible observar que la implementación del data lake trae consigo una gran mejora a los procesos comúnmente utilizados para llevar a cabo este tipo de análisis, pues se utilizan los datos de diferentes servicios de movilidad sin importar su estructura y tipo de almacenamiento, a fin de tener una integración total, generando un catálogo de metadatos el cual tiene como tarea principal el mapear los procesos de análisis con los datos almacenados físicamente en S3.
Finalmente, tras completar la fase de procesamiento de la información, se llevan a cabo diferentes tipos de análisis haciendo uso de tecnologías comunes, como lo son las consultas SQL, generación de dashboards y predicciones con ML, los cuales permiten confirmar y validar la importancia de tener una tecnología centralizada de análisis que sea capaz de producir resultados válidos sin tener que lidiar directamente con las diferencias estructurales inherentes de los datos utilizados.
Palabras clave
Big Data, Data Lake, Data Engineering, Ingeniería de Datos, AWS, Regresión Lineal, Amazon Web Services, Machine Learning
Citación
Ojeda-Orozco, M. A. (2020). Implementación de data lake en la nube para análisis de movilidad en la Ciudad de México y la ZMG. Trabajo de obtención de grado, Maestría en Sistemas Computacionales. Tlaquepaque, Jalisco: ITESO.