Análisis de calidad de datasets

Dirección General de Calidad Institucional y Gobierno Abierto, Gobierno de la Ciudad de Buenos Aires

Análisis de calidad de datasets es una herramienta utilizada para validar la estructura de los datos en los conjuntos de datos agregados al portal de datos abiertos de Buenos Aires. Esta herramienta asegura la consistencia y precisión de la información, facilitando la transferencia de datos entre agencias y apoyando la educación y transferencia de habilidades necesarias para la sostenibilidad de los portales de datos abiertos. Proporciona un mecanismo crucial para mantener la calidad y confiabilidad de los datos.

Análisis de calidad de datasets enfrenta el desafío de mantener la calidad y consistencia de los datos en portales abiertos, asegurando que la información sea precisa y confiable para su uso por agencias gubernamentales y el público.

Recopilación de datos automatizado: Recopilación de datos basada en la web: la herramienta puede recopilar automáticamente datos de varias fuentes en línea, reduciendo la necesidad de descargas manuales. Integración de datos FTP: se integra sin problemas con los servidores FTP para obtener conjuntos de datos esenciales, simplificando la adquisición de datos de sistemas o socios heredados. Garantía de calidad de datos: Limpieza de datos personalizable: asegura que los datos cumplan con los estándares de calidad aplicando reglas de limpieza específicas adaptadas a cada conjunto de datos, manteniendo así la integridad de los datos. Manejo dinámico de datos: se adapta a diferentes estructuras de datos, lo que lo hace versátil para manejar diversos conjuntos de datos sin ajustes de código constante. Exploración de datos perspicaz: Insights de datos geográficos: analiza y visualiza datos geográficos, proporcionando ideas espaciales cruciales para sectores como la planificación urbana, la logística o el monitoreo ambiental. Análisis de datos interactivos: a través de los cuadernos de Jupyter, las partes interesadas pueden explorar interactivamente los datos, ayudando en las pruebas de hipótesis y la toma de decisiones. Operaciones configurables: Gestión del conjunto de datos: utiliza una lista centralizada para administrar y priorizar qué conjuntos de datos maneja la herramienta, asegurando que solo se procesen los datos relevantes. Operaciones impulsadas por el usuario: permite a los usuarios especificar tareas, como la descarga o la limpieza, utilizando argumentos simples de línea de comandos, ofreciendo flexibilidad en las operaciones. Transparencia y monitoreo: Registro de actividades: realiza un seguimiento de todas las operaciones, asegurando la transparencia en el procesamiento de datos y ayudando en la resolución de problemas o auditorías. Escalabilidad e integración: Diseño modular: la arquitectura modular de la herramienta garantiza que pueda ampliarse o integrarse con otros sistemas.

Construido con Python 3.6.3, aprovecha bibliotecas como Scrapy para web scraping y pandas para análisis de datos. Maneja datos en formatos CSV, JSON y geoespaciales, asegurando interoperabilidad. Utiliza bibliotecas geoespaciales como Fiona y geopandas para datos geográficos. Configura y ajusta mediante manifest.json, guiando la descarga y limpieza de datos. Adopta un enfoque modular para la limpieza, con reglas definidas en JSON. Facilita la recuperación de datos desde servidores FTP, integrando estructuras de bases de datos dinámica