Skip to main content

Data cleaner

Data cleaner
Obtenha o código

Idioma

Python

Tipo de ferramenta

Algoritmo

Licença

The MIT License

Version

0.2.1

Sobre a ferramenta Responsável

Chefe do Gabinete de Ministros

Data cleaner
O que é?

Data Cleaner é uma ferramenta desenvolvida pelo governo argentino para otimizar a gestão e federação de metadados de catálogos de dados públicos. Facilita aos usuários a limpeza de arquivos CSV por meio de um conjunto de regras predefinidas, promovendo a transparência e acessibilidade das informações governamentais. O limpador de dados faz parte de uma iniciativa mais ampla de dados abertos que busca melhorar a precisão, a organização e a utilidade dos dados disponíveis publicamente.

Quais problemas surgem?

O limpador de dados resolve o problema de desorganização e erros nos metadados de registros públicos, facilitando uma gestão mais eficiente e transparente dos dados abertos. Esta melhoria é vital para a integridade e acessibilidade das informações governamentais, promovendo a transparência pública.

Como funciona a ferramenta?

Limpeza de dados automatizada com base em regras predefinidas. Métodos para tarefas individuais de limpeza de dados, como normalização da string e formatação de email. Regras personalizáveis ​​para limpeza de dados, incluindo renomeação e remoção de colunas e duplicatas de manuseio. Suporte para vários formatos de dados, incluindo arquivos CSV e SHP. Integração com pandas para manipulação de dados de dados.

Padrões abertos

Desenvolvido em Python 3.6, aproveita pandas e geopandas para manipulação eficiente de dados. Adere aos padrões de codificação UTF-8, garantindo uma gestão de dados precisa. Suporta formatos de arquivo CSV, GeoJson e KML, promovendo a interoperabilidade. Emprega arrow para análise e formatação de datas, otimizando o processamento temporal.

Setor
Reforma o Modernizacao do Estado
Funcionalidades
Gestão de bases de dados
Objetivos de desenvolvimento sustentável
Parcerias para a implementação dos objetivos
hands
Obtenha o código deste projeto
Obtenha o código

Consulte o equipamento de Código para o Desenvolvimento e descubra como nossas herramientas de código abertas, cuidadosamente curadas, podem se apoiar em sua instituição na América Latina e no Caribe. Escritores para explorar soluções, resolver dúvidas de implementação, compartilhar resultados de reutilização ou apresentar uma nova ferramenta. Escreva para [email protected]

Contate-nos
Processo de transformação de dados Processo de transformação de dados

Gráfico de dispersão com pontos vermelhos "Dados Brutos" e linha verde para "Dados Limpos". Eixos: "Atributo de Dados 1" (0 a 10) e "Atributo de Dados 2" (0 a 10). Título: "Limpeza de Dados: Do Caos à Ordem".

Sumário Visual da Biblioteca Data Cleaner Sumário Visual da Biblioteca Data Cleaner

Imagem de texto sobre a "Biblioteca de Limpeza de Dados": otimiza tarefas de processamento de dados, segue padrões da Argentina, automatiza limpeza, em desenvolvimento, lida com strings, emails, datas, busca precisão e padrão.

Regras de Limpeza de Dados e Descrição de Texto Regras de Limpeza de Dados e Descrição de Texto

Esta imagem contém um texto em língua espanhola e um código Python relacionado à limpeza de dados, especificando regras para capitalização e formatação de data em um arquivo CSV.

Documentação oficial do limpador de dados

Página de documentação básica

Veja mais
Abrir página da ferramenta de pacote de dados

Informações sobre ferramentas relacionadas a dados abertos

Veja mais
Pavimentados
Otimizando a manutenção e sinalização rodoviária com visão computacional.

Transporte
Geolocalização
Processamento de imagens
UrbanPy
Simplificar a recolha e análise de dados urbanos para um planeamento eficaz.

Desenvolvimento Urbano e Habitacao
Geolocalização
Gestão de bases de dados
SunScan BID
Facilitar a avaliação do potencial solar nos telhados com tecnologia avançada e acessível.

Energia
Geolocalização
Processamento de imagens
URSA
Facilitando o planejamento urbano com dados acessíveis.

Desenvolvimento Urbano e Habitacao
Simuladores
Geolocalização
MAIIA
Identificando assentamentos informais com inteligência artificial.

Desenvolvimento Urbano e Habitacao
Processamento de imagens
Urbantrips
Transformando dados de transporte em análises complexas para melhorar a gestão.

Transporte
Geolocalização
ver todas as ferramentas
hands
Aprofunde seu conhecimento sobre a implementação de ferramentas no setor público com nossos cursos, guias e muitos outros recursos.
Fazer parte da comunidade
Jump back to top