Extração de Dados Automatizada

Extração diretamente nas consultas do Portal

O Portal da Transparência disponibiliza mecanismos de extração de dados diretamente nas relações, listagens e consultas públicas apresentadas em seus diferentes módulos. Dessa forma, o cidadão, os órgãos de controle, pesquisadores, desenvolvedores, empresas e demais interessados podem obter os registros exibidos pelo sistema sem a necessidade de transcrição manual das informações.

As opções de exportação estão integradas às próprias consultas do portal. Após a aplicação dos filtros desejados, os registros resultantes podem ser extraídos em formatos adequados tanto para leitura humana quanto para processamento computacional, permitindo que o conteúdo disponibilizado seja analisado, armazenado, indexado, transformado ou integrado a sistemas externos.

O processo de exportação considera os critérios de pesquisa informados pelo usuário. Assim, parâmetros como exercício, período, órgão, unidade administrativa, credor, fornecedor, número do documento, classificação orçamentária, situação do registro e demais campos disponíveis em cada módulo podem ser utilizados para delimitar o conjunto de dados a ser extraído.

Formatos disponibilizados

Os dados podem ser disponibilizados em formatos abertos, estruturados e amplamente utilizados por ferramentas de análise, sistemas de informação, planilhas eletrônicas, bancos de dados e aplicações de integração.

Entre os formatos de exportação disponibilizados pelo portal estão:

CSV — Comma-Separated Values: formato textual tabular destinado à interoperabilidade entre planilhas, bancos de dados, ferramentas de Business Intelligence, linguagens de programação e plataformas de análise de dados. Os registros são organizados em linhas e colunas, permitindo leitura e processamento automatizado.

XML — Extensible Markup Language: formato estruturado e hierárquico, apropriado para integração entre sistemas, intercâmbio de informações, validação de estruturas documentais e processamento por aplicações externas. Os elementos são identificados por marcações semânticas, preservando a organização lógica dos dados exportados.

XLS — Planilha eletrônica: formato destinado à abertura e manipulação em programas de planilha, possibilitando ordenação, filtragem, agrupamento, aplicação de fórmulas, geração de gráficos e realização de análises complementares sobre os dados extraídos.

PDF — Portable Document Format: formato voltado à apresentação, visualização, compartilhamento e arquivamento dos registros em uma estrutura documental padronizada. É especialmente adequado para consultas formais, conferência de informações, impressão e preservação da disposição visual do conteúdo.

Dados abertos e interoperabilidade

A disponibilização das informações em formatos estruturados favorece a interoperabilidade entre diferentes sistemas e reduz a dependência de tecnologias ou aplicações proprietárias. Os arquivos exportados podem ser tratados por ferramentas convencionais de mercado, bibliotecas de desenvolvimento, sistemas estatísticos, mecanismos de indexação e soluções de ciência de dados.

Os formatos CSV e XML são especialmente adequados para processos automatizados de extração, transformação e carregamento de dados, frequentemente denominados processos ETL — Extract, Transform and Load. Esses arquivos podem ser utilizados para alimentar bancos de dados locais, data warehouses, painéis gerenciais, mecanismos de auditoria, rotinas de conferência e aplicações externas de controle social.

A estruturação dos registros permite a identificação individual dos campos disponibilizados, incluindo códigos, descrições, datas, valores, classificações, documentos, unidades administrativas e demais atributos associados a cada conjunto de dados. Quando aplicável, os relacionamentos entre entidades também são representados na exportação, preservando informações essenciais para interpretação do conteúdo.

Processamento automatizado

Os arquivos exportados podem ser processados automaticamente por aplicações desenvolvidas em diferentes linguagens e plataformas tecnológicas. É possível, por exemplo, utilizar ferramentas baseadas em Java, Python, JavaScript, PHP, R, Delphi, ferramentas de linha de comando, bancos de dados relacionais e plataformas de análise estatística.

A extração automatizada possibilita a criação de rotinas para consolidação de informações, comparação entre exercícios financeiros, acompanhamento da execução orçamentária, identificação de fornecedores, análise de pagamentos, fiscalização de contratos, monitoramento de despesas e produção de indicadores de transparência.

Também é possível utilizar os arquivos como fonte de dados para painéis externos, sistemas de auditoria, mecanismos de busca, projetos acadêmicos, estudos estatísticos e soluções de controle social, desde que sejam observadas a finalidade pública das informações e as regras aplicáveis à proteção de dados pessoais.

Integridade e correspondência dos registros

Os dados exportados correspondem aos registros recuperados pela consulta realizada no momento da geração do arquivo. Os critérios informados nos filtros são aplicados à fonte de dados antes da exportação, garantindo correspondência entre a relação apresentada na consulta e o conjunto de registros disponibilizado para extração.

Dependendo do formato selecionado, determinados campos podem ser apresentados com formatação destinada à leitura humana, como datas, valores monetários, descrições de classificações e identificação completa de entidades relacionadas. Nos formatos estruturados, também podem ser mantidos códigos e valores originais, favorecendo o tratamento automatizado e a correta identificação dos registros.

A data e o horário de geração podem integrar o nome do arquivo exportado, permitindo a identificação temporal da extração e auxiliando no controle de versões, arquivamento e rastreabilidade dos dados obtidos.

Segurança e disponibilidade do serviço

Para preservar a estabilidade, a disponibilidade e o desempenho do Portal da Transparência, as operações de exportação podem estar sujeitas a mecanismos de controle de frequência, limitação de chamadas consecutivas, validação de parâmetros e restrições técnicas de volume.

Esses mecanismos têm a finalidade de impedir requisições excessivas, reduzir o risco de sobrecarga dos serviços e assegurar que os recursos de consulta e extração permaneçam disponíveis de forma equilibrada para todos os usuários.

Em consultas com grande volume de registros, recomenda-se utilizar os filtros disponibilizados pelo portal para segmentar a extração por exercício, período, órgão, categoria ou outro critério pertinente. A segmentação reduz o tamanho dos arquivos, melhora o desempenho do processamento e facilita a validação dos dados extraídos.

Reutilização das informações públicas

Os mecanismos de extração ampliam as possibilidades de acesso e reutilização das informações públicas, permitindo que os dados publicados sejam utilizados em atividades de fiscalização, pesquisa, desenvolvimento de aplicações, produção de conhecimento, avaliação de políticas públicas e exercício do controle social.

A reutilização deve preservar o contexto, a integridade e a origem das informações. Quando os dados forem transformados, consolidados ou combinados com outras fontes, recomenda-se identificar o Portal da Transparência como fonte original e registrar a data em que a extração foi realizada.

As informações disponibilizadas refletem os registros existentes nas bases integradas ao portal no momento da consulta e podem ser atualizadas posteriormente em decorrência de novos lançamentos, correções, integrações contábeis, atualizações administrativas ou processos de consolidação de dados.