O que é
A coleta de dados digitais da Universitas organiza páginas web, redes sociais e repositórios abertos em bancos de dados estruturados. Escrevemos extratores em Python que combinam consumo de APIs oficiais e rotinas de raspagem de dados (web scraping) com ferramentas como Scrapy, Playwright, Selenium e BeautifulSoup.
Nossa atuação prioriza a integridade técnica e a conformidade ética: respeitamos diretrizes de rate limiting, termos de uso das plataformas, parâmetros do robots.txt e a Lei Geral de Proteção de Dados Pessoais (LGPD).
Para conhecer os fundamentos éticos e jurídicos da extração de dados na internet, leia nosso artigo sobre web scraping, boas práticas de transparência e conformidade com a LGPD.
Para quem
- Academia: Grupos de pesquisa e teses que investigam comunicação política, debates públicos em redes sociais, discursos digitais e dados abertos governamentais.
- Empresas: Monitoramento de mercado, inteligência competitiva, análise de preços e mapeamento de tendências de consumo.
- Setor Público: Monitoramento de indicadores, coleta de evidências em diários oficiais e fiscalização de transparência ativa em portais públicos.
- ONGs e Terceiro Setor: Monitoramento de causas e pautas públicas na internet, análise de desinformação e coleta de dados públicos para campanhas e relatórios temáticos.
Como fazemos
- Avaliação de viabilidade: Diagnóstico técnico e jurídico sobre as fontes, mecanismos de acesso e volume estimado.
- Desenvolvimento de extratores: Criação de scripts resilientes com tratamento de erros, paginação e logs de auditoria.
- Higienização e modelagem: Limpeza de duplicatas, normalização de caracteres e indexação em banco de dados relacional.
- Validação de conformidade: Emissão do relatório de integridade e entrega da base com dicionário de variáveis.