Líder de Aquisição de Dados | Brokers

O Líder de Aquisição de Dados além de ser responsável por adquirir dados diversos de fontes online por meio de webscraping, garantindo a qualidade e a precisão das informações coletadas, também é responsável por liderar a equipe de Aquisição de dados, sendo o ponto focal de recebimento e distribuição de demandas para a equipe. Esta posição desempenha um papel fundamental na construção e manutenção dos conjuntos de dados utilizados nos produtos da empresa e no suporte para garantir a execução das entregas das equipes de aquisição.

• Manter-se atualizado sobre as melhores práticas e tecnologias relacionadas à aquisição de dados e webscraping.

• Gerar analises de dados baseados em capturas ou em dados disponibilizados nos bancos de dados.

• Realizar o tratamento dos dados capturados e a disponibilização para consumo em bases de desenvolvimento e produção.

• Auxiliar na manutenção e melhoria continua dos fluxos de normalização e disponibilização de dados.

• Realizar analises de desempenho a respeito dos dados que estão sendo capturados e/ou disponibilizados.

• Desenvolver scripts em Python para realizar webscraping de sites específicos, conforme solicitado pelas áreas comerciais ou de negócio.

• Analisar a fila de produção para identificar o próximo site a ser mapeado, criar o script correspondente, testá-lo em ambiente de desenvolvimento e validar os dados coletados.

• Colaborar com outras áreas da empresa para entender as necessidades de dados e garantir que os conjuntos de dados adquiridos atendam aos requisitos estabelecidos.

• Validar os dados adquiridos para garantir a qualidade e a consistência das informações, corrigindo eventuais erros ou inconsistências identificadas.

• Conectar em servidores AWS para realização das capturas.

• Atuar na melhoria contínua dos processos de aquisição de dados, buscando aumentar a eficiência e a qualidade dos dados coletados.

• Receber e distruibuir demandas de aquisição entre a equipe.

• Criar relatórios sobre o andamento das demandas executadas pela equipe de aquisição.

• Auxiliar no desenvolvimento da equipe de aquisição.

• Realizar os treinamentos dos integrantes da equipe de aquisição.

Requisitos:

• Boa experiência no desenvolvimento de scripts em Python para web scraping.

• Experiência com ferramentas de web scraping, incluindo Scrapy, Selenium, Playwright e Splash.

• Experiência com integração de dados e automação de captura em ambientes cloud.

• Experiência com análise de logs para depuração e monitoramento de processos.

• Experiência com fluxo de dados e transformações, garantindo a qualidade e integridade das informações capturadas.

Local de trabalho