Estamos em busca de um desenvolvedor Backend altamente qualificado para construir um banco de dados robusto e desenvolver um sistema backend capaz de extrair, processar e armazenar dados de sites externos. O candidato ideal terá experiência em web scraping, gerenciamento de banco de dados, desenvolvimento de APIs e otimização de backend.

• Projetar e implementar um banco de dados escalável (PostgreSQL, MySQL, MongoDB) para armazenar grandes volumes de dados estruturados.
• Desenvolver scripts de web scraping utilizando Python (Scrapy, BeautifulSoup, Selenium) ou Node.js (Puppeteer, Cheerio) para extrair dados de sites externos.
• Garantir limpeza, validação e estruturação de dados antes de inseri-los no banco de dados.
• Construir uma API RESTful para fornecer dados de forma eficiente para o frontend.
• Otimizar consultas ao banco de dados para garantir tempos de resposta rápidos.
• Implementar cron jobs e scripts de automação para atualizações periódicas de dados.
• Proteger o armazenamento de dados e prevenir bloqueios de detecção de scraping (por exemplo, proxies rotativos, navegadores headless).
• Integrar APIs de terceiros se necessário para recuperar fontes de dados adicionais.

• Desenvolvimento Backend: Node.js (Express.js, Nest.js), Python (Django, FastAPI, Flask)
• Web Scraping: Scrapy, BeautifulSoup, Selenium, Puppeteer, Cheerio
• Gerenciamento de Banco de Dados: PostgreSQL, MySQL, MongoDB, Redis
• Desenvolvimento de API: APIs RESTful, GraphQL, FastAPI, Flask
• Manipulação de Dados: Pandas, NumPy, Processamento de JSON
• Segurança e Otimização de Desempenho
• Serviços em Nuvem: AWS, Google Cloud, Firebase
• Controle de Versão e Implantação: Git, Docker, Kubernetes
• Experiência em raspagem de dados em larga escala e técnicas de evasão de bots.
• Conhecimento em programação assíncrona para lidar com grandes requisições.
• Compreensão de otimização para mecanismos de busca (SEO) para conteúdo dinâmico.
• Capacidade de trabalhar com arquitetura de microsserviços para desenvolvimento modular.