Kami mencari seorang Backend Developer yang sangat terampil untuk membangun database yang kuat dan mengembangkan sistem backend yang mampu mengekstrak, memproses, dan menyimpan data dari situs web eksternal. Kandidat yang ideal akan memiliki pengalaman dalam web scraping, manajemen database, pengembangan API, dan optimisasi backend.

• Merancang dan mengimplementasikan database yang skalabel (PostgreSQL, MySQL, MongoDB) untuk menyimpan sejumlah besar data terstruktur.
• Mengembangkan skrip web scraping menggunakan Python (Scrapy, BeautifulSoup, Selenium) atau Node.js (Puppeteer, Cheerio) untuk mengekstrak data dari situs web eksternal.
• Memastikan pembersihan, validasi, dan pengaturan data sebelum dimasukkan ke dalam database.
• Membangun RESTful API untuk menyajikan data secara efisien ke frontend.
• Optimalkan kueri database untuk memastikan waktu respons yang cepat.
• Implementasikan cron jobs dan skrip otomatisasi untuk pembaruan data berkala.
• Amankan penyimpanan data dan mencegah blok deteksi scraping (misalnya, proxy yang berputar, browser tanpa kepala).
• Integrasikan API pihak ketiga jika diperlukan untuk mengambil sumber data tambahan.

• Pengembangan Backend: Node.js (Express.js, Nest.js), Python (Django, FastAPI, Flask)
• Web Scraping: Scrapy, BeautifulSoup, Selenium, Puppeteer, Cheerio
• Manajemen Basis Data: PostgreSQL, MySQL, MongoDB, Redis
• Pengembangan API: RESTful APIs, GraphQL, FastAPI, Flask
• Penanganan Data: Pandas, NumPy, Pemrosesan JSON
• Keamanan & Optimasi Kinerja
• Layanan Cloud: AWS, Google Cloud, Firebase
• Kontrol Versi & Peng部署an: Git, Docker, Kubernetes
• Pengalaman dalam web scraping skala besar dan teknik penghindaran bot.
• Pengetahuan tentang pemrograman asinkron untuk menangani permintaan besar.
• Pemahaman tentang optimasi mesin pencari (SEO) untuk konten dinamis.
• Kemampuan untuk bekerja dengan arsitektur microservices untuk pengembangan modular.