Deskripsi Pekerjaan
DataKarya Solusi, perusahaan teknologi data terdepan, membuka lowongan untuk Operator Scraper Senior yang berpengalaman. Bergabunglah dengan tim kami untuk mengembangkan sistem ekstraksi data yang canggini dan mendukung keputusan bisnis klien di seluruh Asia Tenggara. Kami menawarkan lingkungan kerja dinamis dengan akses terbaik pada alat scraping terkini dan pelatihan profesional berkala.
Tanggung Jawab Utama: Mengelola dan mengoptimalkan operasi scraper untuk proyek ekstraksi data skala besar, memastikan akurasi dan efisiensi maksimal.
Tanggung Jawab
- Mengembangkan dan memelihara sistem web scraping menggunakan Python dan Scrapy
- Mengelola proxy dan rotasi IP untuk menghindari deteksi dan blokir
- Menganalisis struktur HTML/XML/API untuk menyesuaikan strategi ekstraksi
- Mengoptimalkan performa scraper melalui caching dan parallel processing
- Dokumentasikan proses dan standar operasional tim
- Bekerja sama dengan tim data untuk memvalidasi kualitas hasil ekstraksi
- Investigasi dan selesaikan masalah teknis terkait scraping (CAPTCHA, rate limiting)
Kualifikasi
- Pengalaman minimal 2 tahun sebagai Web Scraper atau Data Extraction SpecialistKeahlian kuat dalam Python (Scrapy, BeautifulSoup, Selenium)
- Pemahaman mendalam tentang HTTP, browser automation, dan anti-scraping
- Kemampuan debugging kode kompleks dan memperbaiki error runtime
- Pengalaman dengan proxy management dan cloud infrastructure (AWS/GCP)
- Kemampuan komunikasi lisan dan tulisan yang baik dalam bahasa Indonesia
- Portfolio proyek scraping yang dapat ditunjukkan