בונה בוטים שאוספים נתונים מאתרים חיצוניים, מתמודד עם חסימות ו-CAPTCHA ומתחזק סקריפטים שנשברים כל פעם שהאתר המקור משנה מבנה. נפוץ בחברות מודיעין עסקי ומחירים ישראליות.
פסקת פתיחה לדוגמה
מפתח/ת Web Scraping עם ניסיון באיסוף נתונים בקנה מידה גדול
שורות הישג עם מספרים
בניית מערכת שאוספת נתונים מ-500 אתרים שונים מדי יום ללא התערבות ידנית
הקטנת אחוז כשלי scraping מ-18% ל-3% דרך שיפור ניהול proxies
פיתוח מנגנון זיהוי אוטומטי לשינוי מבנה HTML שחסך שעות תיקון שבועיות
עיבוד והצלבה של 5 מיליון רשומות מחיר ביום
כישורים שכדאי לציין
Python עם Scrapy/BeautifulSoup
אוטומציית דפדפן (Playwright/Selenium)
עקיפת מנגנוני anti-bot
ניהול proxies ו-rotating IPs
עיבוד וניקוי נתונים
תזמון משימות (cron/Airflow)
טיפול ב-rate limiting
ניטור שינויים במבנה אתר
מערכות וכלים
Scrapy
Playwright
Proxy pools
Airflow
PostgreSQL
טעויות נפוצות בקורות חיים למפתח/ת Web Scraping ואוטומציה
לא מציינים היקף (כמות אתרים, רשומות ביום) שבו טופל בפועל
השמטת אזכור התמודדות עם חסימות או CAPTCHA כאתגר מרכזי בתפקיד
כתיבת 'ניסיון ב-Python' כללי בלי לציין ספריות scraping ספציפיות