ארבע שאלות שחוזרות בראיונות למשרת מפתח/ת Web Scraping ואוטומציה, ומה כדאי לענות עליהן.
מפזר בקשות בין proxies רוטציוניים, מוסיף השהיות משתנות ומדמה headers של דפדפן אמיתי.
מפעיל alert אוטומטי כשמספר התוצאות שנאספות יורד משמעותית, ולא מסתמך רק על שגיאת קוד.
Scrapy מהיר ויעיל לאתרים סטטיים, Playwright נדרש כשהתוכן נטען דינמית ב-JavaScript.
בודק את robots.txt ותנאי השימוש של האתר, ומתעד את מקורות הנתונים לשקיפות.