בונה צינורות ETL שמעבירים נתונים ממקורות שונים למחסן נתונים, ומתחזק Airflow DAGs שרצים כל לילה. בחברת אנליטיקס ישראלית עובד מול data scientists ואנליסטים שצריכים נתונים נקיים ובזמן.
פסקת פתיחה לדוגמה
מהנדס/ת נתונים עם ניסיון בבניית צינורות ETL בקנה מידה גדול
שורות הישג עם מספרים
בניית pipeline שמעבד 2TB נתונים ביום עם זמן ריצה של פחות משעה
הקטנת עלויות אחסון ועיבוד בענן ב-30% דרך פרטישן ודחיסה נכונה
צמצום זמן טעינת דוח יומי מ-6 שעות ל-45 דקות
בניית מערכת data quality שזיהתה 15 בעיות נתונים לפני שהגיעו לדשבורדים
כישורים שכדאי לציין
בניית pipelines עם Airflow
SQL מתקדם
עבודה עם Spark
עיצוב מחסני נתונים (Snowflake/BigQuery)
ניהול data quality
Python לעיבוד נתונים
streaming עם Kafka
אופטימיזציית עלויות עיבוד
מערכות וכלים
Airflow
Spark
Snowflake/BigQuery
Kafka
dbt
טעויות נפוצות בקורות חיים למהנדס/ת נתונים (Data Engineer)
כתיבת 'עבודה עם Big Data' בלי לציין נפח נתונים בפועל
לא מבדילים בין תפקיד data engineer לתפקיד data analyst בתיאור
השמטת אזכור כלי אורקסטרציה כמו Airflow שבו נעשה שימוש