تصفح جميع التصنيفات
···
تسجيل الدخول / التسجيل
المسمى الوظيفي: مهندس بيانات (PySpark) ________________________________________ نبذة عن الدور نبحث عن مهندس بيانات ذي مهارات عالية وخبرة عميقة في PySpark ومنصة Cloudera للبيانات (CDP) للانضمام إلى فريق هندسة البيانات لدينا. وبصفتك مهندس بيانات، ستكون مسؤولًا عن تصميم وتطوير وصيانة خطوط أنابيب البيانات القابلة للتوسع لضمان جودة البيانات العالية وتوفرها عبر المؤسسة بأكملها. ويتطلب هذا الدور خلفية قوية في بيئات البيانات الضخمة وأدوات السحابة الأصلية وتقنيات معالجة البيانات المتقدمة. أما المرشح المثالي فيمتلك خبرة عملية في استيعاب البيانات وتحويلها وتحسينها على منصة Cloudera للبيانات، إضافةً إلى سجل حافل في تطبيق أفضل الممارسات في هندسة البيانات. وستعمل بشكل وثيق مع مهندسي البيانات الآخرين لبناء حلول تُسهم في استخلاص رؤى أعمال ذات تأثير كبير. المهام والمسؤوليات تطوير خطوط أنابيب البيانات: تصميم وتطوير وصيانة خطوط أنابيب ETL شديدة القابلية للتوسع والمُحسَّنة باستخدام PySpark على منصة Cloudera للبيانات، مع ضمان سلامة البيانات ودقّتها. استيعاب البيانات: تنفيذ وإدارة عمليات استيعاب البيانات من مصادر متنوعة (مثل قواعد البيانات العلائقية وواجهات برمجة التطبيقات وأنظمة الملفات) إلى بحيرة البيانات أو مستودع البيانات على منصة CDP. تحويل البيانات ومعالجتها: استخدام PySpark لمعالجة وتنظيف وتحويل مجموعات البيانات الكبيرة إلى صيغ ذات معنى تدعم الاحتياجات التحليلية والمتطلبات التجارية. تحسين الأداء: إجراء ضبط أداء كود PySpark ومكونات Cloudera، مع تحسين استخدام الموارد وتقليل وقت تشغيل عمليات ETL. جودة البيانات والتحقق منها: تنفيذ إجراءات فحص جودة البيانات والرصد والتحقق منها لضمان دقة البيانات وموثوقيتها طوال خط الأنابيب. الأتمتة والتنظيم: أتمتة سير عمل البيانات باستخدام أدوات مثل Apache Oozie أو Airflow أو أدوات تنظيم مماثلة ضمن نظام Cloudera البيئي. المراقبة والصيانة: مراقبة أداء خطوط الأنابيب وتشخيص المشكلات وإجراء عمليات الصيانة الروتينية على منصة Cloudera للبيانات والعمليات المرتبطة بالبيانات. التعاون: العمل بشكل وثيق مع مهندسي البيانات الآخرين وال محللين ومدراء المنتجات وأصحاب المصلحة الآخرين لفهم متطلبات البيانات ودعم المبادرات المختلفة المعتمدة على البيانات. التوثيق: الحفاظ على توثيق شامل لعمليات هندسة البيانات والكود وتكوينات خطوط الأنابيب. المؤهلات التعليم والخبرة درجة البكالوريوس أو الماجستير في علوم الحاسوب أو هندسة البيانات أو نظم المعلومات أو تخصص ذي صلة. خبرة لا تقل عن 3 سنوات في مجال هندسة البيانات، مع تركيز قوي على PySpark ومنصة Cloudera للبيانات. المهارات التقنية PySpark: إتقان متقدم لـ PySpark، بما في ذلك العمل مع RDDs وDataFrames وتقنيات التحسين. منصة Cloudera للبيانات: خبرة قوية بمكونات منصة Cloudera للبيانات (CDP)، بما في ذلك Cloudera Manager وHive وImpala وHDFS وHBase. مستودعات البيانات: المعرفة بمفاهيم مستودعات البيانات وأفضل الممارسات في عمليات ETL والخبرة في الأدوات القائمة على SQL (مثل Hive وImpala). تقنيات البيانات الضخمة: الإلمام بـ Hadoop وKafka وأدوات الحوسبة الموزعة الأخرى. التنظيم والتخطيط: الخبرة في أدوات التنظيم مثل Apache Oozie وAirflow أو أطر عمل تنظيم مماثلة. البرمجة النصية والأتمتة: مهارات برمجة نصية قوية في نظام Linux. المهارات الشخصية مهارات تحليلية وحل مشكلات قوية. قدرات ممتازة في التواصل الشفهي والمكتوب. القدرة على العمل بشكل مستقل وفي الوقت نفسه ضمن بيئة فريق تعاونية. الانتباه للتفاصيل والالتزام بجودة البيانات.
