Pinned Tweet
الفترة الاخيرة جاتني أسئلة كثير:
كيف نبدا في هندسة البيانات؟👾
🔥 إذا أنت من اللي يتساءلون كيف تدخل عالم هندسة البيانات وتبدأ تبني مستقبل مهني او تتعلم تعلم شخصي، فأنت بالمكان الصح تعال معي نستكشف سوا أسرار الطريق ونمشّي خطوة بخطوة وتبدأ من الصفر الين توصل للإحتراف بأذن الله.
1️⃣/ وش هي هندسة البيانات؟
هندسة البيانات هي تصميم وبناء وصيانة الأنظمة والبنى التحتية التي تجمع وتخزن وتنظف وتحول البيانات الخام إلى معلومات قيّمة لدعم اتخاذ القرارات الذكية.
2️⃣/ المرحلة الأولى: الأساسيات
•البرمجة: تعلم لغة برمجة مثل Python ضروري، ومعها مكتبات قوية مثل Pandas وNumPy. بعدها تعلم لغات ثانية زي java و c++ عشان تحسن مستواك البرمجي.
•المفاهيم العامة: لا تنسون تتعلمون أساسيات مثل الخوارزميات وهياكل البيانات، لأنها العمود الفقري لكل التقنيات💡.
3️⃣/ قواعد البيانات وأنواعها
•Relational Databases: تعلم SQL عشان تقدرون تتعاملون مع Relational Databases مثل MySQL أو PostgreSQL.
•NoSQL Databases: تعلم على NoSQL Databases مثل MongoDB أو Cassandra لمعالجة بيانات ضخمة ومتنوعة.
4️⃣/ مرحلة الـETL (Extract, Transform, Load)
تعلموا كيف تسحبون البيانات من مصادر مختلفة وتنظفونها وتحولونها عشان تصير جاهزة للتحليل.
•جربوا أدوات مثل Apache Airflow وApache NiFi، ولا تنسون Luigi كبديل ممتاز لتنظيم عمليات ETL بشكل سلس.
5️⃣/ عالم البيانات الضخمة (Big Data)
إذا عندكم شغف بالتعامل مع بيانات كبيرة:
•تعلموا منصات مثل Apache Hadoop وApache Spark.
•ولا تنسون Databricks، اللي يجمع بين قوة Spark وإدارة Data Lake بواجهة سهلة الاستخدام 🔥.
6️⃣/ مشاريع عملية
ما فيه أحلى من التطبيق العملي:
•ابداوا بمشاريع بسيطة مثل جمع بيانات الطقس، الأسهم، أو تقييمات المنتجات من الإنترنت، ونظفوها وحللوا النتائج.
•مع الوقت، تحدوا نفسكم بمشاريع أكبر مثل تحليل سلوك المستخدمين أو توقعات السوق.
7️⃣/ تعلم خدمات السحابة (Cloud)
الأنظمة اليوم تعتمد بشكل كبير على خدمات السحابة:
•استكشفوا منصات مثل AWS، Google Cloud أو Azure.
•تعلموا خدمات تخزين البيانات مثل AWS Redshift، Google BigQuery، وحتى Snowflake كخيار متطور لمعالجة البيانات ☁️.
8️⃣/ أدوات تصوير البيانات (Data Visualization)
عرض المعلومات بشكل مبسط وواضح مهم جدًا:
•استخدموا أدوات مثل Tableau، Power BI، ومع مكتبات Python مثل Matplotlib وSeaborn لتحليل البيانات بشكل بصري.
9️⃣/ خليكم جزء من مجتمع المهندسين
لا تبخلوا بمشاركة معرفتكم واستفيدوا من تجارب غيركم:
•تابعوا مجتمعات على GitHub، Stack Overflow، Reddit، وتويتر زي مجتمعي مثلا🫣
•شاركوا في المجتمع واسألوا، لأن التواصل يفتح لكم آفاق جديدة.
1️⃣0️⃣/ التعليم المستمر
مجال هندسة البيانات يتطور بسرعة:
•سجلوا بدورات على منصات مثل Coursera، Udemy أو edX.
•اقرأوا مقالات وكتب وشوفوا فيديوهات تعليمية عشان تواكبوا أحدث التقنيات والأدوات.
1️⃣1️⃣/ أدوات بتحتاجها كثير ومعروفة:
أ. أدوات التطوير والبيئة العملية:
•Visual Studio Code: محرر كود خفيف وقوي مع إضافات تدعم كل لغات البرمجة.
•Jupyter Notebook وGoogle Colab: لتجربة الأفكار وتحليل البيانات بشكل سريع وتجريبي.
•Git وGitHub/GitLab: لتنظيم الكود ومتابعة التغييرات بشكل احترافي.
•DataGrip: أداة مميزة لإدارة قواعد البيانات بكل أنواعها.
ب. أدوات الحاويات والتوزيع:
•Docker: لتعبئة تطبيقاتكم ونقلها بين البيئات بدون عناء.
•Docker Compose: لتنسيق تشغيل عدة حاويات مع بعض بسهولة.
•Kubernetes: لإدارة وتنسيق الحاويات في بيئة الإنتاج بشكل متقدم.
ج. أدوات الأتمتة والتنسيق:
•Apache Airflow وLuigi: لتنظيم وجدولة عمليات ETL بشكل آلي ومريح.
•Jenkins، GitHub Actions، أو حتى CircleCI: لتفعيل التكامل المستمر (CI) والنشر التلقائي (CD).
د. أدوات المراقبة وتحليل الأداء:
•Prometheus وGrafana: لمراقبة أداء الأنظمة وتنبيهكم عند حدوث أي خلل.
•ELK Stack (Elasticsearch, Logstash, Kibana): لتحليل سجلات النظام واكتشاف المشاكل بسرعة.
•ولو تبون حل شامل، جربوا Datadog للمراقبة وتحليل الأداء.
هـ. أدوات إدارة البنية التحتية:
•Terraform: لأتمتة إنشاء وإدارة البنية التحتية ككود.
•Ansible: لتنسيق النشر وإدارة الإعدادات عبر بيئات متعددة.
•ولا تنسون Chef أو Puppet إذا تبون حلول أتمتة متقدمة.
——-
أتمنى يكون هالثريد أجابة كافية ووافية على سؤالكم
،وبالتوفيق لكم في رحلة التعلم واي شي عندنا مجتمع (هندسة البيانات T3X) نتشارك ونتعلم من بعض 🙏
قاعد أشوف Databricks تتكرر كثير في إعلانات وظايف مهندسين البيانات الفترة ذي
وأنا أتصفح لاحظت إن المتطلبات تختلف بعضهم يركز على PySpark وDelta Lake وبناء الـ Pipelines وبعضهم يطلب Unity Catalog وLakeflow والربط مع الكلاود وخبرة في الـ AI
والصدق يفرحني أشوف التقنيات اللي أشتغل عليها مطلوبة بالسوق تحس إن تعبك في التعلم والتجربة له نتيجة ومع ذلك كل شوي يطلع لك شي جديد تتعلمه
وبنفس الوقت قاعد أتابع تطور Databricks خصوصا Genie والكلام عن الـ AI Agents والبحث في معلومات الشركة وفهم سياق البزنس
لما أرجع لطبيعة شغلنا أغلبه كان حول الـ Notebooks وSpark Jobs وDelta Lake وكيف نخلي الـ Pipelines تشتغل بكفاءة وكل هذا باقي أساسي بس الحين المنصة قاعدة تتوسع ويصير فيه استخدام أكبر للـ AI مع بيانات الشركات
وبحكم خبرتي في Databricks عندي فضول أشوف كيف بتشتغل هالأشياء على أرض الواقع لأن اللي نشوفه بالعروض شي والتعامل مع بيانات مو مرتبة وقواعد بزنس معقدة وأنظمة قديمة شي ثاني
وبرضه أفكر متى بنشوف هالمهارات تتكرر في متطلبات وظايف مهندس البيانات وقد إيش بتصير جزء من شغلنا اليومي
اللي يشتغلون على Databricks أو دخلوا مقابلات عليها قريب هل الشركات بدأت تتكلم عن هالقدرات والـ AI؟ ولا التركيز للحين على Spark وDelta Lake وشغل هندسة البيانات المعتاد؟
21
582
тЗх | هندسة البيانات retweeted
“The AI models are getting smarter and smarter... But inside the enterprise, we’re not seeing the same level of progress.” — Databricks Co-founder and CEO @alighodsi
The missing piece is business context.
Enterprise knowledge is siloed across systems, and not everyone should have access to all of it. Searching everything on demand is slow, costly, and incomplete.
At DATA + AI LIVE, Ali explains how Genie Ontology automatically builds a permission-aware metadata graph across enterprise data and connected systems, so AI agents know where to look and deliver better answers, faster, for fewer tokens.
Watch on-demand: youtube.com/live/BsVfRCNI8IY
جلسة الخميس مع البودكاست ذا عن الذكاء الاصطناعي في داتابركس ووين وصلنا فيه وهل الشركات عرفت تستفيد منه ولا للحين تحاول تلحق عليه
- بدايات Databricks ورهانها على الكلاود والـ AI
- هل وصلنا للـ AGI وليش الشركات متأخرة؟
- تطبيق عملي لاستخدام Agentic AI في Databricks
-ليش Databricks ما استعجلت على طرح أسهمها؟
- الذكاء اللي يطور نفسه ومخاطره وهل المخاوف منه مبالغ فيها؟
youtu.be/1bR0gtecoHU?si=xn1P…
وش هو Genie في Databricks؟
Genie هو شات ذكاء اصطناعي داخل Databricks تسأل فيه عن بياناتك بطريقتك، وهو يكتب استعلام SQL ويشغله ويعرض لك النتيجة. يفيد فرق زي التسويق والمبيعات إذا احتاجوا يجاوبون على أسئلة من بياناتهم بدون ما يكتبون SQL بأنفسهم. تقدر تستخدمه من Genie One داخل الـWorkspace، أو تفتح Genie Agent مخصص لفريقك.
خلنا نقول إنك في فريق التسويق وسألت أي حملة جابت أكبر عدد من العملاء الجدد الشهر اللي فات؟
Genie يحول سؤالك لاستعلام ويطلع لك النتيجة.
Genie Ontology يعطيه سياق الشغل، زي وين يلقى بيانات الحملات وأي مصدر تعتمدونه للمشتريات.
Ontology Snippets تحفظ له قواعد يقدر يرجع لها، زي العميل ينحسب جديد يوم يسوي أول عملية شراء مكتملة.
طبعا الأن تطور وصار يقدر يشتغل ك Ai coworker
ويفهم ويتدرب على بياناتك وهي بأمان
docs.databricks.com/aws/en/g…
2
468
وش هو Genie في Databricks؟
Genie هو شات ذكاء اصطناعي داخل Databricks تسأل فيه عن بياناتك بطريقتك، وهو يكتب استعلام SQL ويشغله ويعرض لك النتيجة. يفيد فرق زي التسويق والمبيعات إذا احتاجوا يجاوبون على أسئلة من بياناتهم بدون ما يكتبون SQL بأنفسهم. تقدر تستخدمه من Genie One داخل الـWorkspace، أو تفتح Genie Agent مخصص لفريقك.
خلنا نقول إنك في فريق التسويق وسألت أي حملة جابت أكبر عدد من العملاء الجدد الشهر اللي فات؟
Genie يحول سؤالك لاستعلام ويطلع لك النتيجة.
Genie Ontology يعطيه سياق الشغل، زي وين يلقى بيانات الحملات وأي مصدر تعتمدونه للمشتريات.
Ontology Snippets تحفظ له قواعد يقدر يرجع لها، زي العميل ينحسب جديد يوم يسوي أول عملية شراء مكتملة.
طبعا الأن تطور وصار يقدر يشتغل ك Ai coworker
ويفهم ويتدرب على بياناتك وهي بأمان
docs.databricks.com/aws/en/g…
وش الفرق بين الـ Managed والـ External Table في Databricks؟
• Managed — Unity Catalog يحدد وين تنحفظ الملفات. إذا سويت DROP TABLE، يختفي الجدول من الكاتالوج وتنحذف ملفاته بعد فترة.
• External — أنت تحدد مسار الملفات. إذا سويت DROP TABLE، يختفي الجدول من الكاتالوج وملفاته تبقى بمكانها.
5
308
سبارك 4.3 نزل رسميًا
وش الجديد فيه؟ خلونا نبسطها بأمثلة
1ـ Real-Time Mode صار يدعم عمليات تتذكر البيانات السابقة
يعني تجمع مبيعات الفرع أول بأول بـ aggregation وتمنع تكرار نفس الطلب بـ dropDuplicates وتتابع نشاط العميل بـ transformWithState المتاح هنا لـ Scala وJava
وفي اختبارات محددة وصل التأخير لأقل من 150ms
2ـ Auto CDC صار يدعم SCD Type 2
لو العميل نقل من جدة للرياض تحتفظ بسجله القديم والجديد وفترة كل واحد
كذا تعرف مدينته وقت الشراء مو بس مدينته الحالية
3ـ Project Feather لتخفيف وقت تنفيذ الاستعلامات الصغيرة
مثلا تجرب تجميع المبيعات على ملف صغير
التحسينات الاختيارية تقلل خطوات التنفيذ الزايدة للاستعلامات المناسبة
4ـ تحسينات Spark Connect
واجهات REST لمتابعة الجلسات والعمليات ودعم أوسع في JDBC
مثلا تتابع عملية شغالة عن بعد أو تقرأ نتيجة فيها ARRAY وSTRUCT من تطبيق يستخدم JDBC
5ـ إصدارات المزايا صارت كل 3 أشهر بدل 6
يعني التحسينات الجاهزة توصلك بشكل أسرع بدل تنتظر نصف سنة
تفاصيل اكثر:
databricks.com/blog/introduc…
18
849
тЗх | هندسة البيانات retweeted
More ways to build, validate, and manage data preparation workflows in Lakeflow Designer 🫡
Our October roundup highlights the latest enhancements:
• Guardrails for data quality checks, with control over what happens when checks fail
• No-code operators for cleaning and deduplication
• Multi-table joins in a single operator
• Parameterized inputs and outputs
• Visual version history to easily review workflow changes
databricks.com/blog/whats-ne…
тЗх | هندسة البيانات retweeted
[DEMO] With the Databricks Excel Add-in, bring the right Databricks data into Excel with more flexibility and less repetitive work:
→ Generate cascading filter values to narrow data before importing
→ Reuse existing Databricks SQL queries directly in Excel
→ Use custom functions like DATABRICKS.SQL and DATABRICKS.Table to import data into your workbook
Watch the full demo to see how they work: youtu.be/GKQt543lGDg
إذا كنت مهتم بالعمل في مجال البيانات، هذي من أشهر الـ Tech Stacks اللي ممكن تقابلها في سوق العمل:
2
37
1,760
• Azure + Databricks
ADF → ADLS → Databricks → Delta Lake → Power BI
• AWS
Glue / Airflow → S3 → Spark / EMR → Redshift
• GCP
Composer → GCS → Dataflow / Dataproc → BigQuery
• Snowflake Modern Stack
Fivetran / Airbyte → Snowflake → dbt → BI
• Open Source Stack
Airbyte → S3 / MinIO → Spark → Iceberg → Trino
• Streaming Stack
Kafka → Flink → Iceberg / Delta Lake → Trino / Databricks
• Microsoft Fabric
Data Factory → OneLake → Fabric Lakehouse → Fabric Warehouse → Power BI
1
14
681
الـ الادوات تختلف، لكن الـ Concepts خلفها متشابهة.
لا تتعلم اداة فقط، افهم دورها في الـ Architecture، وليش تستخدم، وإيش البدائل لها.
هنا تبدأ تفكر كـ Data Engineer، مو كمستخدم لأداة معينة.
33
إذا تبي تكون مهندس بيانات شاطر وأساسك قوي، هذي المواضيع خذها وتعلم منها وأقرأ فيها وافهمها زين، وحاول تطبق كل مفهوم في مشروع عملي.
1) Storage & Warehousing
• OLTP
• OLAP
• ACID Transactions
• Data Warehouse
• Data Lake
• Data Lakehouse
• Cloud Data Warehouses
• Compute and Storage Separation
• Storage Layer
• Three Vs
• Object Storage
• Block Storage
• File Storage
• Partitioning
• Bucketing
• Clustering
• Compression
• Data Retention
• Data Archiving
• Hot, Warm & Cold Storage
• Data Warehouse Cost Optimization
2) Open Table & File Formats
• Data Lake File Formats
• Data Lake Table Format
• Apache Parquet
• Apache Arrow
• Apache Avro
• Apache ORC
• Apache Iceberg
• Delta Lake
• Apache Hudi
• Time Travel
• Schema Evolution
• Partition Evolution
• Compaction
• Small Files Problem
• Metadata Management
3) Data Architectures & Stacks
• Data Engineering Architecture
• Modern Data Stack
• Open Data Stack
• Declarative Data Stack
• Medallion Architecture
• Data Mesh
• Data Fabric
• Lambda Architecture
• Kappa Architecture
• Event-Driven Architecture
• Microservices Data Architecture
• Microsoft Fabric
• Inmon vs Kimball
• Centralized vs Decentralized Data Architecture
• Batch vs Streaming Architecture
4) Data Modeling
• Data Modeling
• Different Levels of Data Modeling
• Entity Relationship Diagram (ERD)
• Dimensional Modeling
• Data Vault
• Anchor Modeling
• Entity-Centric Data Modeling (ECM)
• Activity Schema
• Relational Model
• Normalization
• Denormalization
• Fact Table
• Dimensions
• Slowly Changing Dimension
• Bus Matrix
• Granularity
• Cardinality
• Primary Key
• Foreign Key
• Surrogate Key
• Natural Key
• Composite Key
• Degenerate Dimension
• Junk Dimension
• Role-Playing Dimension
• Bridge Table
• Snapshot Fact Table
• Transaction Fact Table
• Accumulating Snapshot
• Star Schema
• Snowflake Schema
• Data Modeling for Analytics
• Data Modeling for Machine Learning
5) Ingestion, Movement & CDC
• ETL
• ELT
• EtLT
• Reverse ETL
• ETL vs ELT
• Change Data Capture (CDC)
• Delta-Load Options
• Full Load
• Incremental Load
• Batch Ingestion
• Real-Time Ingestion
• Stream Processing
• Apache Kafka
• Apache Pulsar
• Amazon Kinesis
• Webhooks
• APIs
• Database Replication
• Log-Based CDC
• Timestamp-Based Incremental Loading
• Watermarks
• Late-Arriving Data
• Out-of-Order Events
• Backfill
• Replay
• Dead-Letter Queue
• Retry Mechanisms
• MapReduce
• Hadoop
6) Transformation, Orchestration & Pipelines
• Data Orchestration
• DAG
• Software-Defined Asset
• Functional Data Engineering
• Declarative vs Imperative
• Apache Airflow
• Dagster
• Prefect
• dbt
• SQLMesh
• Notebooks
• Idempotency
• Dependency Management
• Scheduling
• Event-Based Triggers
• Sensors
• Retries
• Timeouts
• Failure Handling
• Backfills
• Data Pipeline Testing
• CI/CD for Data Pipelines
• AI Orchestrators
• Pipeline Reusability
• Parameterized Pipelines
• Metadata-Driven Pipelines
7) Data Quality, Observability & Reliability
• Data Quality
• Data Validation
• Data Profiling
• Data Observability
• Data Freshness
• Data Completeness
• Data Accuracy
• Data Consistency
• Data Uniqueness
• Data Integrity
• Data Anomaly Detection
• Data Quality Dimensions
• Data Quality Checks
• Great Expectations
• Soda
• Monte Carlo
• Elementary
• Data SLAs
• Data SLOs
• Data SLIs
• Incident Management
• Root Cause Analysis
• Data Downtime
• Data Reliability Engineering
• Data Reconciliation
• Data Testing
• Unit Tests
• Integration Tests
• Regression Tests
• Contract Tests
8) Data Management & Governance
• Data Governance
• Data Catalog
• Data Contracts
• Data Lineage
• Data Product
• Master Data Management
• Schema Evolution
• Schema Registry
• Schema Drift
• DataOps
• Data Ownership
• Data Stewardship
• Data Classification
• Data Discovery
• Data Documentation
• Business Glossary
• Data Policies
• Data Standards
• Data Retention Policies
• Data Lifecycle Management
• Data Access Management
• Data Privacy
• Data Masking
• Data Anonymization
• Personally Identifiable Information (PII)
• Sensitive Data
• Data Residency
• Regulatory Compliance
• GDPR
• Data Act
• Audit Trails
9) Security & Privacy
• Data Security
• Identity and Access Management (IAM)
• Role-Based Access Control (RBAC)
• Attribute-Based Access Control (ABAC)
• Least Privilege
• Authentication
• Authorization
• Encryption at Rest
• Encryption in Transit
• Key Management
• Secrets Management
• Network Security
• Private Endpoints
• VPC
• Firewalls
• Row-Level Security
• Column-Level Security
• Dynamic Data Masking
• Tokenization
• Data Loss Prevention (DLP)
• Security Monitoring
• Threat Detection
• Zero Trust Architecture
10) Semantic Layer, Metrics & Federation
• Semantic Layer
• Modern Semantic Layer
• Metrics Layer
• Metrics
• SQL Query Engine
• Analytics API
• Semantic SQL
• Data Federation
• Business Metrics
• Metric Definitions
• Dimensions and Measures
• Metric Governance
• Metric Consistency
• Headless BI
• Data Virtualization
• Query Federation
• Cross-Database Queries
• Self-Service Analytics
11) OLAP, BI & Analytics Evolution
• Traditional OLAP Cubes
• Modern OLAP Systems
• Cube
• Business Intelligence
• BI Tools
• Pivot Table
• Dashboards
• Reports
12) Performance & Engine Internals
• CAP Theorem
• Push-downs
• Predicate Pushdown
• Projection Pushdown
• Partition Pruning
• Materialized Views
• CTE
• Full Table Scan
• Query Optimization
• Query Execution Plans
• Indexes
• Join Strategies
• Broadcast Join
• Shuffle
• Sort-Merge Join
• Hash Join
• Caching
• Result Caching
• Query Compilation
• Vectorized Execution
• Columnar Storage
• Parallel Processing
• Distributed Computing
• Memory Management
• Spill to Disk
• Workload Management
• Concurrency
• Resource Queues
• Cost-Based Optimization
• Query Performance Monitoring
13) Cloud & Distributed Systems
• Cloud Computing
• Infrastructure as Code
• Containers
• Docker
• Kubernetes
• Serverless Computing
• Virtual Machines
• Object Storage
• Cloud Networking
• Availability Zones
• Regions
• High Availability
• Fault Tolerance
• Disaster Recovery
• Backup and Restore
• Replication
• Multi-Region Architecture
• Scalability
• Elasticity
• Horizontal Scaling
• Vertical Scaling
• Load Balancing
• Distributed Systems
• Consensus
• Eventual Consistency
• Strong Consistency
• Distributed Transactions
• Exactly-Once Processing
• At-Least-Once Processing
• At-Most-Once Processing
14) Programming & Core Technical Skills
• SQL
• Advanced SQL
• Python
• Bash
• Git
• Linux
• Data Structures
• Algorithms
• Object-Oriented Programming
• Functional Programming
• APIs
• REST
• GraphQL
• JSON
• YAML
• Regular Expressions
• Networking Basics
• HTTP
• Authentication Methods
• Software Design Patterns
• Clean Code
• Code Review
• Documentation
• Debugging
• Logging
• Error Handling
• Package Management
• Virtual Environments
7
564
إذا تستخدم Oracle SQL Developer، الإصدار 26.2 متاح للتحميل.
ومع توجه Oracle للانتقال إلى إضافة SQL Developer على VS Code، يمكن هذا وقت مناسب تجربها وتتعود عليها.
الإضافة موجودة من 2024، لكن التوجه الآن نحو الاعتماد عليها بدل البرنامج المستقل.
oracle.com/it/database/sqlde…
4
528
a gateway to distributed data processing
static.googleusercontent.com…
3
381






