Verilənlər üzrə mühəndis (Data Engineer)

Təsvir:

• Real-time və batch prosesləri üçün data pipeline-lərin dizaynı, inkişafı və optimallaşdırılması;
• Medallion Architecture (bronze, silver, gold təbəqələri) üzərində məlumat axınlarını modelləşdirmək və tətbiq etmək;
• Data pipelineları avtomatlaşdırmaq və inkişaf etdirmək üçün ETL/ELT pipeline-larını yaratmaq;
• Verilənlər platformalarının performansını optimallaşdırmaq, məlumatların düzgünlüyünü və təhlükəsizliyini təmin etmək;
• Apache Spark və ya Apache Arrow kimi alətlərdən istifadə edərək irimiqyaslı məlumatların emalı və analizini həyata keçirmək;
• Məlumat transformasiyası və modelləşdirilməsi üçün DBT modellərini inkişaf etdirmək;
• Kubernetes əsaslı mühitlərdə məlumat emalı və saxlama proseslərinin avtomatlaşdırılması və monitorinqi;
• İrimiqyaslı data pipeline-lar üçün resurs idarəetmə strategiyalarını inkişaf etdirmək;
• Kod yazma standartlarına riayət etmək və komanda daxilində "Best Practice" tətbiq etmək;
• Mövcud kod bazasını təkmilləşdirmək və texniki borcları aradan qaldırmaq;
• Junior mühəndislərə mentorluq etmək, onlara data pipeline-lərin qurulması və məlumat modellərinin tətbiqi ilə bağlı dəstək vermək.

Tələblər:

• Məlumat mühəndisliyi, kompüter elmləri və ya müvafiq sahədə bakalavr və ya magistr dərəcəsi;
• Ən azı 3-5 il məlumat mühəndisliyi və ya məlumat platforması sahəsində təcrübə;
• Python, SQL, Bash üzrə texniki biliklər;
• Apache Airflow, DBT alətlərində təcrübə;
• Apache Spark, Apache Arrow, Apache Kafka, Confluent bilikləri;
• Effektiv vaxt idarəetmə və prioritetləşdirmə bacarığı;
• Mürəkkəb problemləri təhlil və həll etmə qabiliyyəti;
• Komandadaxili əməkdaşlıq və mentorluq bacarıqları.