Инженер Data Governance

Ваши ключевые задачи:

ETL процессы и интеграция данных:

• Проектирование и разработка ETL pipeline для выгрузки данных из различных источников;
• Реализация процессов трансформации данных согласно бизнес-правилам;
• Оптимизация производительности ETL процессов и мониторинг их выполнения;
• Обеспечение надежности и отказоустойчивости процессов загрузки данных;

Data Governance и качество данных:

• Внедрение и поддержка правил Data Governance платформы;
• Создание и поддержание схемы данных и метаданных
• Реализация контроля качества данных на всех этапах ETL процесса;
• Проведение сверки данных с установленными правилами и стандартами;
• Создание отчетности по качеству данных и соблюдению governance правил;

Управление данными:

• Поддержание актуальности каталога данных и технической документации;
• Управление версионированием данных и схем;
• Обеспечение соответствия процессов обработки данных корпоративным стандартам.

Мы ожидаем от вас:

Data Governance экспертиза:

• Понимание принципов Data Governance и Data Quality Management;
• Опыт создания и поддержания каталогов данных и метаданных;
• Знание стандартов качества данных и методов их контроля;

Технические навыки:

• Опыт работы с одним из ETL инструментов (Apache Airflow, Informatica PowerCenter, SSIS, Talend, DataStage или аналогичные);
• Опыт проектирования и реализации pipeline для выгрузки данных из различных источников;
• Знание языков программирования для трансформации данных (SQL, Python, Scala);
• Опыт работы с реляционными базами данных (Oracle, PostgreSQL);
• Понимание принципов работы со стеком Big Data и Data Lake (Hadoop, Delta Lake, Apache Iceberg и аналогичные);
• Опыт интеграции данных через REST API, файловые интерфейсы (S3);
• Опыт проектирования и работы с OLAP базами данных (Clickhouse, Starrocks).

Будет плюсом:

• Знание инструментов мониторинга качества данных (Data Quality, Data Drift);
• Опыт работы с Data Lineage инструментами;
• Знание методов Data Profiling и Data Discovery.