Разработчик ETL
Смотреть другие вакансииПочтатех – ИТ-компания, которая разрабатывает продукты и сервисы для Почты России. Мы помогаем сделать услуги Почты удобными и доступными для миллионов людей. Нам есть чем гордиться и куда расти! Присоединяйтесь к команде!
Мы в поиске разработчика ETL в команду Data Cloud, обеспечивающую функциональность централизованного аналитического хранилища данных Почты России.
Наш стек - БД: Hadoop, ETL: ApacheAirflow, конвертация: Spark(Scala)/Java, Flink, Flum.
Чем предстоит заниматься:
Разрабатывать и проектировать алгоритмы и процессы загрузки данных в единую модель данных в Hadoop на Apache Airflow
Оптимизировать и настраивать производительность ETL-процессов
Производить рефакторинг существующих решений и переводить их на единую модель данных как источник
Дорабатывать процессы загрузки в DWH (при знании Scala/Java)
Наш кандидат:
Владеет фундаментальными знаниями принципов построения распределенных систем хранения и обработки данных
Имеет опыт работы с экосистемой Hadoop (HDFS, Hive, Spark)
Имеет опыт работы с реляционными СУБД
Имеет опыт работы со Scala/Java от 1.5 лет (+ опыт работы с Kafka или хотя бы теоретическое понимание, что это такое) ИЛИ опыт работы с Python от 1.5 лет
Будет плюсом:
Опыт работы с Unix shell
Опыт работы с Apache Airflow
Опыт работы с Hadoop Oozi
Мы рады предложить:
Официальное трудоустройство по ТК РФ
Гибридный либо удаленный формат работы
Конкурентную зарплату и премию
Льготную ИТ- ипотеку и другие преимущества для сотрудников аккредитованных ИТ-компаний
ДМС со стоматологией, страхование на время выезда за рубеж
Корпоративные скидки у компаний-партнеров: фитнес, ДМС для родственников
Современный стек и продуктовый подход к разработке
Поддержку со стороны внутренних комьюнити: Java, Frontend, iOS, Android, DevOps, Design, QA, .NET, Analytics, Agile, Python, 1C, Solution Architecture, Support, Project management