Инженер данных
от 100 000 до 120 000 руб.
Компания: АНО "ЦИФРОВОЙ АУДИТ"
Опыт работы: От 3 лет
График работы: Полный день
Занятость: Полная занятость
Требования:
высшее техническое образование
опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг) в течение двух последних лет
экспертное владение Python практический опыт работы с AWS S3\miniO не менее 1 года
умение подключаться к различным источникам данных с использованием разнообразных протоколов и интерфейсов
опыт работы со стриминговыми данными (Kafka, Debezium) не менее 1 года
экспертное владение SQL и опыт работы с СУБД (PostgreSQL, ADB, ClickHouse и др.)
знание Apache Airflow (создание DAG, настройка сенсоров, операторов)
базовые знания команд в ОС Linux
Обязанности:
проектирование и реализация ETL/ELT-пайплайнов для загрузки и обработки данных оптимизация и
сопровождение процессов обработки больших данных интеграция источников данных (базы данных, API, файловые хранилища)
работа с протоколами и форматами интеграции: REST, SOAP, JSON, XML
документирование решений и формирование базы знаний
Адрес: Город Москва, Летниковская улица, 2с3