Data Engineer в команду SQL SWAT
Команда
Аналитическая платформа
Кластер
Analytics Platform
Локация
Москва, Нижний Новгород, можно удаленно
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Мы — команда инженеров, которая помогает аналитикам выполнять свои задачи быстро и качественно, используя принятые в компании решения, инструменты и стандарты. Наша цель — обеспечить обновление данных в хранилище в нужные сроки с контролем полноты и качества, используя автоматизацию процессов и управление базовым слоем данных.
Примеры будущих задач:
- мигрировать расчёты на Trino;
- оптимизировать витрину данных: сократить объём чтения DDS, оптимизировать модель расчётов;
- исследовать расхождения данных в Vertica-витрине и новой Trino-витрине.
Вам предстоит:
- сопровождать миграцию из Vertica в Trino: переводить витрины данных, обновлять зависимости переведенных витрин;
- поддерживать и дорабатывать сервисы автоматизации миграции (трансляция, сверка, изменение зависимостей, переливка исторических данных);
- оптимизировать запросы и модель данных в расчётах;
- переводить тяжёлые витрины данных (>1TB);
- переводить неоптимальные витрины данных: оптимизировать, чтобы уложиться в квоты;
- сократить долю Vertica в объёме хранимых данных.
Мы ждём, что вы:
- имеете опыт работы с аналитическими СУБД (Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino и др.);
- знаете, что для СУБД значит выполнить SQL-запрос, и понимаете, как оптимизировать аналитические запросы;
- имеете опыт разработки витрин данных;
- имеете опыт разработки пайплайнов обработки данных.
Работа у нас — это:
- возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
- талантливая команда, готовая поддержать ваши инициативы;
- мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
- прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- удалёнка и замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.
