Data-инженер в команду SQL-SWAT
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Команда SQL-SWAT отвечает за бизнес-критичный технический проект миграции DWH с легаси-платформы Vertica на целевую платформу LakeHouse на базе Trino и Ceph. Также команда поддерживает пользователей по вопросам создания витрин данных и пайплайнов в DWH.
Инженеры команды мигрируют объекты DWH, разрабатывают селф-сервис-инструменты для миграции и помогают пользователям работать с ними.
Какие задачи вас ждут:
- разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции;
самостоятельно мигрировать объекты с помощью созданных инструментов:
- транслировать код;
- верифицировать данные;
- переносить историю;
- переключать зависимости;
- обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции;
- в рамках регулярных дежурств поддерживать пользователей в чатах и консультировать по вопросам работы с витринами данных;
- мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA;
- улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов;
- взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики.
Примеры будущих задач:
- доработать сервис трансляции SQL-кода, чтобы ускорить трансляцию на 20%;
- создать LLM-инструменты для верификации данных во время миграции на локальной машине пользователя;
- мигрировать сложные MERGE REFRESH-витрины с учётом специфики Trino и деградацией времени ежедневного расчёта не более чем на 10%;
- оптимизировать витрины на Trino, чтобы снизить потребление вычислительных ресурсов на 20%;
- ответить на вопрос пользователя в чате, например о том, почему витрина не проходит тесты на производительность.
Мы ждем, что вы:
- работали с аналитическими СУБД: Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino или другими;
- знаете, что для СУБД значит выполнить SQL-запрос, и понимаете, как оптимизировать аналитические запросы;
- разрабатывали пайплайны обработки данных;
- уверенно владеете SQL, включая сложные оконные и аналитические функции;
- разбираетесь в планах запросов и можете оптимизировать запросы;
- разрабатывали сервисы и приложения на Python или Go.
Работа у нас — это:
- возможность реализовывать идеи в проекте с многомиллионной аудиторией;
- возможность предлагать инициативы, проводить эксперименты и внедрять собственные идеи;
- влияние на аналитическую платформу, которой пользуются десятки команд Авито, и на эффективность критичных бизнес-процессов компании;
- рабочее оборудование и всё необходимое для продуктивной работы;
- прозрачная система премий, условия компенсации обсудим на собеседовании;
- возможность внешнего и внутреннего обучения за счёт компании (курсы, тренинги, лекции, обмен опытом и менторство);
- забота о сотрудниках и их здоровье: с первого дня работы вы получите страховку со стоматологией, в офисе ведут приём терапевт и массажист;
- возможность удалённой работы и офис в 2 минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.
