Старший Data Engineer в командув команду Analytics Infrastructure

О команде

Мы — команда хранилища данных Авито. Получаем данные из более сотни внутренних и внешних систем, строим отчётность, помогаем бизнесу проверять гипотезы, принимать решения и выбирать способы достижения целей на основе данных.

Наша цель — поддерживать стабильную работу хранилища, а также соответствовать требованиям по доступности, отказоустойчивости и своевременной готовности данных, которые важны нашим пользователям.

Какие задачи вас ждут:

• анализировать рост нагрузки на хранилище данных, искать узкие места и способы оптимизации хранения и использования данных;
• внедрять механизмы квотирования и лимиты нагрузки;
• помогать соблюдать сроки готовности данных в хранилище;
• оптимизировать работу аналитических баз данных под характер нагрузки и объём трафика;
• развивать систему управления ресурсами аналитической платформы и обеспечивать точность её работы.

Примеры будущих задач:

Мы строим зрелую Lakehouse-платформу на основе Trino. Мы перешли на более гибкое решение и хотим применять подходы квотирования для управления ростом нагрузки. Поддержка такой системы усложняется из-за роста в несколько раз за год, поэтому нам предстоит изменить подход к гарантиям: перейти от «все запросы должны отрабатывать быстро» к «запросы отрабатывают быстро в рамках доступных квот».

Наши вызовы — обеспечить эффективное использование ресурсов хранилища в рамках доступных квот, гарантировать время отклика запросов в согласованных SLA, упростить поддержку и масштабирование узлов системы хранилища данных, сделать компоненты отказоустойчивыми, разработать прозрачный механизм ответственности за готовность данных к сроку и сократить число инцидентов.

Мы ждём, что вы:

• проектировали компоненты распределённых систем или отвечали за них;
• хотите разбираться в том, как работают аналитические системы;
• имеете опыт работы с ClickHouse или Trino;
• умеете находить ответы на вопросы с помощью метрик и аналитики;
• программируете на Python, Java или Go.

Будет здорово, если вы:

• имеете опыт работы с Linux;
• имеете опыт отладки компонентов, написанных другими инженерами;
• работали с прокси, гейтвеями или клиентскими протоколами к СУБД.

Работа у нас — это:

• расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
• сервис психологической поддержки, а также финансовые, юридические и ЗОЖ консультации для вас и ваших близких;
• корпоративный спорт: групповые тренировки, велбиинг-приложение;
• спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
• компенсация питания;
• профильное инженерное сообщество с многолетним опытом, развитая система менторства и обмена экспертизой;
• выстроенная матрица компетенций с прозрачными требованиями к грейдам;
• технически сложные задачи, на которых можно развивать навыки.