Data Engineer в команду Migration (Stability)

О команде

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.

Наша цель — сделать так, чтобы хранилище работало стабильно и могло отвечать требованиям доступности, отказоустойчивости и своевременной готовности данных, которые предъявляют нам наши пользователи.

Примеры будущих задач:

Мы находимся в процессе адаптации Trino для задач, в которых раньше мы использовали Vertica. Мы переходим на более гибкое решение и хотим применять подходы распределенной архитектуры к хранилищу данных. Поддержка такой системы усложняется, и нам предстоит поменять философию отказоустойчивости хранилища с «все проблемы исправляются ручным перезапуском» на «система восстанавливает себя сама без ручного вмешательства».

Наши вызовы — обеспечить эффективную утилизацию ресурсов хранилища, облегчить поддержку и масштабирование узлов системы хранилища данных, сделать наши компоненты отказоустойчивыми, повысить наблюдаемость инфраструктуры, разработать прозрачный механизм ответственности за готовность данных к сроку, сократить число инцидентов.

Вам предстоит:

• анализ роста нагрузки на хранилище данных, поиск узких мест и способов оптимизации хранения и использования данных;
• перевод платформы на облачные рельсы и масштабирование узлов системы;
• помощь в соблюдении сроков готовности данных в хранилище;
• оптимизация работы аналитических баз данных под характер нагрузки и объем трафика;
• поддержка стабильной работы компонентов хранилища данных.

Мы ждём, что вы:

• проектировали или отвечали за компоненты распределенных систем;
• вам нравится разбираться в том, как работают аналитические системы;
• у вас есть опыт работы с ClickHouse / Vertica / Trino / GreenPlum;
• вы умеете находить ответы на вопросы с помощью метрик и аналитики;
• вы умеете программировать на python/java/другой язык программирования.

Будет здорово, если вы:

• имеете опыт работы с Linux;
• имеете опыт отладки компонентов, написанных другими инженерами;
• работали с прокси/гейтвеями/клиентскими протоколами к СУБД.

Работа у нас — это:

— интересные и важные задачи на очень большом проекте;

— передовые технологии и подходы, возможность пробовать новое;

— опытные и заинтересованные коллеги, готовые оказать поддержку;

— возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;

— личный бюджет на обучение, который можно тратить на книги, курсы и конференции;

— забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;

— возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.