Backend-инженер в команду Integration (Stability)

Локация Москва, можно удаленно

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com

Откликнуться

О команде

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.

Наша цель — сделать так, чтобы хранилище работало стабильно и могло отвечать требованиям доступности, отказоустойчивости и своевременной готовности данных, которые предъявляют нам наши пользователи.

Мы находимся в процессе адаптации Trino для задач, в которых раньше мы использовали Vertica. Мы переходим на более гибкое решение и хотим применять подходы микросервисной архитектуры к хранилищу данных. Поддержка такой системы усложняется, и нам предстоит поменять философию отказоуйчивости хранилища с «все проблемы исправляются ручным перезапуском» на «система восстанавливает себя сама без ручного вмешательства».

Наши вызовы — сделать наши компоненты отказоустойчивыми, повысить наблюдаемость инфраструктуры и упростить работу дежурного, разработать прозрачный механизм ответственности за готовность данных к сроку и сократить число инцидентов из-за действий разработчика.

Примеры будущих задач:

Вам предстоит:

отделить критичные расчёты и вынести их на отдельные мощности;
разработать сервис экспорта из DWH в продуктовые сервисы;
сократить время реагирования на проблемы и создать алёрты для команды 24х7;
создать тестовую среду и повышать стабильность компонентов инфраструктуры.

Мы ждём, что вы:

проектировали или отвечали за компоненты отказоустойчивых систем;
знаете и умеете писать на Python.

Будет здорово, если вы:

имеете опыт отладки компонентов, написанных другими инженерами;
работали с кластерными СУБД (Vertica, Snowflake, Clickhouse, StarRocks, Trino и др.);
работали с инструментами интеграции данных (data bricks, dbt, ksql);
работали с прокси/гейтвеями/клиентскими протоколами к СУБД.

Работа у нас — это:

— интересные и важные задачи на очень большом проекте;

— передовые технологии и подходы, возможность пробовать новое;

— опытные и заинтересованные коллеги, готовые оказать поддержку;

— возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;

— личный бюджет на обучение, который можно тратить на книги, курсы и конференции;

— забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;

— возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.

Про направление