Data Engineer в команду Integration
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.
Наша цель — сделать так, чтобы хранилище работало стабильно и могло отвечать требованиям доступности, отказоустойчивости и своевременной готовности данных, которые предъявляют нам наши пользователи.
Примеры будущих задач:
- обеспечить эффективную утилизацию ресурсов хранилища;
- облегчить поддержку и масштабирование узлов системы хранилища данных;
- сделать наши компоненты отказоустойчивыми;
- повысить наблюдаемость инфраструктуры;
- разработать прозрачный механизм ответственности за готовность данных к сроку;
- сократить число инцидентов.
Вам предстоит:
- анализировать рост нагрузки на хранилище данных, искать узкие места и способы оптимизации хранения и использования данных;
- гарантировать отклик на Vertica для пользовательских запросов на уровне < 20 секунд;
- гарантировать работу пользователей при отключении одного ДЦ с минимальным влиянием на отклик;
- оптимизировать работу аналитических баз данных под характер нагрузки и объем трафика;
- поддерживать стабильную работу компонентов хранилища данных;
- применить новые подходы к управлению ресурсами для Vertica.
Мы ждём, что вы:
- проектировали или отвечали за компоненты распределенных систем;
- вам нравится разбираться в том, как работают аналитические системы;
- вы умеете находить ответы на вопросы с помощью метрик и аналитики;
- имеете опыт работы с ClickHouse, Vertica, Trino, GreenPlum;
- умеете программировать на python или java.
Будет здорово, если вы:
- имеете опыт работы с Linux;
- имеете опыт отладки компонентов, написанных другими инженерами;
- работали с прокси/гейтвеями/клиентскими протоколами к СУБД.
Работа у нас — это:
- интересные и важные задачи на очень большом проекте;
- передовые технологии и подходы, возможность пробовать новое;
- опытные и заинтересованные коллеги, готовые оказать поддержку;
- возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.
