SRE инженер в команду Datamart
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы хотим построить инструмент, в котором аналитики могут самостоятельно, не прибегая помощи инженеров dwh, находить ответы в данных, проверять гипотезы и принимать бизнес-решения.
Наша цель — предоставлять платформу для решения задач, связанных с исследованиями, операционной отчетностью и продовыми интеграциями, обеспечивая изоляцию обработки и необходимый уровень доступности и качества данных.
Примеры будущих задач:
- организация работы над внештатными ситуациями при обработке данных;
- разрабатка инструментов автоматизации работы с внештатными ситуациями, сбоями, релизами, поддержкой;
- разрабатка мониторинга, повышение observability процессов работы с данными;
- поиск и оптимизация неэффективного использования ресурсов;
Вам предстоит:
- создание инфраструктуры и процессов деплоя для дата-пайплайнов;
- выбор, настройка и поддержка CI/CD сервера (замена TeamCity);
- выбор, настройка и поддержка git сервера (замена BitBucket).
Мы ждём, что вы:
- имеет опыт работы с bare metal серверами linux;
- имеете опыт построения CI/CD пайплайнов, включая версионирование, роллбэки, мониторинг здоровья систем;
- имеете опыт работы с мульти-env инфраструктурой (прод, стейджинг, тест), разработки скриптов, раскатки инфраструктуры;
- имеете опыт интеграции инструментов мониторинга и triage;
- имеете опыт решения сложных распределенных систем.
Будет здорово, если вы:
- имеете опыт работы DevOps в Data проектах (кластерная СУБД Vertica, Clickhouse, greenplum);
- пишете на Python.
