SRE инженер в команду Clickstream (Processing)
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Команда Clickstream занимается потоковой обработкой и аналитикой в режиме реального времени событий на базе фреймворка Apache Flink, позволяя обрабатывать данные “на лету”. Мы разрабатываем задания на Java, обеспечивая непрерывную обработку данных 24/7.
Масштаб: тысячи типов аналитических событий, больше 500k RPS в пиковой нагрузке.
Наш основной технологический стек включает Apache Flink (в кластере k8s), Apache Kafka, RocksDB, Ceph и ELK. Инфраструктура построена на собственном Kubernetes-кластере, который работает в трёх дата-центрах и служит основой для запуска Flink-задач. Мы используем CI/CD-инструменты для автоматизации жизненного цикла заданий, инструментов для Е2Е-тестирования и множества других вспомогательных сервисов. Кроме того, в работе мы используем Apache Spark и Apache Hadoop — с ними тоже вам тоже предстоит работать.
Вам предстоит:
- мониторить состояние кластера и решать возникающие проблемы;
- дорабатывать, расширять и внедрять инструменты мониторинга CI/CD;
- проводить тестирования под новые требования;
- исследовать и внедрять новый инструментарий;
- обновлять Flink Jobs и исправлять ошибки в их работе;
- реализовывать Flink Jobs с использованием интеграции Python и FlinkSQL;
- развивать и поддерживать инфраструктуру аналитической платформы Авито;
- обеспечивать надёжность и эффективность работы распределённых систем масштаба Big Data, работать с инцидентами;
- автоматизировать рутинные задачи инженеров;
- развивать CI/CD.
Мы ждём, что вы:
- имеете опыт установки и администрирования k8s-кластеров;
- хорошо знакомы с Docker;
- работали с ELK-стеком и можете найти нужные данные;
- пишете на Python;
- имеете опыт работы с базами данных и асинхронными очередями.
Будет здорово, если вы:
- работали с продуктами линейки Apache (Flink, Spark, Kafka, Hadoop) и имеете опыт в администрировании высоконагруженных аналитических хранилищ и распределённых вычислительных систем;
- работали с инструментами Atlassian;
- имеете опыт администрирования Linux;
- хорошо знакомы с SQL.3
Работа у нас — это:
- интересные и важные задачи на очень большом проекте
- передовые технологии и подходы, возможность пробовать новое
- опытные и заинтересованные коллеги, готовые оказать поддержку
- возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист
- возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге
