SRE инженер в команду Clickstream (Processing)
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Команда Clickstream занимается потоковой обработкой и аналитикой в режиме реального времени событий на базе фреймворка Apache Flink, позволяя обрабатывать данные “на лету”. Мы разрабатываем задания на Java, обеспечивая непрерывную обработку данных 24/7.
Масштаб: тысячи типов аналитических событий, больше 500k RPS в пиковой нагрузке.
Основной стек - это Apache Flink (в кластере k8s), Apache Kafka, RocksDB, Ceph, ELK. Наша инфраструктура состоит из собственного k8s кластера работающего в 3-х ДЦ, в котором разворачиваются Flink задания, CI/CD инструментов для автоматизации жизненного цикла заданий, инструментов для e2e тестирования и многих других вспомогательных штук.
Примеры будущих задач:
- мониторинг жизнедеятельности кластера и решение возникающих проблем:
- доработка инструментов под новые требования:
- расширение и реализация нового инструментария:
- реализация новых заданий с использованием интеграция Python и FlinkSQL.
Вам предстоит:
- освоить процессы развертывания и обновления заданий;
- разобраться в инструментах тестирования;
- произвести обновление или исправить ошибку в работе Job;
- реализовать вспомогательный инструмент;
- написать простое FlinkSQL задание.
Мы ждём, что вы:
- имеете опыт установки и администрирования k8s кластеров;
- хорошо знакомы с Docker;
- работали с ELK стеком и можете найти нужные данные;
- пишете на Python;
- имеете опыт работы с базами данных и асинхронными очередями.
Будет здорово, если вы:
- работали с инструментами atlassian;
- имеете опыт администрирования Linux;
- хорошо знакомы с SQL.
