SRE инженер в команду Clickstream (Processing)

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com

О команде

Команда Clickstream занимается потоковой обработкой и аналитикой в режиме реального времени событий на базе фреймворка Apache Flink, позволяя обрабатывать данные “на лету”. Мы разрабатываем задания на Java, обеспечивая непрерывную обработку данных 24/7.

Масштаб: тысячи типов аналитических событий, больше 500k RPS в пиковой нагрузке.

Основной стек - это Apache Flink (в кластере k8s), Apache Kafka, RocksDB, Ceph, ELK. Наша инфраструктура состоит из собственного k8s кластера работающего в 3-х ДЦ, в котором разворачиваются Flink задания, CI/CD инструментов для автоматизации жизненного цикла заданий, инструментов для e2e тестирования и многих других вспомогательных штук.

Примеры будущих задач:

  • мониторинг жизнедеятельности кластера и решение возникающих проблем:
  • доработка инструментов под новые требования:
  • расширение и реализация нового инструментария:
  • реализация новых заданий с использованием интеграция Python и FlinkSQL.

Вам предстоит:

  • освоить процессы развертывания и обновления заданий;
  • разобраться в инструментах тестирования;
  • произвести обновление или исправить ошибку в работе Job;
  • реализовать вспомогательный инструмент;
  • написать простое FlinkSQL задание.

Мы ждём, что вы:

  • имеете опыт установки и администрирования k8s кластеров;
  • хорошо знакомы с Docker;
  • работали с ELK стеком и можете найти нужные данные;
  • пишете на Python;
  • имеете опыт работы с базами данных и асинхронными очередями.

Будет здорово, если вы:

  • работали с инструментами atlassian;
  • имеете опыт администрирования Linux;
  • хорошо знакомы с SQL.

Работа у нас — это:

  • интересные и важные задачи на очень большом проекте
  • передовые технологии и подходы, возможность пробовать новое
  • опытные и заинтересованные коллеги, готовые оказать поддержку
  • возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных
  • личный бюджет на обучение, который можно тратить на книги, курсы и конференции
  • забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист
  • возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге