Data Engineer в команду Clickstream (Flink)
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Наша команда разрабатывает Flink Jobs. Наши заказчики - это аналитики и/или инженеры Авито. Мы сами предлагаем решения, устанавливаем требования к функционалу, вырабатывая ТЗ “на лету” - к нам приходят не с конкретной постановкой, а с бизнес-проблемой, техническое решение которой придумываем мы сами.
Помимо написания кода мы обеспечиваем стабильную работу всех джоб нашего кластера - а это значит оперативные разборы инцидентов, разборы стактрейсов, детективные расследования неожиданных проблем. Наши джобы должны работать 24/7 в рамках SLA, никогда не останавливаться и не тормозить.
Еще мы исследуем новые инструменты и сетапы для нашего кластера, решаем, как правильно построить пайплайн и сделать риалтайм аналитику удобной для всех.
Примеры будущих задач:
- разработка Flink Job.
Вам предстоит:
- проектировать и программировать Flink джобы со сложной логикой и динамическим ETL;
- дорабатывать и автоматизировать существующие инструменты;
- интегрироваться с другими аналитическими решениями;
- изучать и внедрять новые инструменты.
Мы ждём, что вы:
- хорошо знаете Java и пишете оптимальный читабельный код;
- понимаете основные структуры данных и алгоритмы;
- имеете представление об архитектуре распределенных приложений;
- разбираетесь в современных хранилищах данных;
- умеете разбираться в новых инструментах и фреймворках, а также в их работе под капотом;
- умеете работать самостоятельно и в команде
Будет здорово, если вы:
- разбираетесь в разработке стриминговых приложений;
- имеете опыт с Apache Flink, Kafka Streams, Spark Streaming или другим стриминговым движком; профессионально работали с Kafka;
- имеете боевой опыт работы с RocksDB;
- работали с ClickHouse, Vertica, Spark.
Работа у нас — это:
- возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
- талантливая команда, готовая поддержать ваши инициативы;
- мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
- прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.
