Data Engineer в команду Clickstream
Вакансия закрыта. Посмотреть похожие
Локация
Москва, можно удаленно
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
Вам предстоит:
- разрабатывать новые и поддерживать существующие продукты в составе кросс-функциональной команды;
- заниматься развитием существующей BigData-платформы с упреждением растущей нагрузки от новых задач и данных (90% задач связаны со Spark);
- создавать новые сервисы на Python и улучшать уже существующие;
- продвигать лучшие практики и делиться с командой своим опытом;
- предлагать новые подходы и тут же пробовать их в продакшене с реальными данными.
Мы ждём, что вы:
- знаете и умеете писать на Python или Java/Scala (с переходом на Python);
- глубоко понимаете экосистему Hadoop/Spark/Hive и связанных продуктов;
- имеете опыт работы с данными/решали аналитические задачи;
- умеете администрировать Linux системы на базовом уровне;
- не боитесь нестандартных решений.
Будет здорово, если вы:
- имеете опыт работы с Apache Airflow, знаете принципы построения пайплайнов;
- разрабатывали бэкенд приложения на Flask/Asyncio/Django/другом Python фреймворке или Golang;
- разбираетесь в инфраструктуре Apache Kafka;
- писали стриминговые приложения на Apache Flink/Spark;
- использовали в своей работе для администрирования оркестраторы кластеров (Ansible, SaltStack, Puppet и др.)
- умеете и любите писать тесты, знаете и применяете подходы TDD, BDD;
собирали CI/CD решения, умеете работать с Docker; - работали с кластерными СУБД (Vertica, Clickhouse, Sphinx, Trino и др.).
Работа у нас — это:
- интересные и важные задачи на очень большом проекте;
- передовые технологии и подходы, возможность пробовать новое;
- опытные и заинтересованные коллеги, готовые оказать поддержку;
- возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.
