Data Engineer в команду Clickstream
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Команда Data-loadka создаёт и поддерживает self-service инструменты загрузки данных аналитической платформы компании. В основе загрузок лежит раскладка в таблицы 6НФ по методологии Anchor Modeling, на которой строится слой витрин. В качестве основного движка расчётов мы используем Trino / Vertica и активно занимается разработкой кастомных Trino-плагинов для загрузки данных.
Вам предстоит:
- перерабатывать архитектуру инструмента загрузки данных в DWH;
- поддерживать инфраструктурные компоненты;
- адаптировать Trino-плагины под потребности компании.
Мы ждём, что вы:
- имеете опыт работы с lakehouse-хранилищами или колоночными базами данных: загрузка данных в s3-like хранилища и оптимизация запросов на их основе;
- пишете на Python или другом языке программирования;
- хотите работать в платформенной команде без чётких требований к продуктам.
Будет здорово, если вы:
- имеете опыт разработки etl-пайплайнов основанных на batch-данных;
- работали с Trino, Ceph, ClickHouse, Vertica;
- имеете опыт разработки микросервисов на ассинхронных python-фреймворках (Aiohttp, Starlette)
- знаете Java.
Работа у нас — это:
- возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
- талантливая команда, готовая поддержать ваши инициативы;
- мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
- прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.
