Data Engineer в команду Usage
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Мы — команда разработки BI-инструмента, который играет ключевую роль в принятии бизнес-решений. Наш продукт обеспечивает аналитиков и менеджеров быстрым и удобным доступом к данным, хранящимся в DWH (на базе Trino и ClickHouse).
Наши цели:
- обеспечить максимальную скорость формирования отчётов и дашбордов, чтобы пользователи получали данные без задержек.
- минимизировать нагрузку на DWH, особенно в пиковые часы, чтобы система оставалась стабильной для всех потребителей данных.
- улучшить масштабируемость BI-инструмента, чтобы он справлялся с ростом количества пользователей и объёмов данных.
- сделать взаимодействие BI и DWH предсказуемым и управляемым, внедряя мониторинг и алертинг аномалий.
Мы работаем на стыке данных, инфраструктуры и аналитики, и нам важно, чтобы BI не просто работал, а делал это быстро, надёжно и эффективно.
Примеры будущих задач:
- оптимизация запросов из BI-инструмента к DWH для уменьшения времени отклика.
- мониторинг и анализ пиковых нагрузок на DWH, предложение решений для их снижения.
- автоматизация процессов обновления данных и балансировки нагрузки.
Вам предстоит:
- работать с Trino и ClickHouse, оптимизируя их взаимодействие с BI-инструментом;
- анализировать производительность запросов и влиять на их эффективность;
- внедрять решения для снижения нагрузки на DWH без потери качества данных;
- тесно сотрудничать с аналитиками, разработчиками BI и инженерами DWH.
Мы ждём, что вы:
- имеете опыт работы с DWH, особенно с Trino и ClickHouse;
- умеете писать эффективные SQL-запросы и оптимизировать их;
- понимаете принципы работы BI-инструментов (например, Tableau, Power BI, Superset, Redash, DataLens);
- знакомы с методами кэширования, материализации представлений и управления нагрузкой;
- имеете навыки мониторинга и анализа производительности (логи запросов, метрики нагрузки).
Будет здорово, если вы:
- имеете опыт работы с распределёнными системами и колоночными БД;
- умеете настраивать балансировку и приоритизацию запросов;
- имеете опыт отладки компонентов, написанных другими инженерами.
Работа у нас — это:
- интересные и важные задачи на очень большом проекте;
- передовые технологии и подходы, возможность пробовать новое;
- опытные и заинтересованные коллеги, готовые оказать поддержку;
- возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.
