Data Engineer в команду Datamart
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Мы - команда инженеров, которые помогают аналитикам выполнять свои задачи быстро и качественно, используя принятые в компании решения, инструменты и стандарты.
Мы фокусируемся на выявлении текущих проблем и потребностей аналитиков, чтобы предложить им эффективные решения, упрощающие их повседневные задачи.
Мы дорабатываем общепринятые в компании решения, предлагаем изменения стандартов, если задачи аналитиков не могут быть решены имеющимися средствами.
Мы предлагаем новые решения и подходы, создавая MVP и PoC таких решений, если задачи аналитиков не могут быть решены с помощью доработки решений и изменения стандартов.
Примеры будущих задач:
- оптимизация пересчетов аналитических метрик в историю для расчета и планирования бюджета на будущие периоды;
- помощь аналитикам в выборе технических решений для выполнения своих задач;
- перевод сложных расчетов витрин с Vertica на Trino;
- выбор и внедрение инструмента класса master data management.
Вам предстоит:
- анализ пайплайнов построения данных, поиск узких мест и способов оптимизации хранения и расчета таких пайплайнов;
- помощь в соблюдении сроков готовности данных в хранилище;
- помощь аналитикам в выборе и эффективном использовании технических решений и стандартов принятых в компании;
- поддержка стабильной работы инструментов и решений в зоне ответственности команды.
Мы ждём, что вы:
- имеете опыт работы с ClickHouse/Vertica/Trino/Greenplum;
- умеете программировать на Python/Java/другом языке программирования;
- умеете проектировать и оптимизировать пайплайны построения больших аналитических витрин;
- отлично знаете SQL;
- любите разбираться в том, как работают аналитические системы;
- умеете находить ответы на вопросы с помощью метрик и аналитики.
Будет здорово, если вы:
- имеете опыт работы и администрирования Linux-систем;
- ммеете опыт работы с Airflow/Dagster или другим решением подобного класса;
- имеете опыт отладки компонентов, написанных другими инженерами;
- имеете опыт выбора, развертывания и поддержки аналитических инструментов.
Работа у нас — это:
- интересные и важные задачи на очень большом проекте;
- передовые технологии и подходы, возможность пробовать новое;
- опытные и заинтересованные коллеги, готовые оказать поддержку;
- возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.
