Data Engineer в команду Usage (Data Quality)
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Команда Data Quality разрабатывает систему и процессы для повышения качества данных и управления правами доступа к данным. Мы стремимся обеспечить простой способ детектирования и устранения проблем в данных, а также быстрый и наглядный процесс правомерного выделения доступа к данным. В нашем хранилище лежит более петабайта данных, которыми пользуется более 3000 человек
Важность качества и доступности информации в Авито очень высока, но при этом безопасность также является одним из основных приоритетов. В этой роли вам предстоит разрабатывать систему управления доступом к данным, а также развивать систему повышения качества данных. Вы будете получать обратную связь от команды Security, работать с аналитиками и разработчиками, а также продвигать лучшие практики и делиться своим опытом с командой.
Примеры будущих задач:
- управление метаданныыми дата платформы;
- помощь аналитикам и другим пользователям в поиске метаданных;
- маршрутизация запросов внутри платформы;
- помощь владельцу дата каталога в приоритезации и анализе потребностей пользователей;
- развитие инструментов data-retrieval;
- разметка sql для llms;
- написание витрин метаданных.
Вам предстоит:
- реализация запроса "где можно посмотреть список витрин, зависящих от сырой таблицы (используя dl)"
- перенос документации из confluence в дата каталог
- написание документации на процесс дежурства в канале платформы.
Мы ждём, что вы:
- знаете sql на уровне свободного владения без динамики и рекурсии;
- знаете python на базовом уровне для автоматизации своих операционных задач;
- имеете опыт сбора требований и их описания;
- хотите развиваться в направлении Data governance, data-ops, doc-ops.
Будет здорово, если вы:
- работали с корпоративными хранилищами;
- знаете разницу между 3-нф, anchor, data vault.
Работа у нас — это:
— интересные и важные задачи на очень большом проекте;
— передовые технологии и подходы, возможность пробовать новое;
— опытные и заинтересованные коллеги, готовые оказать поддержку;
— возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;
— личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
— забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
— возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.
