DS-инженер в команду Item2param

О команде

В Авито появляется всё больше новых категорий, каждая из которых продвигается по уровням зрелости, приближается к market normal и запускает новые продукты. Развитие категорий невозможно без качественного покрытия контента параметрами. Поэтому мы в команде Item2param разрабатываем платформу для обучения и инференса ML-моделей, которые извлекают признаки объявлений. Уже сейчас на базе платформы любой Data Scientist компании может обучить и выкатить в продакшен свою модель. Результаты работы моделей используют десятки команд Авито: для модерации категории объявления, автозаполнения параметров на подаче, определения типа ремонта по фото в недвижимости и многого другого. С одной стороны мы используем самые последние модели, чтобы добиваться лучшего качества, с другой — оптимизируем инференс, чтобы держать реал-тайм нагрузку.
Поскольку число запросов на модели растёт, перед нами стоит цель снизить порог входа на платформу: сделать так, чтобы свою модель мог добавить любой сотрудник без навыков ML — только за счёт разметки датасета, используя готовые инструменты.

Вам предстоит:

—   повышать качество текущих базовых моделей: текстовых, картиночных и мультимодальных трансформеров;

—   автоматизировать обучение: настройка пайплайнов для сбора данных, переобучения и мониторинга качества;

—   дорабатывать пайплайны разметки с использованием LLM;

—   масштабировать и оптимизировать сервис под растущую нагрузку (тысячи запросов в секунду) и под новые модели;

—   добавлять новые сценарии: например, возможности определения параметров со свободным полем ввода (задача ner).

Мы ждём, что вы:

—   имеете не мене четырёх лет опыта реализации и эксплуатации ML-решений, в том числе опыт в задачах DL для текстов и/или картинок (не менее двух лет);

—   умеете размечать данные для своих задач;

—   работали с микросервисами на Python, Docker’ом, SQL- и noSQL-базами.

Будет здорово, если вы:

—   имеете опыт менторства младших коллег;

—   работали с мультимодальными моделями;

—   разбираетесь в Airflow и MLflow или в аналогичных MLOps-инструментах.

Работа у нас — это:

— возможность улучшать опыт миллионов пользователей;

— интересные и сложные задачи на большом масштабе;

— сильная команда, которая всегда готова прийти на помощь;

— возможность изучать и пробовать новое, мощное железо для этого;

— бюджет на обучение, который можно тратить на курсы или профессиональную литературу;

— забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;

— возможность работать удалённо или из офисов в четырёх городах России.