Ведущий технический продакт-менеджер в команду LLM

О команде

Мы ищем технического продакт-менеджера, который будет развивать два платформенных продукта для команд Авито:

• LLM Gateway — единую точку доступа к внутренним и внешним языковым моделям с удобным подключением, управлением лимитами и прозрачной стоимостью использования;
• LLM Eval — платформу оценки качества разных LLM-проектов, которая поможет командам сравнивать решения, проверять изменения и находить ухудшения качества до релиза.

Вам предстоит вести полный продуктовый цикл: исследовать потребности внутренних пользователей, определять стратегию и приоритеты, запускать решения вместе с техническими командами и оценивать их пользу. Главная задача — сделать работу с LLM в Авито удобной, надёжной и экономически эффективной.

Какие задачи вас ждут:

• исследовать потребности внутренних команд, находить общие проблемы и превращать их в возможности для развития платформ;
• формировать стратегию, дорожную карту и бэклог двух продуктов, согласовывать приоритеты и зависимости с заинтересованными командами;
• определять метрики успеха: скорость подключения и запуска первых сценариев, активное использование платформ, стоимость обращений к моделям и охват проектов регулярными проверками качества;
• отвечать за внедрение продуктов: организовывать пилоты, собирать обратную связь, улучшать документацию и пользовательские сценарии.

Примеры будущих задач:

• в LLM Gateway:

  • развивать самостоятельное подключение команд к моделям: каталог доступных LLM, оформление доступов, управление квотами и лимитами, просмотр потребления;
  • выстроить прозрачную экономику использования внутренних и внешних моделей: оценку стоимости запросов, распределение затрат между командами, бюджетирование и прогнозирование расходов;
  • вместе с закупками, юристами, информационной безопасностью и инженерами организовать выбор и подключение внешних провайдеров с учётом качества, стоимости, надёжности и требований к данным;
  • совместно с DS и инженерными командами развивать подходы к выбору моделей и маршрутизации запросов, находить баланс между качеством ответа, скоростью и стоимостью;

• в LLM Eval:

  • определить ключевые сценарии и MVP платформы оценки качества для разных LLM-проектов внутри Авито;
  • вместе с DS и продуктовыми командами сформировать требования к тестовым наборам, метрикам и способам оценки: автоматическим проверкам, экспертной разметке и использованию LLM в роли оценщика;
  • создать удобный путь от подключения проекта и запуска оценки до сравнения моделей, промптов и версий решения, анализа ошибок и принятия решения о релизе;
  • обеспечить воспроизводимость результатов и встроить регулярные проверки качества в процесс разработки LLM-продуктов.

Мы ждём, что вы:

• имеете опыт управления техническими или платформенными продуктами и можете рассказать о результатах их запуска и развития;
• умеете исследовать потребности пользователей, проверять гипотезы и приоритизировать задачи по ожидаемому эффекту;
• понимаете принципы работы API, интеграций и серверных систем, можете обсуждать технические ограничения и варианты решений с инженерами;
• разбираетесь в принципах применения LLM и понимаете компромиссы между качеством, задержкой ответа, пропускной способностью и стоимостью;
• умеете работать с продуктовыми метриками и экономикой: оценивать эффект изменений, стоимость использования и потребность в ресурсах;
• самостоятельно работаете с неопределённостью и умеете согласовывать интересы нескольких команд.

Будет здорово, если вы:

• развивали ML/LLM-платформы, инструменты для разработчиков или внутренние инфраструктурные продукты;
• участвовали в построении систем оценки качества ML/LLM-решений и знакомы с особенностями автоматической и экспертной оценки;
• работали с экономикой облачных сервисов или GPU-инфраструктуры, бюджетированием и внешними технологическими провайдерами;
• имеете опыт в разработке, аналитике или Data Science и используете его в продуктовой работе.

Работа у нас — это:

• расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
• сервис психологической поддержки, а также финансовые, юридические и ЗОЖ‑консультации для вас и ваших близких;
• корпоративный спорт: групповые тренировки, велбиинг-приложение;
• спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
• компенсация питания;
• возможность запускать продукты, которыми пользуются миллионы людей;
• зрелая продуктовая культура с прозрачными и эффективными процессами;
• перспективы для роста и понятный карьерный трек;
• комьюнити экспертов мирового уровня, обучение, поддержка и обмен опытом.