Руководитель разработки юнита LLM Tech

О команде

Наша команда обучает собственные базовые LLM и внедряет их в бизнес-сценарии Авито. Цель команды — обеспечить продукты моделями, которые соответствуют требованиям по качеству ответов и стоимости применения.

Мы адаптируем решения с открытым исходным кодом под русский язык и доменную специфику Авито с помощью continual pre-training и подмены токенизатора. Для развития моделей команда исследует новые методы и пайплайны, включая RL и синтетические данные, а также работает с датасетами. Мы проводим регулярные LLM-семинары, где разбираем статьи и AI-тренды.

Технический фокус команды — построение масштабируемого пайплайна для претрейна и дообучения LLM, оптимизация инференса: работа с современными движками, квантованием, speculative decoding и другими методами ускорения, а также развитие LLM Gateway — единой точки входа для работы с внутренними и внешними LLM.

Какие задачи вас ждут:

• отвечать за GPU-инфраструктуру для LLM: от железа до утилизации;
• определять и реализовывать стратегию развития инференса LLM;
• оптимизировать инференс LLM;
• определять стратегию использования внешних LLM-провайдеров и развивать LLM Gateway;
• развивать платформы оценки качества, RAG и LLM Gateway;
• быть надёжным партнёром для DS UL;

• работать с ключевыми метриками:

  • cost per token × model size;
  • утилизация;
  • SLA;
  • удовлетворённость пользователей LLM Gateway;
  • экономические показатели LLM.

Мы ждём, что вы:

• имеете экспертизу в GPU;
• работали с DS в области LLM и оптимизации инференса;
• понимаете, как работают LLM, инфраструктура вокруг них и оценка качества моделей;
• имеете опыт оптимизации инференса LLM;
• управляли несколькими командами, применяли системный подход к менеджменту и работали через лидов и цели;
• вели проекты для стейкхолдеров уровня кластер-лидов и СЕО;
• умеете переводить сложные технические темы на понятный язык;
• понимаете задачи DS и умеете договариваться с командами;
• умеете оценивать ситуацию и решать проблемы до того, как они повлияют на результат.

Работа у нас — это:

• расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
• сервис психологической поддержки, а также финансовые, юридические и ЗОЖ‑консультации для вас и ваших близких;
• корпоративный спорт: групповые тренировки, велбиинг-приложение;
• спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
• компенсация питания;
• возможность развиваться в сильной команде лидеров и помогать расти другим;
• чёткая матрица компетенций с прозрачными ожиданиями на всех уровнях;
• уникальный культурный код и сильное экспертное комьюнити.