Тимлид разработки в команду LLM

О команде

Наша команда занимается обучением своей базовой LLM и применяет её к разным бизнес-задачам Авито.

Для разработки базовой модели мы адаптируем лучшие open source модели под русский язык и домен Авито с помощью Continual Pre-training и подмены токенизатора. Об этом можно почитать в статье на Хабре:

→ Как мы обучили Mistral 7B русскому языку и адаптировали для объявлений.

Для улучшения модели мы исследуем новые методы и датасеты. А чтобы все в команде были на одной волне, у нас есть LLM-семинары, на которых мы обсуждаем самые интересные статьи.

Уже сейчас с помощью LLM мы выполнили много интересных и полезных задач для Авито. Вот несколько примеров продуктов, где нам уже удалось внедрить LLM:

- Генерация описания. В некоторых категориях Авито уже не обязательно готовить описание объявления самостоятельно — можно взять сгенерированный текст от LLM.

- Модификация отчётов Автотеки. Данные для них Авито получает от партнёров, которые часто пользуются непонятными для обычных людей формулировками и сокращениями. Мы обучили LLM их расшифровывать.

- Суммаризация чатов агентов поддержки. Когда у агента не получается справиться с проблемой, он может передать её более опытному коллеге. Для этого нужно кратко описать содержание чата с пользователем. Теперь это может делать LLM.

- Модификация сообщений агентов поддержки. Мы обучили LLM перефразировать некоторые сообщения агентов поддержки, чтобы сделать их более эмпатичными и исправить ошибки.

- Саджесты в мессенджере. Когда пишете сообщение на Авито, вы можете встретить всплывающие подсказки от LLM — они помогут удобнее и быстрее общаться в чате.

Вам предстоит:

• возглавлять команду разработки юнита LLM;
• вместе с командой проектировать и реализовать LLM Ops Platform, LLM Platform, адаптировать open source для потребностей команд, RAG-решения;
• отвечать за команду и найм;
• отвечать за цели и их выполнение;
• планировать и контролировать процесс разработки;
• взаимодействовать с Data Science: сбор use cases по необходимым платформам, синхронизация планов и целей по платформам.

Мы ждём, что вы:

• умеете проектировать платформенные системы;
• имеете опыт управления командой из 5–7 инженеров;
• хорошо понимаете процесс разработки и можете его организовывать и оптимизировать;
• знаете, когда надо настоять на качественном решении, а когда можно им пожертвовать.

Будет здорово, если вы:

• имели опыт работы с фреймворками: Torch, TensorFlow, Transformers, vLLM;
• понимаете принципы работы и оптимизации больших языковых моделей;
• имеете опыт работы c ML / LLM Ops;
• имеете опыт работы с K8s, Docker на среднем уровне.