MAESTRO: Синтез многоходовых агентных окружений для обучения и оптимизации

MAESTRO: Синтез многоходовых агентных окружений для обучения и оптимизации

Ионов Т.Р. (ЦИИ МВС ИТМО, Санкт-Петербург, Россия)
Малых В.А. (ЦИИ МВС ИТМО, Санкт-Петербург, Россия)

Аннотация

Ручное создание наборов задач для оценки диалоговых агентов с вызовом инструментов не масштабируется: каждая предметная область требует дней экспертной работы для проектирования модели данных, реализации инструментов, написания правил работы агента и создания оценочных задач. В статье представлена система MAESTRO, которая автоматизирует эти этапы с помощью агентов на основе больших языковых моделей, способных создавать программный код. Система формирует базы данных, инструменты, правила и задания, а затем проверяет их посредством моделирования диалогов и исправляет обнаруженные ошибки. Насколько нам известно, ранее не предлагалось систем, объединяющих автоматическое создание всех перечисленных компонентов, экспертную проверку и использование полученных сред для обучения многошаговых диалоговых агентов. Система оценивает агентов по мультипликативной тройной метрике, сочетающей проверку состояния базы данных, сопоставление вызовов инструментов и оценку естественно-языковых утверждений (95,6% согласия судьи и группы из 11 экспертов). На отложенной тестовой выборке (3 предметные области, 90 задач) обучение методом группового сравнения (GRPO) значимо превосходит обучение с учителем (SFT) и оптимизацию по предпочтениям (DPO), а полученная модель 9B превосходит базовую 27B, что демонстрирует большую эффективность обучения с подкреплением на доменно-специфичных задачах по сравнению с масштабированием параметров. MAESTRO опубликован в открытом доступе в репозитории.

Ключевые слова

большие языковые модели; генерация бенчмарков; вызов инструментов; диалоговые агенты; обучение с подкреплением; кодовые агенты.

Издание

Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 275-284.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(6)-37

Для цитирования

Ионов Т.Р., Малых В.А. MAESTRO: Синтез многоходовых агентных окружений для обучения и оптимизации. Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 275-284. DOI: 10.15514/ISPRAS-2026-38(6)-37.

Полный текст статьи в формате pdf (на английском) Вернуться к содержанию тома