Сборники трудов ИСП РАН


Регуляризация Байеса при подборе весовых коэффициентов в ансамблях предикторов

Нужный А.С. (ИБРАЭ РАН, Москва, Россия)

Аннотация

В статье рассматривается задача обучения с учителем: требуется восстановить зависимость, отображающую векторное множество в скалярное по конечному набору примеров такого отображения – обучающей выборке. Данная задача относится к классу обратных задач, и, как и большинство обратных задач, является математически некорректной. Это выражается в том, что если строить решение методом наименьших квадратов по точкам обучающей выборки, то можно столкнуться с переобучением – ситуацией, когда модель хорошо описывает обучающее множество, но дает большую ошибку на тестовом. Нами применяется подход, когда решение ищется в виде ансамбля предиктивных моделей. Ансамбли строятся с использованием метода бэггинга. В качестве базовых обучаемых моделей в работе используются персептроны и деревья решений. Конечное решение получается путем взвешенного голосования предикторов. Весовые коэффициенты подбираются путем минимизации ошибки ансамбля на обучающей выборке. Для борьбы с переобучением при подборе весовых коэффициентов применяется байесовская регуляризация решения. Чтобы подобрать параметры регуляризации, в работе предложено использовать метод ортогонализованных базисных функций, который позволяет получить их оптимальные значения без использования ресурсоемких итерационных процедур.

Ключевые слова

обучение с учителем; бэггинг; некорректные задачи; Байесовская регуляризация обучения

Издание

Труды Института системного программирования РАН, том 31, вып. 4, 2019, стр. 113-120.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2019-31(4)-7

Для цитирования

Нужный А.С. Регуляризация Байеса при подборе весовых коэффициентов в ансамблях предикторов. Труды Института системного программирования РАН, том 31, вып. 4, 2019, стр. 113-120. DOI: 10.15514/ISPRAS-2019-31(4)-7.

Полный текст статьи в формате pdf Вернуться к содержанию тома