Степенные законы в ансамблях нейронных сетей

Заказчики

Samsung Research, Samsung Electronics,​ Российский научный фонд​

Исполнитель

Центр глубинного обучения и байесовских методов ,​ лаборатория компании Самсунг ФКН НИУ ВШЭ​ Лобачева Е.М., Чиркова Н.А., Кодрян М.С., Ветров Д.П.​

Руководитель проекта

Ветров Дмитрий Петрович​

Цель исследования

Исследование поведения качества ансамбля нейронных сетей в зависимости от числа сетей в ансамбле и размеров этих сетей.​

Результат

​Выведены условия, при которых качество ансамбля нейронных сетей ведет себя как степенной закон. Кроме того, обнаружен эффект преимущества разделения памяти: при фиксированном бюджете памяти ансамбль из нескольких сетей среднего размера превосходит по качеству работы одну большую сеть. Используя обнаруженные степенные законы, мы можем на основе небольшого количества обученных сетей предсказывать возможный выигрыш от ансамблирования сетей с заданной структурой и оптимальное разделение памяти при заданном бюджете памяти.​

Публикации

1. Lobacheva Е. et al. On Power Laws in Deep Ensembles // NeurIPS, 2020 (A*)​
2. Chirkova N. Et al. Deep Ensembles on a Fixed Memory Budget: One Wide Network or Several Thinner Ones? // arXiv:2005.07292, 2020​

Рисунки