Изучение и усовершенствование современных методов ансамблирования нейронных сетей

Заказчики

Samsung Research, Samsung Electronics​

Исполнитель

Центр глубинного обучения и байесовских методов ,​ лаборатория компании Самсунг ФКН НИУ ВШЭ​

Руководитель проекта

Ашуха Арсений Павлович​ ​

Цель исследования

Изучение и усовершенствование современных методов ансамблирования нейронных сетей.

Результат

1. Проведено сравнение методов ансамблирования на реалистичных изображениях (CIFAR-10, CIFAR-100, ImageNet)​
2. Показана несостоятельность широко используемых метрик качества ансамблей, предложены метрики лишенные ряда недостатков;​
3. Предложены новые методы ансамблирования, которые могут быть скомбинированы с другими подходами​
4. Методы реализован в рамках библиотеки pytorch, все исходные коды выложены в открытый доступ: github.com/bayesgroup/pytorch-ensembles, github.com/bayesgroup/gps-augment.​

Публикации

1. Molchanov D., Lyzhov A., Molchanova Y., Ashukha A., Vetrov D. Greedy Policy Search: A Simple Baseline for Learnable Test-Time Augmentation // Conference on Uncertainty in Artificial Intelligence, 2020 (A*)​
2. Ashukha A., Lyzhov A., Molchanov D., Vetrov D. Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning // International Conference on Learning Representations, 2020​

Рисунки