Реализация метода однократного обучения с помощью нейронной сети

ВВЕДЕНИЕ 3
1. Описание предметной области 4
1.1. Архитектура SENet 6
2. Реализация и описание алгоритмов 9
3. Результаты экспериментов 16
3.1. Набор данных Omniglot 16
3.2. Валидация параметров нейронной сети 18
3.3. Эксперименты с новой архитектурой 26
ЗАКЛЮЧЕНИЕ 30
СПИСОК ЛИТЕРАТУРЫ 32
ПРИЛОЖЕНИЯ 35

1. Описание предметной области

Однократное распознавание (англ. one-shot recognition) – задача рас- познавания, в которой имеется ограничение на лишь один пример объекта в обучающей выборке. Первые работы по данной теме появились в начале 2000-ых [2, 3, 4, 5] и предлагали байесовские методы для многоклассовой классификации объектов. В исследованиях 2009 г. реализован подход с при- менением метода опорных векторов [6, 7].
В серии работ [8, 9] задача рассматривается с точки зрения когнити- вистики, исследуется возможность применения параметрических и непара- метрических иерархических байесовских моделей, а также DBM (англ. Deep Boltzmann Machine). Существенным вкладом авторов отмеченных источни- ков является создание набора данных Omniglot и выработка методики оценки качества однократного распознавания. Более детальное рассмотрение набора Omniglot и вышеуказанной методики представлено далее.
...

1.1. Архитектура SENet

В настоящее время, лучшими по качеству нейронными сетями для ре- шения широкого спектра задач компьютерного зрения являются сети типа residual (ResNet), особенность которых состоит в дополнительном остаточ- ном соединении (англ. skip connection), что позволяет обучать нейронные се- ти вплоть до 1000 слоёв [24]. Пример такого соединения в составе всего блока residual представлен на рисунке 1.

Рисунок 1 – Блок residual c остаточным соединением [24]

Стоит заметить, что операция поэлементного суммирования не являет- ся вычислительно сложной. Если в ходе преобразований размеры входного тензора x меняются, используется сверточный слой с шагом больше едини- цы или слой max-pooling, после чего суммирование становится возможным. Среди основных инструментов в таких сетях – сверточные фильтры разме- ром 3 × 3 и 1 × 1.
В работе рассматривается модификация сети типа residual — squeeze- and-excitation net (SENet), представленная в 2018 г.
...

2. Реализация и описание алгоритмов

Сиамская нейронная сеть состоит из блока входа, включающего две одинаковые подсети, соединительного блока – одного или нескольких обыч- но полносвязных слоёв, и выхода сети – числового значения, по которому формируется вывод решения поставленной задачи.
Подсети принимают на вход матрицы одинаковых размеров и полно- стью идентичны в архитектуре, при этом они разделяют веса, проводя вы- числение одной и той же функции. За счёт этого векторные представления обученной сети для двух похожих изображений не будут лежать в векторном пространстве далеко друг от друга. Сиамские сети симметричны: для пары изображений вывод будет одним и тем же независимо от того, в каком по- рядке подавать изображения на входы [12]. Пример такой сети для решения, например, задачи бинарной классификации можно увидеть на рисунке 4.
...

3.1. Набор данных Omniglot

Набор данных Omniglot был предложен в 2011 году в работе [8] и со- стоит из 50 алфавитов с 14-55 буквами в алфавите и 20 черно-белыми изоб- ражениями написаний каждой буквы разными людьми. Несмотря на просто- ту восприятия буквенно-цифровых символов человеком, задача оптического распознавания символов и сегодня остаётся сложной.
Для формирования обучающей выборки определены 30 из 50 алфави- тов, но случайные 8 из 20 начертаний каждого символа откладываются в са- мом начале и далее не используются при обучении. Положительные и отри- цательные пары генерируются случайным образом в равном соотношении, однако отрицательные пары всегда включают символы только из одного ал- фавита, что исключает пары похожих символов из разных алфавитов. На каж- дый алфавит отводится одинаковое количество пар, но это не гарантируется для каждого символа в алфавите. Точность верификации есть доля правиль- ных ответов.
...

3.2. Валидация параметров нейронной сети

В данном разделе рассматривается нейронная сеть базовой архитекту- ры. Реализация моделей проводится на языке программирования Python 3 c использованием фреймворка глубокого обучения Tensorflow 1.12. Для уско- рения подгрузки данных были применены готовые реализации классов и функ- ций из библиотеки PyTorch 1.0. Для генерации афинных преобразований изоб- ражений применяются методы библиотеки OpenCV 4.0.1.
Обучение нейронных сетей – длительный процесс, что обусловлено размерностью задачи минимизации. Ввиду большого числа параметров про- стые алгоритмы градиентного спуска могут потребовать больше времени на достижение определенного уровня точности или не достичь его вообще, по- этому обучение проводится с выбором одного из нескольких доступных в Tensorflow методов оптимизации: Adagrad, Adadelta, Adam, Momentum. Сре-
ди гиперпараметров, варьируются коэффициент обучения γ ∈ [0.01; 1.0], ко-
эффициент регуляризации λ ∈ [0.00001; 0.
...

3.3. Эксперименты с новой архитектурой
В ходе изучения работы [25] было принято решение о модификации базовой модели посредством включения блоков SE-ResNet. Подбор архитек- туры проводится итерационно. В первых экспериментах была обучена мо- дель, описание слоёв подсети которой приводится в таблице 8. В самом на- чале изображение дополняется по границе 4 пикселями со значением белого цвета, что меняет его размер до 113×113. Далее в целях понижения размер- ности тензора вычисляется сверточный слой с шагом 2, после которого сле- дуют 4 блока SE-ResNet. Блок SE-ResNet включает два сверточных слоя, где для второго слоя проводится рекалибровка активаций, после чего результат суммируется с остаточным соединением. Для последнего сверточного слоя проводится векторизация. Значение параметра r для данной сети равно 16.
...

ЗАКЛЮЧЕНИЕ

В ходе исследования удалось полностью реализовать метод однократ- ного обучения для классификации изображений с помощью сиамской свер- точной нейронной сети. Проверка точности проводится на наборе данных Omniglot в ходе 400 раундов однократного распознавания среди 20 классов.
Детальный разбор исследований по теме работы дал возможность до- стигнуть высоких показателей точности однократного распознавания на те- стовой выборке. В ходе валидации гиперпараметров удалось повысить точ- ность до 91.5% и экспериментально проверить влияние гиперпараметров на ход обучения. Тем не менее, разница финальных показателей точности на ва- лидационной и тестовой выборке для каждой конкретной модели могла до- стигать 17%. Более того, рост точности в одном случае часто сопровождался понижением точности в другом. Такие наблюдения свидетельствуют о недо- статочном размере выборки для проверки точности и возможной еще более значительной сложности задачи в целом.
...

1. Lake B. One-shot learning by inverting a compositional causal process [Text] / B. Lake, R. Salakhutdinov, J. Gross, J. Tenenbaum // Advances in neural information processing systems. – 2013. – С. 2526-2534.
2. Yip K. Sparse representations for fast, one-shot learning [Электронный ресурс] / K. Yip, G. Sussman. – 1997. – URL: https://dspace.mit.edu/handle/1721.1/6673 (дата обращения: 31.05.2019).
3. Fe-Fei L. A Bayesian approach to unsupervised one-shot learning of object categories [Text] / L. Fe-Fei, R. Fergus, P. Perona // Proceedings Ninth IEEE International conference on computer vision. – 2003. – С. 1134-1141.
4. Fe-Fei L. One-shot learning of object categories [Text] / L. Fe-Fei,
R. Fergus, P. Perona // IEEE Transactions on pattern analysis and machine intelligence, Т. 28. – 2006. – №4. – С. 594-611.
5. Miller E. Learning from one example through shared densities on transforms [Text] / E. Miller, N. E. Matsakis, P. A. Viola // Proceedings IEEE conference on computer vision and pattern recognition, T.1. – 2000. – С. 464–471.
6. Tommasi T. The more you know, the less you learn: from knowledge transfer to one-shot learning of object categories [Text] / T. Tommasi, B. Caputo
// Proceedings of the British machine vision conference. – 2009. – №23. – C.80.1.
7. Wolf L. The one-shot similarity kernel [Text] / L. Wolf, T. Hassner // IEEE 12th international conference on computer vision. – 2009. – С. 897-902.
8. Lake B. et al. One shot learning of simple visual concepts [Text] // Proceedings of the annual meeting of the cognitive science society, T.33. – 2011.
– №33. – C. 2568-2573.
9. Salakhutdinov R. One-shot learning with a hierarchical nonparametric bayesian model [Text] / R. Salakhutdinov, J. Tenenbaum // Proceedings of ICML workshop on unsupervised and transfer learning. – 2012. – С. 195-206.

10. Krizhevsky A. Imagenet classification with deep convolutional neural networks [Text] / A. Krizhevsky, I. Sutskever, G. Hinton // Advances in neural information processing systems. – 2012. – С. 1097-1105.
11. ImageNet classification with deep convolutional neural networks [Элек- тронный ресурс]. – URL: http://www.image-net.org/challenges/LSVRC. (дата обращения: 20.05.2019)
12. Koch G. Siamese neural networks for one-shot image recognition [Text] /
G. Koch, R. Zemel, R. Salakhutdinov // ICML deep learning workshop, Т. 2. – 2015.
13. Bromley J. Signature verification using a siamese time delay neural network [Text] / J. Bromley, I. Guyon, Y. LeCun, E. Sackinger, R. Shah // Advances in neural information processing systems. – 1994. – С. 737-744.
14. Taigman Y. Deepface: Closing the gap to human-level performance in face verification [Text] / Y. Taigman, Y. Ming, M. Ranzato, L. Wolf // Proceedings of the IEEE conference on computer vision and pattern recognition. – 2014. – С. 1701-1708.
15. Schroff F. Facenet: A unified embedding for face recognition and clustering [Text] / F. Schroff, D. Kalenichenko, J. Philbin // Proceedings of the IEEE conference on computer vision and pattern recognition. – 2015. – С. 815-823.
16. Vinyals O. Matching networks for one shot learning [Text] / O. Vinyals,
C. Blundell, T. Lillicrap // Advances in neural information processing systems. – 2016. – С. 3630-3638.
17. Santoro A. One-shot learning with memory-augmented neural networks [Электронный ресурс] / B. Sergey B., M. Botvinick, D. Wierstra, T. Lillicrap.
– 2016. – URL: https://arxiv.org/abs/1605.06065 (дата обращения: 25.05.2019)
18. Michaelis C. One-shot segmentation in clutter [Text] / C. Michaelis, M. Bethge, A.S. Ecker // Proceedings of the 35th International Conference on Machine Learning. – 2018. – C. 3549-3558.

19. Shaban A. One-Shot learning for semantic segmentation [Электрон- ный ресурс] / S. Bansal, Z. Liu, I. Essa, B. Boots. – 2017. – URL: https://arxiv.org/abs/1709.03410 (дата обращения: 26.05.2019).
20. Keren G. Weakly supervised one-shot detection with attention siamese networks [Электронный ресурс] / G. Keren, M. Schmitt, T. Kehrenberg. – 2018. URL: https://arxiv.org/abs/1801.03329 (дата обращения: 26.05.2019).
21. Yuan J. et al. One-shot learning for fine-grained relation extraction via convolutional siamese neural network [Text] / J. Yuan, H. Guo, Z. Jin, H. Jin, X. Zhang // IEEE International conference on big data. – 2017. – С. 2194-2199.
22. Cai Q. Memory matching networks for one-shot image recognition [Text] /
Q. Cai, Y. Pan, T. Yao, C. Yan, T. Mei // Proceedings of the IEEE conference on computer vision and pattern recognition. – 2018. – С. 4080-4088.
23. Lake B. The Omniglot challenge: a 3-year progress report [Электрон- ный ресурс] / B. Lake, R. Salakhutdinov, J. B. Tenenbaum. – 2019. – URL: https://arxiv.org/abs/1902.03477 (дата обращения: 26.05.2019).
24. He K. Deep residual learning for image recognition [Text] / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE conference on computer vision and pattern recognition. – 2016. – С. 770-778.
25. Hu J. Squeeze-and-Excitation networks [Text] / J. Hu, L. Shen, G. Sun // IEEE conference on computer vision and pattern recognition. – 2018. – C. 7132- 7141.
26. Ioffe S. Batch normalization: accelerating deep network training by reducing internal covariate shift / S. Ioffe, C. Szegedy // Proceedings of the 32nd International conference on machine learning. – 2015. – C. 448-456.
27. He K. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification [Text] / K. He, X. Zhang, S. Ren, J. Sun // The IEEE International conference on computer vision. – 2015. – C. 1026-1034.
28. Набор Omniglot [Электронный ресурс]. – 2015. URL: https://github.com/brendenlake/omniglot (дата обращения: 25.05.2019).