Исследование принципов разработки нейронной сети на примере задачи классификации данных в PyTorch

Задание

1. Изучить понятие кросс-энтропии и Softmax.

2. Исследовать нейронную сеть при заданных начальных параметрах:

· Метод оптимизации: SGD

· Число нейронов в скрытом слое n_hidden_neurons: 40

· Шаг градиентного спуска lr: 0.01

Найти минимальное значение n_hidden_neurons, при котором сеть дает неудовлетворительные результаты, т.е. обучение невозможно.

3. Исследовать зависимость точности распознавания от количества нейронов в скрытом слое, количества слоев, метода активации.

4. При каком значении test_size сеть предсказывает хуже, чем Base Rate (BaseRate – это вероятность самого многочисленного класса в исходных данных)? И какой Base Rate у датасета вин? Примечание: самый многочисленный класс датасета – первый.

BaseRate = len(wine.target[wine.target == 1]) / len(wine.target)

5. Исследовать зависимость времени обучения от размера батча.

Оглавление Теория ........................................................................................................................... 3 Задание ......................................................................................................................... 3 Процесс выполнения работы .................................................................................... 4 Вывод .......................................................................................................................... 15

Лабораторная работа №8 (исследование принципов разработки нейронной сети на примере задачи классификации данных в PyTorch) Вариант 8 по дисциплине: Теория информации, данные, знания. Работа студента ИСиТ СПбГУТ