Алгоритмы интеллектуальной обработки больших объемов данных

Упражнение 1:

Номер 1

Рассмотрим многослойный персептрон, состоящий из вытянутых в линейную цепочку 10 нейронов (один из них входной, один выходной, а 8 образуют 8 скрытых слоев). Для коррекции весов используется алгоритм обратного распространения ошибки (back propagation). Функция ошибки среднеквадратическая. Значения весов и ошибка на выходе не превышают по модулю единицы. Выберите, при каких значениях сигнала на входе градиент на входе может превысить 0,0001.

Ответ:

(1) 1

(2) 2,5

(3) 25

(4) 100

(5) 125

(6) 225

(7) 250

Номер 2

Особенностью паралича сети является:

Ответ:

(1) Значение градиента затухает экспоненциально

(2) При больших значениях весов этот эффект усиливается

(3) При малых значениях весов значение градиента может экспоненциально возрастать

(4) Глубокие нейронные сети не сильно страдают от этого

Упражнение 2:

Номер 1

Сколько слоев может обработать одна ограниченная машина Больцмана (restricted Boltzmann machine - RBM)?

Ответ:

(1) 1

(2) 2

(3) 3

(4) Не больше 4, иначе сеть станет неустойчивой

(5) Зависит от числа нейронов в каждом слое

(6) Нет ограничений

Номер 2

Ошибкой обучения нейронной сети называется:

Ответ:

(1) Возможности преобразования n-мерного пространства в пространство с любым количеством измерений;

(2) Разность между желаемым и полученным на выходе сигналами;

(3) Сумма между желаемым и полученным на выходе сигналами;

(4) Связь, в которой, в которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов;

Упражнение 3:

Номер 1

Выберите верные утверждения:

Ответ:

(1) Multimodal Deep Boltzmann machine моделирует совместное распределение изображения и текста

(2) Convolutional neural network применяется для распознавания изображений

(3) Deep autoencoder бинарным образом кодирует изображения

(4) Deep discriminative restricted Boltzmann machine ставит метки в соответствие изображениям

(5) Deep directed network легко обучаема

(6) Recurrent neural network применяется для распознавания голоса

Номер 2

Согласно стандартной модели зрительной коры головного мозга, считается что?

Ответ:

(1) каждый следующий нейронный слой выучивает предыдущий нейронный слой

(2) каждый следующий нейронный слой выучивает новый уровень абстракции данных

(3) каждый следующий нейронный слой выучивает новый возникающий слой нейронов

Упражнение 4:

Номер 1

Как можно решить проблему паралича сети?

Ответ:

(1) Увеличение количества скрытых слоев

(2) Тонкая настройка весов, используя алгоритм обратного распространения ошибки

(3) Использование ограниченной машины Больцмана

(4) Использование бустинга, используя алгоритм сэмплинга по Гиббсу

(5) Повышение весов первых слоев нейронной сети

Номер 2

Решением проблемы паралича сети могут быть следующие идеи.

Ответ:

(1) если инициализировать веса таким образом, что бы образ оригинального изображения в скрытом пространстве описывал бы прообраз максимально точно

(2) именно это и делает ограниченная машина Больцмана

(3) если инициализировать веса таким образом, что бы образ оригинального изображения в открытом пространстве описывал бы прообраз максимально точно

Упражнение 5:

Номер 1

Выберите верное утверждение

Ответ:

(1) Машина Больцмана моделирует ошибку, а автоэнкодер моделирует вероятностное распределение

(2) Машина Больцмана моделирует вероятностное распределение, а автоэнкодер моделирует ошибку

(3) Машина Больцмана и автоэнкодер моделируют вероятностное распределение

(4) Машина Больцмана и автоэнкодер моделируют ошибку

Номер 2

Жадный алгоритм предобучения включает этапы ?

Ответ:

(1) последовательно натренировать каждую пару слоев в глубокой сети (возможно кроме первого и второго скрытого слоя от выходного слоя);

(2) осуществить тонкую настройку весов, используя алгоритм обратного распространения ошибки;

(3) применить алгоритм Contrastive Divergence;

Упражнение 6:

Номер 1

Зачем нужен backprop?

Ответ:

(1) Для минимизации ошибки

(2) Для корректировки веса сети

(3) Для определения обучающей тройки нейронов из обучающего множества

(4) Для определения целевого вектора

(5) Для обучения многослойных нейронных сетей

Номер 2

Выберете верное высказывание, характеризующее паралич сети для Backprop?

Ответ:

(1) Значение градиента затухает экспоненциально, сходимость замедляется

(2) При малых значениях весов эффект затухания усиливается

(3) При больших значениях весов значение градиента может экспоненциально возрастать, алгоритм расходится

(4) все перечисленное верно

Упражнение 7:

Номер 1

Напишите название типа нейронной сети, представленной на схеме ниже: "Это ___ нейросеть с общими весами во времени"

Ответ:

Глубинная

Номер 2

Весь процесс обучения глубокой сети можно свести к процессу?

Ответ:

(1) Предобучение сети используя машину Больцмана

(2) Осуществить тонкую настройку весов, используя алгоритм обратного распростронения ошибки (fint turning)

(3) Оба варианта верны

(4) Не верен ни один вариант

Номер 3

Тип нейросетей которые на данный момент доминируют во всем компьютерном зрении?

Ответ:

(1) Сверточные нейросети

(2) Рекурентные нейронные сети

(3) Deep belief network

(4) deep Boltzmann machine

Алгоритмы интеллектуальной обработки больших объемов данных - тест 13