Алгоритмы интеллектуальной обработки больших объемов данных

Упражнение 1:

Номер 1

Дан отрезок, четко "раскрашенный" слева на 4/7 черным цветом, а справа на 3/7 – белым, что можно представить в виде вектора (1;1;1;1;-1;-1;-1). Чтобы запомнить этот "правильный" образ, обучается нейронная сеть Хопфилда с семью нейронами (возможные состояния нейронов 1/-1, порог нулевой), где указанный вектор подается как образец (обучающий пример).
В качестве тестового образца подадим на вход обученной нейронной сети черно-белый отрезок с "размытой" границей (1;1;1;-1;1;-1;-1). Проверьте, сможет ли обученная нейронная сеть проигнорировать испорченный участок и восстановить исходный отрезок:

Ответ:

(1) Да, на выходе мы получим неискаженный вектор (1;1;1;1;-1;-1;-1)

(2) Нет, на выходе мы получим искаженный вектор (1;1;1;-1;1;-1;-1)

(3) Нет, на выходе мы получим искаженный вектор (1;1;1;-1;-1;-1;-1)

(4) Нет, на выходе мы получим искаженный вектор (1;1;1;-1;1;1;-1)

(5) Нет, на выходе мы получим искаженный вектор (1;1;1;1;-1;1;-1)

(6) Нет, на выходе мы получим искаженный вектор (1;1;1;1;1;-1;-1)

Номер 2

Укажите достоинства машины Боцмана:

Ответ:

(1) Существует возможность вычислить Z

(2) Невозможно использовать семплирование Гиббса

(3) Время, требуемое для обучения такой модели экспоненциально зависит от размера машины

Упражнение 2:

Номер 1

Имеется стохастическая нейронная сеть машина Больцмана (Boltzmann machine - BM) с возможными состояниями нейронов 1/0. В некоторый фиксированный момент рассмотрим нейрон из скрытого слоя i, связанный только с нейронами i1, i2, i3, имеющими состояния 1, 1, 0 соответственно. Веса связей нейрона i с нейронами i1, i2, i3 равны 0,4, -0,3, 0,2 соответственно. Смещение нейрона i равно 0,5. Найдите, во сколько раз вероятность включения нейрона i P(i=1) выше при температуре T=1, чем при температуре T=10. Ответ укажите с точностью до двух знаков после запятой:

Ответ:

1,25

Номер 2

Сети с обратными связями – это

Ответ:

(1) сети Хопфилда (задачи ассоциативной памяти);

(2) Перцептрон;

(3) сети Кохонена (задачи кластерного анализа);

(4) Рекуррентные нейронные сети;

Упражнение 3:

Номер 1

Имеется стохастическая нейронная сеть ограниченная машина Больцмана (restricted Boltzmann machine - RBM) с возможными состояниями нейронов 1/0. Рассмотрим видимый нейрон i с состоянием Vi и скрытый нейрон j с состоянием Hj. Для определения изменения весов применим алгоритм Contrastive Divergence. Найдено следующее соответствие состояний нейронов для 6 моментов времени. t=0: Vi=0, Hj=1; t=1: Vi=1, Hj=1; t=2: Vi=0, Hj=1; t=3: Vi=1, Hj=1; t=4: Vi=0, Hj=0; t=5: Vi=1, Hj=1. Постройте 2 статистики для вычисления математических ожиданий произведений состояний нейронов i и j: одна из них (позитивная фаза) является средним из 6 чисел, другая (негативная фаза) - из 5. Найдите величину необходимого изменения веса связи между нейронами i и j, если параметр скорости обучения равен 0,4. Ответ укажите с точностью до двух знаков после запятой:

Ответ:

0,04

Номер 2

Какое утверждение можно отнести к первому правилу Хебба ?

Ответ:

(1) если два нейрона по разные стороны от синапсов активируются синхронно, то "вес" синапса, слегка возрастает

(2) если два нейрона по разные стороны от синапсов активируются aсинхронно, то "вес" синапса, слегка возрастает

(3) если два нейрона по разные стороны от синапсов активируются синхронно, то "вес" синапса, слегка уменьшается

(4) если два нейрона по разные стороны от синапсов активируются асинхронно, то "вес" синапса, слегка уменьшается

Упражнение 4:

Номер 1

Укажите пропущенные слова в первом правиле Хебба: "Если два нейрона по разные стороны от синапсов активируются …, то "вес" синапса … "

Ответ:

(1) сигмоидой , не изменяется

(2) одновременно, уменьшится

(3) синхронно, слегка возрастает

(4) одной и той же функцией, изменяется в соответствии с функцией активации

Номер 2

Машина Больцмана представляет из себя полносвязный неориентированный граф, где ?

Ответ:

(1) любые две вершины из одной группы зависят друг от друга

(2) любые три вершины из одной группы зависят от остальных вершин слоя

(3) любые две вершины из разных групп зависят друг от друга

Упражнение 5:

Номер 1

Продолжите фразу "Машина Больцмана - стохастический генеративный…"

Ответ:

(1) ...вариант перцептрона.

(2) ...вариант нейронной сети Хемминга.

(3) ...вариант сети Хопфилда.

(4) вариант сети Элмана

Номер 2

В чем состоит основная идея обучения алгоритма Contrastive Divergence?

Ответ:

(1) математические ожидания заменяются вполне определенными значениями

(2) математические ожидания заменяются вероятностными значениями

(3) математические ожидания заменяются средним значением случайной величины

Упражнение 6:

Номер 1

Что из этого не нужно сэмплировать: скрытый слой, видимой слой, значения скрытого слоя, значения видимого слоя

Ответ:

(1) Сэмплировать нужно всё указанное

(2) Видимый слой

(3) Значения скрытого слоя

(4) Значения видимого слоя

(5) Скрытый слой

Номер 2

Для чего используется логарифм правдоподобия Бернулли?

Ответ:

(1) задачи регрессии

(2) задач классификации

(3) для обоих случаев

(4) нет правильного ответа

Упражнение 7:

Номер 1

На картине ниже представлена схема:

Ответ:

(1) Поверхность, описываемая энергией сети Хопфилда;

(2) Дерево решений;

(3) Нейросеть Кохонена;

(4) Дифференцирование перекрестной энтропии;

Номер 2

Выберете не верное высказывание характеризующее машину Больцмана?

Ответ:

(1) Время, требуемое для обучения модели, экспоненциально зависит от размера машины

(2) не приходится использовать семплирование Гиббса, в связи с топологией сети

(3) нет возможности вычислить нормирующую константу

(4) все перечисленное верно

Номер 3

Выберете верное высказывание, характеризующее семплирование по Гиббсу?

Ответ:

(1) Не требуется явно выраженное совместное распределение, а нужны лишь условные вероятности для каждой переменной, входящей в распределение

(2) Алгоритм на каждом шаге берет одну случайную величину и выбирает ее значение при условии фиксированных остальных

(3) Можно показать, что последовательность получаемых значений образуют возвратную цепь Маркова.

(4) все перечисленное верно

Алгоритмы интеллектуальной обработки больших объемов данных - тест 12