Параллельные и распределенные вычисления

Упражнение 1:

Номер 1

            Какая базовая структура данных стоит в основе модели MapReduce?

Ответ:

(1) пара (ключ, значение)

(2) бинарное дерево

(3) массив произвольной длины

(4) функция высшего порядка

Номер 2

            Опишите работу функции map.

Ответ:

(1) функция map возвращает некоторую функцию с аргументом в виде данного списка

(2) функция map объединяет поэлементно два и более списка, возвращая список пар элементов

(3) функция map осуществляет поиск данного элемента в списке-аргументе

(4) функция map применяет данную функцию к каждому элементу списка, возвращая список результатов

Номер 3

            Что такое функция высшего порядка?

Ответ:

(1) функция, оперирующая массивами произвольной длины

(2) перегружаемая функция

(3) функция, принимающая в качестве аргумента или возвращающая другую функцию

(4) функция, возвращающая в качестве результата некоторую произвольную сложную структуру данных

Упражнение 2:

Номер 1

            Выберите верное утверждение.

Ответ:

(1) функция reduce не имеет реализации в функциональных языках программирования

(2) функция reduce является функцией высшего порядка

(3) функция reduce не имеет реализации в объектно-ориентированных языках программирования

(4) функция reduce в качестве одного из аргументов может принимать структуру данных перечислимого типа, не являющуюся списком

Номер 2

            Выберите верное утверждение.

Ответ:

(1) функция reduce позволяет реализовать свертку списка

(2) функция reduce не имеет реализации в языках сценариев (JavaScript, Python)

(3) в некоторых реализациях функция reduce может принимать три аргумента

(4) функция reduce в качестве одного из аргументов всегда принимает некоторую функцию

Номер 3

            Опишите работу функции reduce.

Ответ:

(1) функция reduce возвращает некоторую функцию с аргументом в виде данного списка

(2) функция reduce преобразует список к некоторому атомарному результату при помощи заданной функции

(3) функция reduce осуществляет поиск данного элемента в списке-аргументе

(4) функция reduce применяет данную функцию к каждому элементу списка, возвращая список результатов

Упражнение 3:

Номер 1

            Выберите реализации MapReduce для систем с распределенной памятью.

Ответ:

(1) Phoenix

(2) Google MapReduce

(3) Yandex MapReduce

(4) Apache Hadoop

Номер 2

            Выберите реализации MapReduce для систем с общей памятью.

Ответ:

(1) Phoenix

(2) Google MapReduce

(3) QtConcurrent

(4) Apache Hadoop

Номер 3

            Выберите реализацию MapReduce для GPU.

Ответ:

(1) Mars

(2) Google MapReduce

(3) QtConcurrent

(4) Apache Hadoop

Упражнение 4:

Номер 1

            Файловая система какого типа используется в инфраструктуре Google для интегрирования с MapReduce?

Ответ:

(1) дисковая журналируемая для носителей с произвольным доступом

(2) дисковая для носителей с произвольным доступом

(3) распределенная кластерная

(4) виртуальная

Номер 2

            Каким образом в вычислительной системе с GFS для Google MapReduce распределены данные?

Ответ:

(1) данные уникальны и хранятся в специальных сетевых хранилищах, обособленных друг от друга

(2) данные распределены по всем серверам системы, имеют реплицированные копии

(3) данные уникальны, отделены от вычислительных серверов, хранилища данных связаны друг с другом

(4) данные распределены по всем серверам системы, не имеют копий внутри системы

Номер 3

             Выберите верное утверждение о реализации Google MapReduce.

Ответ:

(1) хранение и обработка данных отделены друг от друга и производятся разными серверами

(2) в системе используется массовые недорогие решения для вычислительных серверов и дорогостоящие решения для хранения данных (high-end storage)

(3) хранение и обработка данных возложена на одни и те же узлы вычислительной системы

(4) вычислительная система строится с расчетом на отказоустойчивость, которая достигается применением специализированных устройств, а не репликацией функций отдельных составляющих

Упражнение 5:

Номер 1

            Каковы функции Мастера в модели Google MapReduce?

Ответ:

(1) непосредственное выполнение свертки (reduce) и/или map-задания

(2) распределение map- и reduce-заданий между рабочими узлами

(3) предоставление информации о статусе вычислений

(4) подготовка исходных данных для каждой задачи

Номер 2

            Выберите верное утверждение о реализации Google MapReduce.

Ответ:

(1) в выполнении map-задачи с использованием некоторых данных в Google MapReduce приоритет имеет узел, содержащий эти данные

(2) Google MapReduce не поддерживается совмещение операций и промежуточные данные никак не обрабатываются во время выполнения задачи

(3) reducer не дожидается полного завершения выполнения задачи и выполняет сортировку и загрузку промежуточных данных

(4) для ускорения вычислений в неоднородных вычислительных системах не могут использоваться избыточные вычисления

Номер 3

            Выберите верное утверждение.

Ответ:

(1) для детерминированных функций map и reduce гарантируется совпадение результата вычислений с результатом последовательного выполнения программы

(2) для детерминированных функций map и reduce не гарантируется совпадение результата вычислений с результатом последовательного выполнения программы

(3) результаты разных reduce-задач могут соответствовать разным последовательным выполнениям

(4) для недетерминированных функций map и reduce гарантируется совпадение результата вычислений с результатом последовательного выполнения программы

Упражнение 6:

Номер 1

            На каких узлах в Hadoop MapReduce выполняются map- и reduce-задачи?

Ответ:

(1) master nodes

(2) job submission nodes

(3) slave nodes

(4) namenodes

Номер 2

            Файловая система какого типа используется в инфраструктуре Hadoop MapReduce?

Ответ:

(1) дисковая журналируемая для носителей с произвольным доступом

(2) дисковая для носителей с произвольным доступом

(3) распределенная кластерная

(4) виртуальная

Номер 3

            Каковы функции JobTracker в Hadoop MapReduce?

Ответ:

(1) разбиение заданий на отдельные задачи (task)

(2) осуществление перезапуска задач

(3) предоставление доступа к промежуточным файлам при выполнении кадой задачи

(4) распределение задач по узлам

Упражнение 7:

Номер 1

            Каковы функции TaskTracker в Hadoop MapReduce?

Ответ:

(1) распределение задач по узлам

(2) предоставление доступа к промежуточным файлам при выполнении кадой задачи

(3) загрузка кода и запуск задач в новой JVM

(4) разбиение заданий на отдельные задачи (task)

Номер 2

            С помощью каких средств реализуются MapReduce-программы для Hadoop?

Ответ:

(1) Hadoop Pipes в C++

(2) Hadoop Streaming в Python

(3) стандартный API в C++

(4) Java API в Java

Номер 3

            Для чего в методах класса Mapper используется объект Context (Hadoop MapReduce, язык Java)?

Ответ:

(1) объект Context содержит список ключей для map-задачи

(2) объект Context предназначен для инициализации map-задания

(3) объект Context содержит пары "ключ-значение" для инициализации Mapper

(4) объект Context предназначен для записи результата выполнения map

Упражнение 8:

Номер 1

            Как реализован класс Mapper (Hadoop MapReduce, язык Java)?

Ответ:

(1) класс Mapper параметризован типами-парами "ключ-значение", используемыми на входе и выходе задачи

(2) класс Mapper является абстрактным

(3) класс Mapper имеет реализацию по умолчанию собственных методов, не являясь абстрактным

(4) класс Mapper параметризован специальным объектом -- контекстом

Номер 2

            Как реализован класс Reducer (Hadoop MapReduce, язык Java)?

Ответ:

(1) класс Reducer параметризован типами ключей и значений, используемыми на входе и выходе задачи

(2) класс Reducer является абстрактным

(3) класс Reducer имеет реализацию по умолчанию собственных методов, не являясь абстрактным

(4) класс Reducer параметризован специальным объектом -- контекстом

Номер 3

            Имеется ли отличие в сигнатурах методов map и reduce в реализациях по умолчанию соответственно в классах Mapper и Reducer (Hadoop MapReduce, язык Java)?

Ответ:

(1) метод reduce не принимает объект контекста в качестве входных данных

(2) метод map вместо значения принимает итератор на значения, связанные с данным промежуточным ключом

(3) сигнатуры этих методов одинаковы

(4) метод reduce вместо значения принимает итератор на значения, связанные с данным промежуточным ключом

Параллельные и распределенные вычисления - тест 9