1 / 16

Пример использования Hadoop

Пример использования Hadoop. Ошнуров Н.А. ВМИ-115. Необходимые компоненты. Ubuntu 11.10 Hadoop 1.0.1 Java 1.7. Этап 1. Подготовка. Установка JDK Создание пользователя Отключение IPv6. Этап 2. Установка. Загрузка Hadoop Распаковка архива Установка переменной окружения $HADOOP_HOME.

bao
Download Presentation

Пример использования Hadoop

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Пример использования Hadoop Ошнуров Н.А. ВМИ-115

  2. Необходимые компоненты Ubuntu 11.10 Hadoop 1.0.1 Java 1.7

  3. Этап 1. Подготовка Установка JDK Создание пользователя Отключение IPv6

  4. Этап 2. Установка Загрузка Hadoop Распаковка архива Установка переменной окружения $HADOOP_HOME

  5. Этап 3. Настройка HDFS Создание папки в файловой системе Редактирование конфигурационных файлов: - conf/core-site.xml - conf/mapred-site.xml - conf/hdfs-site.xml Форматирование HDFS

  6. Примеры конфигурационных файлов conf/core-site.xml <!-- In: conf/core-site.xml --> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> <description>Some description.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:54310</value> <description> Some description</description> </property>

  7. Примеры конфигурационных файлов conf/mapred-site.xml <!-- In: conf/mapred-site.xml --> <property> <name>mapred.job.tracker</name> <value>localhost:54311</value> <description>Some description </description> </property

  8. Примеры конфигурационных файлов conf/hdfs-site.xml <!-- In: conf/hdfs-site.xml --> <property> <name>dfs.replication</name> <value>1</value> <description>Some description </description> </property>

  9. Форматирование HDFS Выполняется с помощью команды namenode hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format

  10. Запуск и остановка Hadoop Запуск - start-all.sh Остановка - stop-all.sh

  11. Работа с HDFS Копирование данных на HDFS - bin/hadoop dfs -copyFromLocal /tmp/fanatic /user/hduser/fanatic Вывод списка файлов - bin/hadoop dfs -ls /user/hduser Получение данных с HDFS - bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out

  12. Запуск Java-задания Команда запуска задания - hadoop jar your-job-file-goes-here.jar

  13. Структура задания Ядро задания - реализация интерфейсов Mapper и Reducer Mapper - формирует пары ключ/значение Reducer - уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений

  14. Демонстрация

  15. Веб интфейсы Hadoop http://localhost:50030/ - UI для MapReduce заданий http://localhost:50060/ - UI для заданий http://localhost:50070/ - UI для просмотра статистики HDFS

  16. Ссылки http://hadoop.apache.org http://hadoop.apache.org/common/releases.html#Download http://fclose.com/b/cloud-computing http://www.michael-noll.com

More Related