EnterpriseApps/Hadoop: различия между версиями

Материал из ALT Linux Wiki
Строка 82: Строка 82:


Правим файл
Правим файл
  # mcedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
  # mcedit /opt/hadoop/etc/hadoop/hdfs-site.xml
<pre>
<pre>
<configuration>
<configuration>

Версия от 12:08, 11 декабря 2023

Apache Hadoop
Altenter-menu-Hadoop.png
Появился в: 2006
Оф. сайт: hadoop.apache.org
Репозиторий ALT Linux нет
Лицензия: Apache Licesne 2.0
и GNU GPL

Hadoop — проект фонда Apache Software Foundation, свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов.

Установка

Примечание: Проверялась версия v3.3.6
Примечание: Необходимые версии Java указаны здесь

Установка Java

  1. Установите Java 1.8 
    # apt-get install java-1.8.0-openjdk java-1.8.0-openjdk-devel

Установка программы

  1. Скачайте архив с программой (bin)
    https://hadoop.apache.org/releases.html
  2. Распакуйте архив 
    # tar xzvf hadoop*.tar.gz
  3. Скопируйте каталог в /opt 
    # mv hadoop*/ /opt/hadoop
  4. Сделайте файлы исполняемыми 
    # chmod +x -R /opt/hadoop

Создание файла профиля

Создаем файл с профилем: 

# mcedit /etc/profile.d/hadoop.sh

Со следующим содержимым: 

export HADOOP_HOME=/opt/hadoop
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
export YARN_HOME=$HADOOP_HOME
export PATH="$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin"

в данном примере мы задаем системные переменные, требующиеся для работы hadoop:

  • HADOOP_HOME — путь, где находятся файлы hadoop.
  • HADOOP_HDFS_HOME — директория распределенной файловой системы HDFS.
  • HADOOP_MAPRED_HOME — необходима для возможности отправки задания MapReduce с помощью MapReduce v2 в YARN.
  • HADOOP_COMMON_HOME — путь хранения файлов для модуля common.
  • HADOOP_COMMON_LIB_NATIVE_DIR — место размещения библиотеки native-hadoop.
  • HADOOP_OPTS — дополнительные опции запуска.
  • YARN_HOME — путь размещения файлов модуля YARN.
  • PATH — дополняет общую переменную PATH, где хранятся пути хранения бинарников для запуска приложений.

Настройка окружения Hadoop

Правим от рута /opt/hadoop/etc/hadoop/hadoop-env.sh

Java

Находим: 

# export JAVA_HOME=

Меняем на: 

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.382.b05-0.x86_64/jre

(без /bin/java)

Примечание: Мы прописали актуальный путь до файлов openjdk

Каталог HDFS

Создаем каталог /hadoop/hdfs с дополнительными каталогами. 

# mkdir -p /hadoop/hdfs/{namenode,datanode}
# chown -R hadoop:hadoop /hadoop

Правим файл /etc/profile.d/hadoop.sh

Меняем 

export HADOOP_HDFS_HOME=$HADOOP_HOME

на 

export HADOOP_HDFS_HOME=/hadoop/hdfs

Правим файл 

# mcedit /opt/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
	
   <property>
      <name>dfs.name.dir</name>
      <value>file:///hadoop/hdfs/namenode</value>
   </property>
	
   <property>
      <name>dfs.data.dir</name>
      <value>file:///hadoop/hdfs/datanode</value>
   </property>
</configuration>

Создание служебного пользователя

Создаем системного пользователя для службы: 

# adduser hadoop -m
# passwd hadoop

Назначаем права на нового системного пользователя 

# chown hadoop:hadoop -R /opt/hadoop


Создание сертификатов

Для работы Hadoop нужен сертификат, так как внутренние обращения выполняются с помощью запросов ssh. Нам нужно сгенерировать его. 

$ su - hadoop
$ ssh-keygen
Примечание: на все вопросы можно ответить по умолчанию, нажав Enter.


Копируем публичный ключ на локальный компьютер: 

$ ssh-copy-id localhost

При первом обращении по SSH будет запрос на принятие сертификата: 

Are you sure you want to continue connecting (yes/no/[fingerprint])? yes

Система запросит ввести пароль для нашего пользователя hadoop. После успешного ввода, мы должны увидеть: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'localhost'"
and check to make sure that only the key(s) you wanted were added.

Проверим вход в систему по ssh на все серверы — мы должны подключиться без запроса пароля: 

$ ssh localhost

После отключаемся: 

$ exit

Установка и настройка Hadoop завершена. Возвращаемся в консоль первичного пользователя: 

$ exit

Настройка Hadoop

Правим файл /opt/hadoop/etc/hadoop/core-site.xml

Приведем его к виду: 

...
<!-- Put site-specific property overrides in this file. -->

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value> //? localhost
   </property>
</configuration>

* где fs.default.name указывает на узел и порт обращения к внутренней файловой системе. В нашем примере на мастер-сервер (localhost) порту 9000. Данная настройка должна быть такой на всех нодах.

Редактируем файл с настройками файловой системы HDFS: 

# mcedit /opt/hadoop/etc/hadoop/hdfs-site.xml

В итоге должно получиться: 

...
<!-- Put site-specific property overrides in this file. -->

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   <property>
      <name>dfs.name.dir</name>
      <value>file:///hadoop/hdfs/namenode</value>
   </property>
   <property>
      <name>dfs.data.dir</name>
      <value>file:///hadoop/hdfs/datanode</value>
   </property>
</configuration>
  • где:
    dfs.replication — количество реплик. Не может быть больше узлов кластера.
    dfs.name.dir — путь хранения таблицы имен fsimage. Можно перечи
    dfs.data.dir — каталог для хранения блоков файловой системой HDFS.

Открываем для редактирования файл для настройки MapReduce: 

# mcedit /opt/hadoop/etc/hadoop/mapred-site.xml

Задаем следующие параметры: 

...
<!-- Put site-specific property overrides in this file. -->

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>
  • где mapreduce.framework.name — фреймворк для управления кластером.

Открываем файл для настройки YARN: 

# mcedit /opt/hadoop/etc/hadoop/yarn-site.xml

Приводим его к виду: 

...
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>
  • где yarn.nodemanager.aux-services перечисляет вспомогательные классы обслуживания. По документации рекомендуют использовать mapreduce_shuffle.

Создание служебных каталогов

Создаем каталоги, которые мы указали для использования HDFS: 

# mkdir -p /hadoop/hdfs/{namenode,datanode}

Для каталога /hadoop выставим в качестве владельца созданного пользователя hadoop: 

# chown -R hadoop:hadoop /hadoop

Наши серверы настроены.

Запуск кластера

На мастер-сервере заходим под пользователем hadoop: 

$ su - hadoop

Создаем файловую систему: 

$ /opt/hadoop/bin/hdfs namenode -format

Для запуска кластера выполняем следующие команды: 

$ /opt/hadoop/sbin/start-dfs.sh

$ /opt/hadoop/sbin/start-yarn.sh

Ждем еще немного (около 10 секунд) для окончательной загрузки java-приложения. После открываем в браузере адрес http://<IP-адрес мастер-сервера>:8088.

Кластер работает.

Создание службы

Настраиваем запуск hadoop в качестве сервиса.

Создаем файл: 

# mcedit /etc/systemd/system/hadoop.service

Со следующим содержимым: 

[Unit]
Description=Hdfs service
After=network.target

[Service]
Type=forking
User=hadoop
Group=hadoop
ExecStart=/opt/hadoop/sbin/start-all.sh
ExecStop=/opt/hadoop/sbin/stop-all.sh
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target

Перечитываем конфигурацию systemd: 

# systemctl daemon-reload

Разрешаем автозапуск: 

# systemctl enable --now hadoop

Для проверки можно перезагрузить сервер.

Запуск веб-интерфейса

Чтобы запустить веб-интерфейс откройте в браузере адрес http://<IP-адрес мастер-сервера>:8088.

Источники