Hadoop — различия между версиями

Материал из ALT Linux Wiki
Перейти к: навигация, поиск
(Как установить Hadoop на ALT Linux)
Строка 8: Строка 8:
 
Данная инструкция описывает ALT-специфику установки Hadoop-кластера из двух машин.
 
Данная инструкция описывает ALT-специфику установки Hadoop-кластера из двух машин.
 
Пусть в нашем кластере есть две машины - '''hadoopt1''' и '''hadoopt2'''. DNS-резолвинг работает.
 
Пусть в нашем кластере есть две машины - '''hadoopt1''' и '''hadoopt2'''. DNS-резолвинг работает.
#Устанавливаем rpm-ки hadoop-* из [ftp://ftp.altlinux.org/pub/people/vitty/hadoop/ ftp://ftp.altlinux.org/pub/people/vitty/hadoop/]
+
*Устанавливаем rpm-ки hadoop-* из [ftp://ftp.altlinux.org/pub/people/vitty/hadoop/ ftp://ftp.altlinux.org/pub/people/vitty/hadoop/]
#Редактируем /etc/hadoop/masters, где пишем кто у нас будет master-нодой  
+
*На всех нодах редактируем /etc/hadoop/masters, где пишем кто у нас будет master-нодой  
 
  cat /etc/hadoop/masters
 
  cat /etc/hadoop/masters
 
  hadoopt1
 
  hadoopt1
#Редактируем /etc/hadoop/slaves, где перечисляем все slave-ноды:
+
*На всех нодах редактируем /etc/hadoop/slaves, где перечисляем все slave-ноды:
 
  cat /etc/hadoop/slaves
 
  cat /etc/hadoop/slaves
 
  hadoopt1
 
  hadoopt1
 
  hadoopt2
 
  hadoopt2
 +
*Обеспечиваем беспарольный ssh для пользователей hadoop между нодами
 +
На каждой ноде:
 +
su - hadoop
 +
ssh-keygen -t dsa -b 2048
 +
passphrase не задаём
 +
публичную часть всех получившихся ключей заносим во все /home/hadoop/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя)
 +
 +
 +
  
 
== Как пользоваться Hadoop ==
 
== Как пользоваться Hadoop ==

Версия 16:49, 8 ноября 2010

Stub.png
Данная страница находится в разработке.
Эта страница ещё не закончена. Информация, представленная здесь, может оказаться неполной или неверной.


Что это такое?

Wikipedia: Apache Hadoop является свободным Java фреймворком, поддерживающим выполнение распределённых приложений, работающих на больших кластерах, построенных на обычном оборудовании. Hadoop прозрачно предоставляет приложениям надёжность и быстродействие операций с данными.

Как установить Hadoop на ALT Linux

Данная инструкция описывает ALT-специфику установки Hadoop-кластера из двух машин. Пусть в нашем кластере есть две машины - hadoopt1 и hadoopt2. DNS-резолвинг работает.

cat /etc/hadoop/masters
hadoopt1
  • На всех нодах редактируем /etc/hadoop/slaves, где перечисляем все slave-ноды:
cat /etc/hadoop/slaves
hadoopt1
hadoopt2
  • Обеспечиваем беспарольный ssh для пользователей hadoop между нодами
На каждой ноде:
su - hadoop
ssh-keygen -t dsa -b 2048
passphrase не задаём
публичную часть всех получившихся ключей заносим во все /home/hadoop/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя)



Как пользоваться Hadoop