Mooc Fun Big Data Semaine 9 Hadoop

Introduction à Hadoop & MapReduce
Cours 2
Benjamin Renaut <renaut.benjamin@tokidev.fr>
MOOC / FUN 2014 - 2015

5 Hadoop: présentation
Apache Hadoop
5-1
● Projet Open Source – fondation Apache.

http://hadoop.apache.org/
● Développé en Java; portable.
● Assure l'exécution de tâches map/reduce; fourni le framework,

en Java, pour leur développement.
● Autres langages supportés par le biais d'utilitaires internes.

Historique
5-2
- 2003/2004: publication par Google de deux whitepapers, le

premier sur GFS (un système de fichier distribué) et le second sur
le paradigme Map/Reduce pour le calcul distribué.
- 2004: développement de la première version du framework qui

deviendra Hadoop par Doug Cutting (archive.org).
- 2006: Doug Cutting (désormais chez Yahoo) développe une

première version exploitable de Apache Hadoop pour
l'amélioration de l'indexation du moteur de recherche. Encore
primitif (au maximum quelques machines, etc.).
Historique
5-3
- 2008: développement maintenant très abouti, Hadoop utilisé chez

Yahoo dans plusieurs départements.
- 2011: Hadoop désormais utilisé par de nombreuses autres

entreprises et des universités, et le cluster Yahoo comporte 42000
machines et des centaines de peta-octets d'espace de stockage.
Le nom lui-même n'est pas un acronyme: il s'agit

du nom d'un éléphant en peluche du fils de l'auteur
originel (Doug Cuttin) de Hadoop.
Qui utilise Hadoop
5-4
… et des milliers d'entreprises et universités à travers le monde.

Le Big Data
5-5
● La multiplication des données, dans un volume toujours

plus important, et leur traitement, les problématiques
posées et toutes les nouvelles possibilités et usages qui en
découlent sont couverts par l'expression « Big Data ».
● Hadoop est au coeur de ces problématiques; c'est (de très

loin) le logiciel/framework le plus utilisé pour y répondre.
Avantages et inconvénients
5-6
● Hadoop est:
● Simple à utiliser et à déployer.

● Portable (clusters hétérogènes).
● Indéfiniment scalable.
● Très extensible et interconnectable avec d'autres
solutions.
● Il a également des inconvénients: overhead supérieur à une

solution propriétaire spécifique dédiée à un problème;
encore expérimental et en développement...
Conclusion
5-7
● Hadoop n'utilise aucun principe foncièrement nouveau; il

offre en revanche une très forte simplicité et souplesse de
déploiement inconnues jusqu'à présent pour l'exécution
facile de tâches parallèles variées.
● Grâce à Hadoop, même des structures limitées en

taille/ressources peuvent facilement avoir accès à de fortes
capacités de calcul: déploiement à bas coût de clusters en
interne ou location de temps d'exécution via les services de
cloud computing.
1 HDFS
Présentation
1-1
● HDFS: Hadoop Distributed File System.
● Système de fichiers distribué associé à Hadoop. C'est là

qu'on stocke données d'entrée, de sortie, etc.
● Caractéristiques:
● Distribué
● Redondé
● Conscient des caractéristiques physiques de
l'emplacement des serveurs (racks) pour l'optimisation.

Architecture
1-2
● Repose sur deux serveurs:
● Le NameNode, unique sur le cluster. Stocke les

informations relative aux noms de fichiers et à leurs
caractéristiques de manière centralisée.
● Le DataNode, plusieurs par cluster. Stocke le contenu des

fichiers eux-même, fragmentés en blocs (64KB par défaut).
● Inspiré de GFS, lui-même issu de recherches de Google.

« The Google File System », 2003.
Architecture
1-3
● Le NameNode, unique sur le cluster. Stocke les

informations relative aux noms de fichiers et à leurs
caractéristiques de manière centralisée.
● Le DataNode, plusieurs par cluster. Stocke le contenu des

fichiers eux-même, fragmentés en blocs (64KB par défaut).
● Inspiré de GFS, lui-même issu de recherches de Google.

« The Google File System », 2003.
Écriture d'un fichier
1-4
● Pour écrire un fichier:
● Le client contacte le NameNode du cluster, indiquant la

taille du fichier et son nom.
● Le NameNode confirme la demande et indique au client de

fragmenter le fichier en blocs, et d'envoyer tel ou tel bloc à
tel ou tel DataNode.
● Le client envoie les fragments aux DataNode.
● Les DataNodes assurent ensuite la réplication des blocs.

Écriture d'un fichier
1-5
Lecture d'un fichier
1-6
● Pour lire un fichier:
● Le client contacte le NameNode du cluster, indiquant le fichier

qu'il souhaite obtenir.
● Le NameNode lui indique la taille, en blocs, du fichier, et pour

chaque bloc une liste de DataNodes susceptibles de lui fournir.
● Le client contacte les DataNodes en question pour obtenir les

blocs, qu'il reconstitue sous la forme du fichier.
● En cas de DataNode inaccessible/autre erreur pour un bloc, le

client contacte un DataNode alternatif de la liste pour l'obtenir.
Lecture d'un fichier
1-7
En pratique
1-8
● On utilise la commande console hadoop, depuis n'importe quelle

machine du cluster.
● Sa syntaxe reprend celle des commandes Unix habituelles:
$$ hadoop
hadoop fs
fs -put
-put data.txt
data.txt /input/files/data.txt
/input/files/data.txt
$$ hadoop
hadoop fs
fs -get
-get /input/files/data.txt
/input/files/data.txt data.txt
data.txt
$$ hadoop
hadoop fs
fs -mkdir
-mkdir /output
/output
$$ hadoop
hadoop fs
fs -rm
-rm /input/files/data.txt
/input/files/data.txt
…… etc
etc ……
Remarques
1-9
● L'ensemble du système de fichier virtuel apparaît comme un

disque « unique »: on ne se soucie pas de l'emplacement
réel des données.
● Tolérant aux pannes: blocs répliqués.
● Plusieurs drivers FUSE existent pour monter le système de

fichier HDFS d'une manière plus « directe ».
Inconvénients
1-10
● NameNode unique: si problème sur le serveur en question,

HDFS est indisponible. Compensé par des architectures
serveur active/standby.
● Optimisé pour des lectures concurrentes; sensiblement

moins performant pour des écritures concurrentes.
Alternatives
1-11
● D'autres systèmes de fichiers distribués (Amazon S3,

Cloudstore…).
● Ponts d'interconnexion directe avec des systèmes de bases

de données relationnelles (Oracle, MySQL, PostGreSQL).
● Autres ponts d'interconnexion (HTTP, FTP).

2 Hadoop: architecture
Architecture
1-1
● Le JobTracker, unique sur le cluster. Reçoit les tâches

map/reduce à exécuter (sous la forme d'une archive Java
.jar), organise leur exécution sur le cluster.
● Le TaskTracker, plusieurs par cluster. Exécute le travail

map/reduce lui-même (sous la forme de tâches map et
reduce ponctuelles avec les données d'entrée associées).
● Chacun des TaskTrackers constitue une unité de calcul du

cluster.
Architecture
1-2
● Le serveur JobTracker est en communication avec HDFS; il

sait où sont les données d'entrée du programme
map/reduce et où doivent être stockées les données de
sortie. Il peut ainsi optimiser la distribution des tâches selon
les données associées.
● Pour exécuter un programme map/reduce, on devra donc:
● Écrire les données d'entrée sur HDFS.

● Soumettre le programme au JobTracker du cluster.
● Récupérer les données de sortie depuis HDFS.

Architecture
1-3
Exécution d'une tâche
1-4
● Tous les TaskTrackers signalent leur statut continuellement

par le biais de paquets heartbeat.
● En cas de défaillance d'un TaskTracker (heartbeat manquant

ou tâche échouée), le JobTracker avise en conséquence:
redistribution de la tâche à un autre nœud, etc.
● Au cours de l'exécution d'une tâche, on peut obtenir des

statistiques détaillées sur son évolution (étape actuelle,
avancement, temps estimé avant completion, etc.), toujours
par le biais du client console hadoop.
Autres considérations
1-5
● Un seul JobTracker sur le serveur: point de défaillance

unique. Là aussi, compensé par des architectures serveurs
adaptées.
● Les deux serveurs « uniques » NameNode et JobTracker

sont souvent actifs au sein d'une seule et même machine: le
nœud maître du cluster.
● Tout changement dans la configuration du cluster est

répliqué depuis le nœud maître sur l'intégralité du cluster.
Architecture générale
1-6
Source: documentation Hadoop

3 Hadoop: installation
Objectif
3-1
● Couvrir l'installation de Hadoop dans son environnement

typique de déploiement (serveurs GNU/Linux ou similaires).
● Couvrir la configuration d'une instance Hadoop vous

permettant d'expérimenter avec son utilisation et d'une
manière plus générale avec map/reduce.
● Hadoop est capricieux sur environnement Windows; il est

encore très expérimental => utiliser une machine virtuelle si
nécessaire pour l'expérimentation.
Installation de Hadoop
3-2
● Deux options:
● Par le biais de paquets adaptés à la distribution (.deb pour

Debian/Ubuntu/etc., .rpm pour Red Hat/Centos/etc.).
● Par le biais d'un tarball officiel de la fondation Apache:

installation « manuelle ».
Installation via paquet
3-3
● Si disponible, utiliser les outils standards de la distribution:

apt-get / yum.
● Alternativement, Cloudera, une entreprise phare de

solutions Big Data / support et développement Hadoop, met
à disposition sa propre distribution, CDH:
http://www.cloudera.com/content/cloudera/en/downloads/cd
h.html
Installation manuelle
3-4
● Pré-requis:
● Distribution GNU/Linux moderne.

● Java (version Sun ou OpenJDK).
● On commence par créer le groupe et l'utilisateur qui seront

spécifiques à Hadoop:
## addgroup
addgroup hadoop
hadoop
## adduser
adduser --ingroup
--ingroup hadoop
hadoop hadoopuser
hadoopuser
## adduser
adduser hadoopuser
hadoopuser
3-5
● On télécharge ensuite Hadoop, en l'installant dans un

répertoire au sein de /opt:
## wget
wget http://MIROIR/hadoop/hadoop-X.Y.Z.tar.gz
http://MIROIR/hadoop/hadoop-X.Y.Z.tar.gz
## tar
tar vxzf
vxzf hadoop-X.Y.Z.tar.gz
hadoop-X.Y.Z.tar.gz -C
-C /opt
/opt
## cd
cd /opt
/opt
## ln
ln -s
-s /opt/hadoop-X.Y.Z
/opt/hadoop-X.Y.Z /opt/hadoop
/opt/hadoop
## chown
chown -R
-R hadoopuser:hadoop
hadoopuser:hadoop /opt/hadoop*
/opt/hadoop*
(remplacer l'URL par un des miroirs et ajuster le numéro de

version)
3-6
● Il faut ensuite ajouter les différentes déclarations suivantes

au sein du fichier .bashrc de l'utilisateur hadoopuser:
## Variables
Variables Hadoop.
Hadoop. Modifier
Modifier l'emplacement
l'emplacement du
du SDK
SDK java.
java.
export
export JAVA_HOME=/path/to/java/jdk
JAVA_HOME=/path/to/java/jdk
export
export HADOOP_INSTALL=/opt/hadoop
HADOOP_INSTALL=/opt/hadoop
export
export PATH=$PATH:$HADOOP_INSTALL/bin
PATH=$PATH:$HADOOP_INSTALL/bin
export
export PATH=$PATH:$HADOOP_INSTALL/sbin
PATH=$PATH:$HADOOP_INSTALL/sbin
export
export HADOOP_HOME=$HADOOP_INSTALL
HADOOP_HOME=$HADOOP_INSTALL
export
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
HADOOP_COMMON_HOME=$HADOOP_INSTALL
export
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
HADOOP_HDFS_HOME=$HADOOP_INSTALL
export
export HADOOP_YARN_HOME=$HADOOP_INSTALL
HADOOP_YARN_HOME=$HADOOP_INSTALL
export
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
3-7
● Enfin, il est aussi nécessaire d'indiquer l'emplacement du

JDK Java dans le fichier /opt/hadoop/etc/hadoop/hadoop-
env.sh. Localiser la ligne « export JAVA_HOME » au sein de
ce fichier et l'éditer de telle sorte qu'elle pointe sur
l'emplacement du JDK Java:
export
export JAVA_HOME=/path/to/java/jdk
JAVA_HOME=/path/to/java/jdk
● Sauvegarder. Hadoop est désormais installé. Pour le

confirmer, on peut par exemple utiliser la commande
« hadoop version ».
Installation manuelle – Configuration
3-8
● Il faut maintenant configurer Hadoop en mode nœud unique

(pour l'expérimentation).
● Editer le fichier /opt/hadoop/etc/hadoop/core-site.xml, et

insérer entre les deux balises <configuration> les lignes
suivantes:
<property>
<property>
<name>fs.default.name</name>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<value>hdfs://localhost:9000</value>
</property>
</property>
3-9
● Editer maintenant le fichier /opt/hadoop/etc/hadoop/yarn-

site.xml, et insérer entre les deux balises <configuration>
les lignes suivantes:
<property>
<property>
<name>yarn.nodemanager.aux-services</name>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<value>mapreduce_shuffle</value>
</property>
</property>
<property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</property>
3-10
● Renommer maintenant le fichier mapred-site.xml.template,

au sein du même répertoire /opt/hadoop/etc/hadoop:
$$ cd
cd /opt/hadoop/etc/hadoop
/opt/hadoop/etc/hadoop
$$ mv
mv mapred-site.xml.template
mapred-site.xml.template mapred-site.xml
mapred-site.xml
● Et ajouter les lignes suivantes entre les deux balises

<configuration> au sein du fichier renommé mapred-
site.xml:
<property>
<property>
<name>mapreduce.framework.name</name>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<value>yarn</value>
</property>
</property>
3-11
● Il faut maintenant créer les répertoires où seront stockés les

données HDFS:
## mkdir
mkdir -p
-p /opt/hdfs/namenode
/opt/hdfs/namenode
## mkdir
mkdir -p
-p /opt/hdfs/datanode
/opt/hdfs/datanode
## chown
chown -R
-R hadoopuser:hadoop
hadoopuser:hadoop /opt/hdfs
/opt/hdfs
● Editer ensuite le fichier:
/opt/hadoop/etc/hadoop/hdfs-site.xml
3-12
● … et insérer les lignes suivantes entre les deux balises

<configuration>:
<property>
<property>
<name>dfs.replication</name>
<name>dfs.replication</name>
<value>1</value>
<value>1</value>
</property>
</property>
<property>
<property>
<name>dfs.namenode.name.dir</name>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hdfs/namenode</value>
<value>file:/opt/hdfs/namenode</value>
</property>
</property>
<property>
<property>
<name>dfs.datanode.data.dir</name>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hdfs/datanode</value>
<value>file:/opt/hdfs/datanode</value>
</property>
</property>
3-13
● Il reste enfin à formater le système de fichiers HDFS local:

$$ hdfs
hdfs namenode
namenode -format
-format
● Hadoop est désormais correctement installé et configuré

(un seul nœud). Le démarrer avec les commandes:
$$ start-dfs.sh
start-dfs.sh
$$ start-yarn.sh
start-yarn.sh
● Les commandes et codes présentés dans les sections

successives du cours peuvent être testés sur une telle
installation.
Machine virtuelle
3-14
● Au besoin, une machine virtuelle associée au présent cours

est par ailleurs disponible à l'adresse:
http://mooc.tokidev.fr/hadoop_vm_2014.ova
(importable au sein de VirtualBox / VMWare).

4 Hadoop: utilisation (1)
API Java
4-1
● Un programme Hadoop « natif » est développé en Java, en

utilisant le SDK Hadoop, basé sur le mécanisme
d'interfaces.
● Trois classes au minimum au sein d'un programme Hadoop:
● Classe Driver: Main du programme. Informe Hadoop des

différents types et classes utilisés, des fichiers d'entrée/de
sortie, etc.
● Classe Mapper: implémentation de la fonction MAP.
● Classe Reducer: implémentation de la fonction REDUCE.

API Java – Classe Driver
4-2
● La classe Driver doit au minimum:
● Passer à Hadoop des arguments « génériques » de la ligne de

commande, par le biais d'un objet Configuration.
● Informer Hadoop des classes Driver, Mapper et Reducer par le biais

d'un objet Job; et des types de clef et de valeur utilisés au sein du
programme map/reduce par le biais du même objet.
● Spécifier à Hadoop l'emplacement des fichiers d'entrée sur HDFS;

spécifier également l'emplacement où stocker les fichiers de sortie.
● Lancer l'exécution de la tâche map/reduce; recevoir son résultat.

En pratique
4-3
● Création de l'objet Configuration:

Configuration
Configuration conf=new
conf=new Configuration();
Configuration();
● Passage à Hadoop de ses arguments « génériques »:
String[]
String[] ourArgs=new
ourArgs=new GenericOptionsParser(conf,
GenericOptionsParser(conf, args).getRemainingArgs();
args).getRemainingArgs();
● On créé ensuite un nouvel objet Job:
Job
Job job=Job.getInstance(conf,
job=Job.getInstance(conf, "Compteur
"Compteur de
de mots
mots v1.0");
v1.0");
● On indique à Hadoop les classes Driver, Mapper et Reducer:
job.setJarByClass(WCount.class);
job.setMapperClass(WCountMap.class);
job.setReducerClass(WCountReduce.class);
En pratique
4-4
● On indique ensuite quels sont les types de clef/valeur utilisés au sein

du programme:
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
il s'agit ici de types Hadoop.
● On spécifie l'emplacement des fichiers d'entrée/de sortie:

FileInputFormat.addInputPath(job,
FileInputFormat.addInputPath(job, new
new Path("/data/input.txt"));
Path("/data/input.txt"));
FileOutputFormat.setOutputPath(job,
FileOutputFormat.setOutputPath(job, new
new Path("/data/results));
Path("/data/results));
(ici via HDFS)

En pratique
4-5
● Enfin, il reste à exécuter la tâche elle-même:

if(job.waitForCompletion(true))
System.exit(0);
System.exit(0);
System.exit(-1);
System.exit(-1);
● Packages Java à importer depuis l'API Hadoop, dans cet exemple:
org.apache.hadoop.mapreduce.Job
org.apache.hadoop.mapreduce.lib.input.FileInputFormat
org.apache.hadoop.mapreduce.lib.input.FileInputFormat
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat
org.apache.hadoop.conf.Configuration
org.apache.hadoop.conf.Configuration
org.apache.hadoop.util.GenericOptionsParser
org.apache.hadoop.util.GenericOptionsParser
org.apache.hadoop.fs.Path
org.apache.hadoop.fs.Path
org.apache.hadoop.io.Text
org.apache.hadoop.io.IntWritable
Remarques
4-6
● Il existe d'autres classes permettant de spécifier une source pour les

données d'entrée/une destination pour les données de sortie; c'est la
manière dont fonctionnent les alternatives à HDFS.
● On peut spécifier des types (clef;valeur) différents pour la sortie de

l'opération MAP et la sortie de l'opération REDUCE
(job.setMapOutputKeyClass / job.setMapOutputValueClass).
● Il s'agit là du strict minimum pour une classe Driver; on aura

généralement des implémentations plus complexes.
La classe Mapper
4-7
● La classe Mapper est en charge de l'implémentation de la méthode map

du programme map/reduce.
● Elle doit étendre la classe Hadoop

org.apache.hadoop.mapreduce.Mapper. Il s'agit d'une classe générique
qui se paramétrise avec quatre types:
● Un type keyin: le type de clef d'entrée.

● Un type valuein: le type de valeur d'entrée.
● Un type keyout: le type de clef de sortie.
● Un type valueout: le type de valeur de sortie.
La classe Mapper
4-8
● On déclarera une classe Mapper par exemple ainsi (ici pour l'exemple
du compteur d'occurences de mots):
public
public class
class WCountMap
WCountMap extends
extends Mapper<Object,
Mapper<Object, Text,
Text, Text,
Text, IntWritable>
IntWritable>
● C'est la méthode map qu'on doit implémenter. Son prototype:

protected
protected void
void map(Object
map(Object key,
key, Text
Text value,
value, Context
Context context)
context)
throws
throws IOException,
IOException, InterruptedException
InterruptedException
Elle est appelée pour chaque couple (clef;valeur) d'entrée:

respectivement les arguments key et value.
La classe Mapper
4-9
● Le troisième argument, context, permet entre autres de renvoyer un

couple (clef;valeur) en sortie de la méthode map. Par exemple:
context.write("ciel",
context.write("ciel", 1);
1);
… il a d'autres usages possibles (passer un message à la classe Driver,

etc.).
Il faut évidemment que la clef et la valeur renvoyées ainsi correspondent aux

types keyout et valueout de la classe Mapper.
La classe Mapper
4-10
● Les différents packages Java à importer depuis l'API Hadoop:

org.apache.hadoop.mapreduce.Mapper
org.apache.hadoop.mapreduce.Mapper
La classe Reducer
4-11
● Similaire à la classe Mapper, elle implémente la méthode reduce du

programme map/reduce.
● Elle doit étendre la classe Hadoop

org.apache.hadoop.mapreduce.Reducer. Il s'agit là aussi d'une classe
générique qui se paramétrise avec les mêmes quatre types que pour la
classe Mapper: keyin, valuein, keyout et valueout.
● A noter que contrairement à la classe Mapper, la classe Reducer

recevra ses arguments sous la forme d'une clef unique et d'une liste de
valeurs correspondant à cette clef.
La classe Reducer
4-12
● On déclarera une classe Reducer par exemple ainsi:

public
public class
class WCountReduce
WCountReduce extends
extends Reducer<Text,
Reducer<Text, IntWritable,
IntWritable, Text,
Text, IntWritable>
IntWritable>
● C'est la méthode reduce qu'on doit implémenter. Son prototype:

public
public void
void reduce(Text
reduce(Text key,
key, Iterable<IntWritable>
Iterable<IntWritable> values,
values, Context
Context context)
context)
throws
throws IOException,
La fonction est appelée une fois par clef distincte.

C'est l'argument key qui contient la clef distincte, et l'argument Iterable
Java values qui contient la liste des valeurs correspondant à cette clef.
La classe Reducer
4-13
● Là aussi, on peut renvoyer un couple (clef;valeur) en sortie de

l'opération reduce par le biais de la méthode write de l'argument
context:
context.write("ciel",
context.write("ciel", 5);
5);
● Les différents packages Java à importer:

import
import org.apache.hadoop.mapreduce.Reducer;
org.apache.hadoop.mapreduce.Reducer;
Exemple – Occurences de mots
4-14
//
// Le
Le main
main du
du programme.
programme.
public
public static
static void
void main(String[]
main(String[] args)
args) throws
throws Exception
Exception
{{
//
// Créé
Créé un
un object
object de
de configuration
configuration Hadoop.
Hadoop.
Configuration
Configuration();
//
// Permet
Permet àà Hadoop
Hadoop de
de lire
lire ses
ses arguments
arguments génériques,
génériques,
//
// récupère
récupère les
les arguments
arguments restants
restants dans
dans ourArgs.
ourArgs.
String[]
GenericOptionsParser(conf,
//
// Obtient
Obtient un
un nouvel
nouvel objet
objet Job:
Job: une
une tâche
tâche Hadoop.
Hadoop. On
On
//
// fourni
fourni la
la configuration
configuration Hadoop
Hadoop ainsi
ainsi qu'une
qu'une description
description
//
// textuelle
textuelle de
de la
la tâche.
tâche.
Job
job=Job.getInstance(conf, "Compteur
"Compteur de
de mots
mots v1.0");
v1.0");
4-15
//
// Défini
Défini les
les classes
classes driver,
driver, map
map et
et reduce.
reduce.
//
// Défini
Défini types
types clefs/valeurs
clefs/valeurs de
de notre
notre programme
programme Hadoop.
Hadoop.
//
// Défini
Défini les
les fichiers
fichiers d'entrée
d'entrée du
du programme
programme et
et le
le
//
// répertoire
répertoire des
des résultats.
résultats. On
On se
se sert
sert du
du premier
premier et
et du
du
//
// deuxième
deuxième argument
argument restants
restants pour
pour permettre
permettre àà
//
// l'utilisateur
l'utilisateur de
de les
les spécifier
spécifier lors
lors de
de l'exécution.
l'exécution.
FileInputFormat.addInputPath(job, newnew Path(ourArgs[0]));
Path(ourArgs[0]));
FileOutputFormat.setOutputPath(job, new new Path(ourArgs[1]));
Path(ourArgs[1]));
4-16
//
// On
On lance
lance la
la tâche
tâche Hadoop.
Hadoop. Si
Si elle
elle s'est
s'est effectuée
effectuée
//
// correctement,
correctement, on
on renvoie
renvoie 0.
0. Sinon,
Sinon, on
on renvoie
renvoie -1.
-1.
System.exit(0);
System.exit(0);
System.exit(-1);
System.exit(-1);
}}
4-17
private
private static
static final
final IntWritable
IntWritable ONE=new
ONE=new IntWritable(1);
IntWritable(1);
//
// La
La fonction
fonction MAP
MAP elle-même.
elle-même.
protected
protected void
void map(Object
map(Object offset,
offset, Text
Text value,
value, Context
Context context)
context)
throws IOException, InterruptedException
throws IOException, InterruptedException
{{
//
// Un
Un StringTokenizer
StringTokenizer va
va nous
nous permettre
permettre de
de parcourir
parcourir chacun
chacun des
des
//
// mots
mots de
de la
la ligne
ligne qui
qui est
est passée
passée àà notre
notre opération
opération MAP.
MAP.
StringTokenizer
StringTokenizer tok=new
tok=new StringTokenizer(value.toString(),
StringTokenizer(value.toString(), "" ");
");
while(tok.hasMoreTokens())
while(tok.hasMoreTokens())
{{
Text
Text word=new
word=new Text(tok.nextToken());
Text(tok.nextToken());
//
// On
On renvoie
renvoie notre
notre couple
couple (clef;valeur):
(clef;valeur): le
le mot
mot courant
courant suivi
suivi
//
// de
de la
la valeur
valeur 11 (définie
(définie dans
dans la
la constante
constante ONE).
ONE).
context.write(word,
context.write(word, ONE);
ONE);
}}
}}
4-18
//
// La
La fonction
fonction REDUCE
REDUCE elle-même.
elle-même. LesLes arguments:
arguments: lala clef
clef key,
key, un
un
//
// Iterable de toutes les valeurs qui sont associées à la clef en
Iterable de toutes les valeurs qui sont associées à la clef en
//
// question,
question, etet le
le contexte
contexte Hadoop
Hadoop (un
(un handle
handle qui
qui nous
nous permet
permet de
de
// renvoyer le résultat à Hadoop).
// renvoyer le résultat à Hadoop).
public
public void
void reduce(Text
reduce(Text key,
key, Iterable<IntWritable>
Iterable<IntWritable> values,
values,
Context
Context context)
context)
throws
throws IOException,
{{
//
// Pour
Pour parcourir
parcourir toutes
toutes les
les valeurs
valeurs associées
associées àà la
la clef
clef fournie.
fournie.
Iterator<IntWritable>
Iterator<IntWritable> i=values.iterator();
i=values.iterator();
int
int count=0;
count=0; //// Notre
Notre total
total pour
pour lele mot
mot concerné.
concerné.
while(i.hasNext())
while(i.hasNext()) //
// Pour
Pour chaque
chaque valeur...
valeur...
count+=i.next().get();
count+=i.next().get(); //
// ...on
...on l'ajoute
l'ajoute au
au total.
total.
//
// On
On renvoie
renvoie le
le couple
couple (clef;valeur)
(clef;valeur) constitué
constitué de
de notre
notre clef
clef key
key
//
// et
et du
du total,
total, au
au format
format Text.
Text.
context.write(key,
context.write(key, newnew Text(count+"
Text(count+" occurences."));
occurences."));
}}
}}
5 Hadoop: utilisation (2)
Exemple 2 – Anagrammes / Driver
5-1
//
// Le
Le main
main du
du programme.
programme.
public
public static
static void
void main(String[]
main(String[] args)
args) throws
throws Exception
Exception
{{
//
// Créé
Créé un
un object
object de
de configuration
configuration Hadoop.
Hadoop.
Configuration
Configuration();
//
// Permet
Permet àà Hadoop
Hadoop de
de lire
lire ses
ses arguments
arguments génériques,
génériques,
//
// récupère
récupère les
les arguments
arguments restants
restants dans
dans ourArgs.
ourArgs.
String[]
GenericOptionsParser(conf,
//
// Obtient
Obtient un
un nouvel
nouvel objet
objet Job:
Job: une
une tâche
tâche Hadoop.
Hadoop. On
On
//
// fourni
fourni la
la configuration
configuration Hadoop
Hadoop ainsi
ainsi qu'une
qu'une description
description
//
// textuelle
textuelle de
de la
la tâche.
tâche.
Job
job=Job.getInstance(conf, "Anagrammes
"Anagrammes v1.0");
v1.0");
Exemple 2 – Anagrammes / Driver
5-2
job.setJarByClass(Anagrammes.class);
job.setJarByClass(Anagrammes.class);
job.setMapperClass(AnagrammesMap.class);
job.setMapperClass(AnagrammesMap.class);
job.setReducerClass(AnagrammesReduce.class);
job.setReducerClass(AnagrammesReduce.class);
job.setOutputValueClass(Text.class);
job.setOutputValueClass(Text.class);
//
// Défini
Défini les
les fichiers
fichiers d'entrée
d'entrée du
du programme
programme et
et le
le
//
// répertoire
répertoire des
des résultats,
résultats, depuis
depuis la
la ligne
ligne de
de commande.
commande.
FileInputFormat.addInputPath(job, newnew Path(ourArgs[0]));
Path(ourArgs[0]));
FileOutputFormat.setOutputPath(job, newnew Path(ourArgs[1]));
Path(ourArgs[1]));
//
// On
On lance
lance la
la tâche
tâche Hadoop.
Hadoop. Si
Si elle
elle s'est
s'est effectuée
effectuée
//
// correctement,
correctement, on
on renvoie
renvoie 0.
0. Sinon,
Sinon, on
on renvoie
renvoie -1.
-1.
System.exit(0);
System.exit(0);
System.exit(-1);
System.exit(-1);
}}
Exemple 2 – Anagrammes / Mapper
5-3
//
// Classe
Classe MAP
MAP
public
public class
class AnagrammesMap
AnagrammesMap extends
extends Mapper<Object,
Mapper<Object, Text,
Text, Text,
Text, Text>
Text>
{{
//
// La
La fonction
fonction MAP
MAP elle-même.
elle-même.
protected
protected void map(Object key,
void map(Object key, Text
Text value,
value, Context
Context context)
context) throws
throws
IOException,
{{
//
// Ordonne
Ordonne les
les lettres
lettres de
de la
la valeur
valeur d'entrée
d'entrée par
par ordre
ordre alphabétique.
alphabétique.
//
// Il
Il s'agira
s'agira de
de la
la clef
clef de
de sortie.
sortie.
char[]
char[] letters=value.toString().toLowerCase().toCharArray();
letters=value.toString().toLowerCase().toCharArray();
Arrays.sort(letters);
Arrays.sort(letters);
//
// On
On renvoie
renvoie le
le couple
couple (clef;valeur),
(clef;valeur), en
en convertissant
convertissant la
la clef
clef
//au
//au type
type Hadoop
Hadoop (Text).
(Text).
context.write(new
context.write(new Text(new
Text(new String(letters)),
String(letters)), value);
value);
}}
}}
Exemple 2 – Anagrammes / Reducer
5-4
//
// La
La classe
classe REDUCE.
REDUCE.
public
public class
class AnagrammesReduce
AnagrammesReduce extends
extends Reducer<Text,
Reducer<Text, Text,
Text, Text,
Text, Text>
Text>
{{
public
public void
void reduce(Text
reduce(Text key,
key, Iterable<Text>
Iterable<Text> values,
values, Context
Context context)
context) throws
throws
{{
//
// Pour
Pour parcourir
parcourir toutes
toutes les
les valeurs
valeurs associées
associées àà la
la clef
clef fournie.
fournie.
Iterator<Text>
Iterator<Text> i=values.iterator();
i=values.iterator();
String
String result="";
result="";
Boolean
Boolean first=true;
first=true;
while(i.hasNext())
while(i.hasNext()) //
// Pour
Pour chaque
chaque valeur...
valeur...
{{
if(first)
if(first) //
// Premier
Premier mot,
mot, donc
donc on
on n'inclut
n'inclut pas
pas le
le symbole
symbole "|".
"|".
{{
//
// Notre
Notre chaîne
chaîne de
de résultat
résultat contient
contient initialement
initialement
//
// le
le premier
premier mot.
mot.
result=i.next().toString();
result=i.next().toString();
first=false;
first=false;
}}
Exemple 2 – Anagrammes / Reducer
5-5
//
// Pas
Pas le
le premier:
premier: on
on concatene
concatene le
le mot
mot àà la
la chaîne
chaîne de
de resultat.
resultat.
else
else
result=result+"
result=result+" || "+i.next().toString();
"+i.next().toString();
}}
//
// On
On renvoie
renvoie le
le couple
couple (clef;valeur)
(clef;valeur) constitué
constitué de
de
// notre clef key et de la chaîne concaténée.
// notre clef key et de la chaîne concaténée.
context.write(key,
context.write(key, new
new Text(result));
Text(result));
}}
}}
Compilation
5-6
● Un programme map/reduce Hadoop se compile comme tout

programme Java « traditionnel ».
● Il faut ensuite le compresser au sein d'un paquet Java .jar classique, en

faisant par exemple:
mkdir
mkdir -p
-p org/unice/hadoop/wordcount
org/unice/hadoop/wordcount
mv
mv *.class
*.class org/unice/hadoop/wordcount
org/unice/hadoop/wordcount
jar
jar -cvf unice_wcount.jar -C
-cvf unice_wcount.jar -C .. org
org
● Avantage du .jar: on peut tout à fait y inclure plusieurs programmes

map/reduce différent, et sélectionner celui qu'on souhaite à l'exécution.
Exécution
5-7
● Là encore, on utilise le client console hadoop pour l'exécution.

Synopsis:
hadoop
hadoop jar
jar [JAR
[JAR FILE]
FILE] [DRIVER
[DRIVER CLASS]
CLASS] [PARAMETERS]
[PARAMETERS]
Par exemple:
hadoop
hadoop jar
jar wcount_unice.jar
wcount_unice.jar org.unice.hadoop.wordcount.WCount
org.unice.hadoop.wordcount.WCount \\
/input/poeme.txt
/input/poeme.txt /results
/results
Résultats
5-8
● Hadoop stocke les résultats dans une série de fichiers dont le nom
respecte le format:
part-r-XXXX
… avec XXXX un compteur numérique incrémental.
● On a un fichier part-r par opération Reduce exécutée. Le « r » désigne

le résultat de l'opération Reduce. On peut également demander la
génération de la sortie des opérations map – dans des fichiers part-m-*.
● En cas de succès, un fichier vide _SUCCESS est également créé.

Exécution
5-7
● Là encore, on utilise le client console hadoop pour l'exécution.

Synopsis:
hadoop
hadoop jar
jar [JAR
[JAR FILE]
FILE] [DRIVER
[DRIVER CLASS]
CLASS] [PARAMETERS]
[PARAMETERS]
Par exemple:
hadoop
hadoop jar
jar wcount_unice.jar
wcount_unice.jar org.unice.hadoop.wordcount.WCount
org.unice.hadoop.wordcount.WCount \\
/input/poeme.txt
/input/poeme.txt /results
/results
6 Autres langages; autres outils Hadoop
Autres langages de programmation
6-1
● Pour développer des programmes map/reduce Hadoop dans

d'autres langages: utilitaire Streaming, distribué avec
Hadoop.
● Il s'agit en réalité d'une application Hadoop Java classique

capable d'invoquer un intépréteur/un binaire sur tous les
nœuds du cluster.
● On spécifie à l'utilitaire deux arguments: le programme à

exécuter pour l'opération map, et celui à exécuter pour
l'opération reduce.
Autres langages de programmation
6-2
● Synopsis:
hadoop
hadoop jar
jar hadoop-streaming-X.Y.Z.jar
hadoop-streaming-X.Y.Z.jar -input
-input [HDFS
[HDFS INPUT
INPUT FILES]
FILES] \\
-output
-output [HDFS
[HDFS OUTPUT
OUTPUT FILES]
FILES] \\
-mapper
-mapper [MAP
[MAP PROGRAM]
PROGRAM] \\
-reducer
-reducer [REDUCE
[REDUCE PROGRAM]
PROGRAM]
● Par exemple:
hadoop
hadoop jar
jar hadoop-streaming-X.Y.Z.jar
hadoop-streaming-X.Y.Z.jar -input
-input /poeme.txt
/poeme.txt \\
-output
-output /results
/results -mapper
-mapper ./map.py
./map.py -reducer
-reducer ./reduce.py
./reduce.py
Format des données
6-3
● Pour passer les données d'entrée et recevoir les données

de sortie, streaming fait appel aux flux standards respectifs
stdin et stdout.
● Le format respecte le schéma suivant:

CLEF[TABULATION]VALEUR
… avec un couple (clef;valeur) par ligne.
● Dans le programme reduce, on est susceptible de recevoir

plusieurs groupes, correspondant à plusieurs clefs
distinctes, en entrée.
Exemple – Occurences de mot, Python
6-4
● Opération map:
import
import sys
sys
## Pour
Pour chaque
chaque ligne
ligne d'entrée.
d'entrée.
for line in sys.stdin:
for line in sys.stdin:
## Supprimer
Supprimer les
les espaces
espaces autour
autour de
de la
la ligne.
ligne.
line=line.strip()
line=line.strip()
## Pour
Pour chaque
chaque mot
mot de
de la
la ligne.
ligne.
words=line.split()
words=line.split()
for
for word
word in
in words:
words:
## Renvoyer
Renvoyer couple
couple clef;valeur:
clef;valeur: le
le mot
mot comme
comme clef,
clef, l'entier
l'entier "1"
"1" comme
comme
## valeur.
valeur.
## On
On renvoie
renvoie chaque
chaque couple
couple sur
sur une
une ligne,
ligne, avec
avec une
une tabulation
tabulation entre
entre
## la
la clef
clef et
et la
la valeur.
valeur.
print
print "%s\t%d"
"%s\t%d" %% (word,
(word, 1)
1)
6-5
● Opération reduce:
import
import sys
sys
total=0;
total=0; ## Notre
Notre total
total pour
pour le
le mot
mot courant.
courant.
## Contient le dernier mot rencontré.
Contient le dernier mot rencontré.
lastword=None
lastword=None
## Pour
Pour chaque
chaque ligne
ligne d'entrée.
d'entrée.
for
for line
line in
in sys.stdin:
sys.stdin:
## Supprimer
Supprimer les
les espaces
espaces autour
autour de
de la
la ligne.
ligne.
line=line.strip()
line=line.strip()
## Récupérer
Récupérer la
la clef
clef et
et la
la valeur,
valeur, convertir
convertir la
la valeur
valeur en
en int.
int.
word,
word, count=line.split('\t',
count=line.split('\t', 1)
1)
count=int(count)
count=int(count)
6-6
● Opération reduce (suite):

## On
On change
change de
de mot
mot (test
(test nécessaire
nécessaire parce
parce qu'on
qu'on est
est susceptible
susceptible d'avoir
d'avoir
## en
en entrée plusieurs clefs distinctes différentes pour une seule et
entrée plusieurs clefs distinctes différentes pour une seule et
## même
même exécution
exécution du
du programme
programme –– Hadoop
Hadoop triera
triera les
les couples
couples par
par clef
clef
## distincte).
distincte).
if
if word!=lastword
word!=lastword and
and lastword!=None:
lastword!=None:
print
print "%s\t%d
"%s\t%d occurences"
occurences" %% (lastword,
(lastword, total)
total)
total=0;
total=0;
lastword=word
lastword=word
total=total+count
total=total+count ## Ajouter
Ajouter la
la valeur
valeur au
au total
total
## Ecrire
Ecrire le
le dernier
dernier couple
couple (clef;valeur).
(clef;valeur).
print
print "%s\t%d
"%s\t%d occurences"
occurences" %% (lastword,
(lastword, total)
total)
Exemple – Occurences de mot, Bash
6-7
● Opération map:
## Pour
Pour chaque
chaque ligne
ligne d'entrée.
d'entrée.
while
while read
read line;
line; do
do
## Supprimer
Supprimer les
les espaces
espaces autour
autour de
de la
la ligne.
ligne.
line=$(echo
line=$(echo "$line"|sed
"$line"|sed 's/^\s*$.\+$\s*$/\1/')
's/^\s*$.\+$\s*$/\1/')
## Pour
Pour chaque
chaque mot
mot de
de la
la ligne.
ligne.
for word in $line;
for word in $line; do do
## Renvoyer
Renvoyer couple
couple clef;valeur:
clef;valeur: le
le mot
mot comme
comme clef,
clef, l'entier
l'entier "1"
"1" comme
comme
## valeur.
valeur.
## On
On renvoie
renvoie chaque
chaque couple
couple sur
sur une
une ligne,
ligne, avec
avec une
une tabulation
tabulation entre
entre
## la clef et la valeur.
la clef et la valeur.
echo
echo -e
-e $word"\t"1
$word"\t"1
done
done
done
done
6-8
● Opération reduce:
lastword=""
lastword=""
total=0
total=0
## Pour
Pour chaque
chaque ligne
ligne d'entrée.
d'entrée.
while read line;
while read line; dodo
## Supprimer
Supprimer les
les espaces
espaces autour
autour de
de la
la ligne.
ligne.
line=$(echo "$line"|sed 's/^\s*$.\+$\s*$/\1/')
line=$(echo "$line"|sed 's/^\s*$.\+$\s*$/\1/')
## Recuperer
Recuperer mot
mot et
et occurrence
occurrence (IE,
(IE, clef
clef et
et valeur)
valeur)
word=$(echo
word=$(echo "$line"|awk
"$line"|awk -F
-F "\t"
"\t" '{print
'{print $1}');
$1}');
nb=$(echo "$line"|awk -F "\t" '{print $2}');
nb=$(echo "$line"|awk -F "\t" '{print $2}');
6-9
● Opération reduce (suite):

## On
On change
change de
de mot
mot (test
(test nécessaire
nécessaire parce
parce qu'on
qu'on est
est susceptible
susceptible d'avoir
d'avoir
## en
en entrée plusieurs clefs distinctes différentes pour une seule et
entrée plusieurs clefs distinctes différentes pour une seule et
## même
même exécution
exécution du
du programme
programme –– Hadoop
Hadoop triera
triera les
les couples
couples par
par clef
clef
## distincte).
distincte).
if
if [[ "$word"
"$word" !=
!= "$lastword"
"$lastword" ]] &&
&& [[ "$lastword"
"$lastword" !=
!= ""
"" ];
]; then
then
echo
echo -e
-e $lastword"\t"$total"
$lastword"\t"$total" occurences."
occurences."
total=0;
total=0;
fi
fi
lastword="$word"
lastword="$word"
total=$[
total=$[ $total
$total ++ $nb
$nb ]] ## Ajouter
Ajouter la
la valeur
valeur au
au total.
total.
done
done
## Ecrire
Ecrire le
le dernier
dernier couple
couple (clef;valeur).
(clef;valeur).
echo
echo -e
-e $lastword"\t"$total"
$lastword"\t"$total" occurences."
occurences."
Autres outils associés à Hadoop
6-10
● Nombreux front-ends graphiques (projet Hue…).
● Apache Hive: outil d'analyse/recoupage/etc. de larges volumes

de données, associé à un langage similaire à SQL: HiveQL.
● Apache Pig: outil permettant le développement de programmes

map/reduce dans un langage simplifié et accessible (Piglatin).
● Sqoop: outil d'importation/exportation de données entre HDFS et

de nombreux systèmes de gestion de bases de données
classiques.
… et beaucoup d'autres …
Conclusion
6-11
● Le présent cours constitue une introduction. L'API Hadoop, et le

framework en général, présentent de nombreuses autres possibilités.
● Se référer au guide de lectures, ou encore à la documentation Hadoop,

pour approfondir le sujet.
● Expérimenter ! Se familiariser avec l'approche map/reduce et

l'utilisation de Hadoop nécessite de la pratique.

Mooc Fun Big Data Semaine 9 Hadoop

Transféré par

Droits d'auteur :

Formats disponibles

Mooc Fun Big Data Semaine 9 Hadoop

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Mooc Fun Big Data Semaine 9 Hadoop

Transféré par

Droits d'auteur :

Formats disponibles

Introduction à Hadoop & MapReduce

Benjamin Renaut <renaut.benjamin@tokidev.fr>

MOOC / FUN 2014 - 2015

● Projet Open Source – fondation Apache.

● Développé en Java; portable.

● Assure l'exécution de tâches map/reduce; fourni le framework,

● Autres langages supportés par le biais d'utilitaires internes.

- 2003/2004: publication par Google de deux whitepapers, le

- 2004: développement de la première version du framework qui

- 2006: Doug Cutting (désormais chez Yahoo) développe une

- 2008: développement maintenant très abouti, Hadoop utilisé chez

- 2011: Hadoop désormais utilisé par de nombreuses autres

Le nom lui-même n'est pas un acronyme: il s'agit

… et des milliers d'entreprises et universités à travers le monde.

● La multiplication des données, dans un volume toujours

● Hadoop est au coeur de ces problématiques; c'est (de très

● Simple à utiliser et à déployer.

● Très extensible et interconnectable avec d'autres

● Il a également des inconvénients: overhead supérieur à une

● Hadoop n'utilise aucun principe foncièrement nouveau; il

● Grâce à Hadoop, même des structures limitées en

● HDFS: Hadoop Distributed File System.

● Système de fichiers distribué associé à Hadoop. C'est là

● Conscient des caractéristiques physiques de

l'emplacement des serveurs (racks) pour l'optimisation.

● Repose sur deux serveurs:

● Le NameNode, unique sur le cluster. Stocke les

● Le DataNode, plusieurs par cluster. Stocke le contenu des

● Inspiré de GFS, lui-même issu de recherches de Google.

● Repose sur deux serveurs:

● Le NameNode, unique sur le cluster. Stocke les

● Le DataNode, plusieurs par cluster. Stocke le contenu des

● Inspiré de GFS, lui-même issu de recherches de Google.

● Pour écrire un fichier:

● Le client contacte le NameNode du cluster, indiquant la

● Le NameNode confirme la demande et indique au client de

● Le client envoie les fragments aux DataNode.

● Les DataNodes assurent ensuite la réplication des blocs.

● Pour lire un fichier:

● Le client contacte le NameNode du cluster, indiquant le fichier

● Le NameNode lui indique la taille, en blocs, du fichier, et pour

● Le client contacte les DataNodes en question pour obtenir les

● En cas de DataNode inaccessible/autre erreur pour un bloc, le

● On utilise la commande console hadoop, depuis n'importe quelle

● Sa syntaxe reprend celle des commandes Unix habituelles:

● L'ensemble du système de fichier virtuel apparaît comme un

● Tolérant aux pannes: blocs répliqués.

● Plusieurs drivers FUSE existent pour monter le système de

● NameNode unique: si problème sur le serveur en question,

● Optimisé pour des lectures concurrentes; sensiblement

● D'autres systèmes de fichiers distribués (Amazon S3,

● Ponts d'interconnexion directe avec des systèmes de bases

● Autres ponts d'interconnexion (HTTP, FTP).

● Repose sur deux serveurs:

● Le JobTracker, unique sur le cluster. Reçoit les tâches

● Le TaskTracker, plusieurs par cluster. Exécute le travail

● Chacun des TaskTrackers constitue une unité de calcul du

● Le serveur JobTracker est en communication avec HDFS; il

● Pour exécuter un programme map/reduce, on devra donc: