Scribd Logo
Importer

Bienvenue sur Scribd !

  • 2 vues

    TP2 Big Data Env Docker

    Transféré par

    Med Achref Smach

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd

    TP2 Big Data Env Docker

    Transféré par

    Med Achref Smach
    2 vues3 pages

    Copyright

    © © All Rights Reserved

    Formats disponibles

    PDF, TXT ou lisez en ligne sur Scribd

    Avez-vous trouvé ce document utile ?

    Ce contenu est-il inapproprié ?

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    2 vues3 pages

    TP2 Big Data Env Docker

    Transféré par

    Med Achref Smach

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    Vous êtes sur la page 1sur 3

    Lab Big Data

    Section : Info_2
    2023 - 2024

    Dr Abdelkarim Mars

    TP 3 Hadoop avec Docker

    Installation de hadoop avec Docker :

    Le but de cet atelier ne vise pas à expliquer comment utiliser Docker ou


    comment configurer Hadoop avec Docker. L'idée est d'installer et de
    commencer à utiliser Hadoop via Docker. Il faut suivre simplement les étapes
    comme pour l'installation d'un nouveau logiciel.

    Étape 1 : pré-requis

    NB : Il faut installer linux, ubuntu 20.04.

    Note : Virtual Box ne prend pas en charge la virtualisation imbriquée,


    n'essayez donc pas d'installer Docker sur Virtual Box Linux.
    Étape 2 : installer Docker, Docker-Compose, Git

    1. Suivez ce lien pour installer Docker :

    https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-

    ubuntu-20-04

    Vérifier l’installation :

    Taper cette commande : $ docker –version

    2. Vérifier l’installation de docker composer :

    Taper cette commande : docker-compose --version


    3. Tester l’installation de GIT :
    Taper cette commande : $ git –version sinon suivez ce lien :
    (https://www.linode.com/docs/development/version-control/how-to-
    install-git-on-linux-mac-and-windows/)
    4. Installer l’image de docker :
    $ mkdir hadoop_docker
    $ cd hadoop_docker
    $ git clone https://github.com/m-semnani/bd-infra.git
    $ cd bd-infra
    docker-compose up -d
    5. Vérifier l’état des contenaires :
    docker ps
    6. Vérification des services :
    Verifier Namenode: http://localhost:50070/
    7. Connecter le namenode : $ docker exec -it namenode bash$ docker
    exec -it namenode bash

    8. Aller au rout : $cd


    9. Créer un rep scratch dans le root
    10. Télécharger cet exemple :

    http://eforexcel.com/wp/wpcontent/uploads/2017/07/5000-Sales-Records.zip
    11. #unzip sales5k.zip
    12. Vérifier le contenu : cat "5000 Sales Records.csv" | head

    13. Renommer le fichier : mv "5000 Sales Records.csv" sales5k.csv


    14. Afficher les fichier sous HDFS : # hdfs dfs -ls /
    15. Créer les rep :
    # hdfs dfs -mkdir /db# hdfs dfs -mkdir /db/sales

    16. Copier le fichier vers le HDFS :


    # hdfs dfs -copyFromLocal sales5k.csv /db/sales/
    17. Vérifier :
    # hdfs dfs -ls /db/sales/sales5k.csv# hdfs dfs -cat
    /db/sales/sales5k.csv | head
    18. Tester ces commandes
    # hdfs dfs -mkdir -p /db/test
    # hdfs dfs -mkdir -p /db/sample
    # hdfs dfs -touchz /db/test/sample.txt
    # hdfs dfs -cp /db/test/sample.txt /db/test/sample1.txt
    # hdfs dfs -mv /db/test/sample1.txt /db/sample/sample2.txt
    # hdfs dfs -rmr /db/test# hdfs dfs -du /db
    19. Arréter docker :
    $ docker stop $(docker ps -aq)

    Vous aimerez peut-être aussi

    pFad - Phonifier reborn

    Pfad - The Proxy pFad of © 2024 Garber Painting. All rights reserved.

    Note: This service is not intended for secure transactions such as banking, social media, email, or purchasing. Use at your own risk. We assume no liability whatsoever for broken pages.


    Alternative Proxies:

    Alternative Proxy

    pFad Proxy

    pFad v3 Proxy

    pFad v4 Proxy