* Exemple 1: Total des ventes par magasin * Exemple 4: Calculer maximum et minimum du salaire * Exemple 5: Calculer moyenne de l'écart type du Salaire * Exemple 6: Anagram date | temps | magasin| produit | cout | paiement id , age , sexe , adresse , salaire melon barre deviner lemon arbre fiable fable vendre devenir faible barbe pour test avant de passer en MapReduce pour détecter les erreurs Syntaxique
cat <chemin de fichier input on local> | python <chemin de fichier mapper.py on local> | python <chemin de fichier reducer.py on local>hdfs dfs -CopyFromLocal <chemin du ficher input on Local> <nom de dossier de destination>ou :
hadoop fs -CopyFromLocal <chemin du fichier input on Local> <nom de dossier de destination>hadoop jar <chemin de fichier streaming.jar> -Dmaperd.reduce,tasks=1 -file <chemin du ficher map on Local> -mapper "python <chemin du ficher map on Local>" -file <chemin du ficher reduce on Local> -reducer "python <chemin du ficher reduce on Local>" -input <chemin du ficher input on HDFS> -output <chemin du ficher output on HDFS>hadoop fs -cat <chemin de fichier output>/part-00000 hadoop fs -rm -r <répertoire de fichier output>en va choisi l'exemple 1 pour tester
copier l'exemple 1 dans le chemin suivant: /home/cloudera
# créer répertoire input dans HDFS hadoop fs -mkdir /user/input# transférer le fichier input.text du local vers HDFS hadoop fs -copyFromLocal /home/cloudera/Exemple1/input.txt input/ # execution Program Mapreduce hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.6.0-mr1-cdh5.12.0.jar -Dmaperd.reduce,tasks=1 -file /home/cloudera/Exemple1/mapper.py -mapper "python /home/cloudera/Exemple1/mapper.py" -file /home/cloudera/Exemple1/reducer.py -reducer "python /home/cloudera/Exemple1/reducer.py" -input Exemple1/input.txt #exemple -output out# afficher le contenu de fichier output hadoop fs -cat out/part-00000 # suppression du répertoire Output hadoop fs -rm -r out ``