Hadoop gyakorlat 2
Download
1 / 12

Hadoop Gyakorlat 2 - PowerPoint PPT Presentation


  • 164 Views
  • Uploaded on

Hadoop Gyakorlat 2. Korszerű adatbázisok 2014. Parancsok. Listázás hadoop fs – ls Kiírja egy fájl tartalmát hadoop fs – cat Betöltés hadoop fs – put Könyvtár létrehozás hadoop fs – mkdir Könyvtár törlése rekurzívan hadoop fs - rmr. Eclipse plugin. Letölteni a szükséges jar-okat

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Hadoop Gyakorlat 2' - selena


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Hadoop gyakorlat 2

Hadoop Gyakorlat 2

Korszerű adatbázisok

2014


Parancsok
Parancsok

  • Listázás

    • hadoopfs –ls

  • Kiírja egy fájl tartalmát

    • hadoopfs –cat

  • Betöltés

    • hadoopfs –put

  • Könyvtár létrehozás

    • hadoopfs –mkdir

  • Könyvtár törlése rekurzívan

    • hadoopfs-rmr

Korszerű Adatbázisok 2014


Eclipse plugin
Eclipseplugin

  • Letölteni a szükséges jar-okat

    • http://oktnb16.inf.elte.hu/ggombos/korszeru/

    • hadoop-eclipse-plugin-1.1.2.jar

    • hadoop-core-1.2.1.jar

  • Plugin bemásolása az eclipse/plugin mappába

  • Elindítjuk az eclipset

  • Nézet átállítása Map/Reduce-ra

  • New Hadoop location beállítása

Korszerű Adatbázisok 2014


Hadoop location
Hadoop location

  • map/reducemaster: 

    • host: monet.inf.elte.hu

    • port: 10814

  • dfsmaster:

    • use M/R Master host OK

    • host: monet.inf.elte.hu

    • port: 8020

  • Username: neptunazonosito

Korszerű Adatbázisok 2014


Seg ts g
Segítség

A generált kódban lecseréljük a sorokat erre:

conf.setInputFormat(TextInputFormat.class);conf.setOutputFormat(TextOutputFormat.class);FileInputFormat.setInputPaths(conf, newPath("In"));FileOutputFormat.setOutputPath(conf, newPath("Out"));

Létező fmappák törlése:

FileSystemfs = FileSystem.get(conf);

if (fs.exists(newPath(“Outer”)))

fs.delete(newPath(“Outer”),true);

Korszerű Adatbázisok 2014


Futtat s
Futtatás

  • Export -> normal JAR

    • Set main class!!!!

  • Felmásoljuk monet-re

  • Hadoop jarjar_name.jar

Korszerű Adatbázisok 2014


Adathalmazok
Adathalmazok

  • Tweet/

  • User_mention/

  • Szamok.txt


Feladat 1 elosztott sz m t s
Feladat 1 (Elosztott számítás)

Feladat: Hány négyzetszám van 1..10 000 000 között?

Input: szamok.txt

Megj.: nincs reducer (mapred.reduce.tasks = 0)


Feladat 2 sz r s chain
Feladat 2 (Szűrés, Chain)

Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette.

input: tweet

Megj.:chain(MAP+ | REDUCE | MAP* )


Feladat 2 sz r s chain1
Feladat 2 (Szűrés, Chain)

Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette.

MAP1 – szűrés

MAP2 – useremlites

Reducer – összeadja az emliteseket

MAP3 – Megforditja a kiiratast


Feladat 3 gr f elemz s
Feladat 3 (Gráf elemzés)

Feladat: Ki-kit említett? Kimenő, bemenő élek egy adott user-re

Input: tweet_user_mention/egy csv

Megj.: combiner



ad