Hadoop gyakorlat 2
This presentation is the property of its rightful owner.
Sponsored Links
1 / 12

Hadoop Gyakorlat 2 PowerPoint PPT Presentation


  • 126 Views
  • Uploaded on
  • Presentation posted in: General

Hadoop Gyakorlat 2. Korszerű adatbázisok 2014. Parancsok. Listázás hadoop fs – ls Kiírja egy fájl tartalmát hadoop fs – cat Betöltés hadoop fs – put Könyvtár létrehozás hadoop fs – mkdir Könyvtár törlése rekurzívan hadoop fs - rmr. Eclipse plugin. Letölteni a szükséges jar-okat

Download Presentation

Hadoop Gyakorlat 2

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Hadoop gyakorlat 2

Hadoop Gyakorlat 2

Korszerű adatbázisok

2014


Parancsok

Parancsok

  • Listázás

    • hadoopfs –ls

  • Kiírja egy fájl tartalmát

    • hadoopfs –cat

  • Betöltés

    • hadoopfs –put

  • Könyvtár létrehozás

    • hadoopfs –mkdir

  • Könyvtár törlése rekurzívan

    • hadoopfs-rmr

Korszerű Adatbázisok 2014


Eclipse plugin

Eclipseplugin

  • Letölteni a szükséges jar-okat

    • http://oktnb16.inf.elte.hu/ggombos/korszeru/

    • hadoop-eclipse-plugin-1.1.2.jar

    • hadoop-core-1.2.1.jar

  • Plugin bemásolása az eclipse/plugin mappába

  • Elindítjuk az eclipset

  • Nézet átállítása Map/Reduce-ra

  • New Hadoop location beállítása

Korszerű Adatbázisok 2014


Hadoop location

Hadoop location

  • map/reducemaster: 

    • host: monet.inf.elte.hu

    • port: 10814

  • dfsmaster:

    • use M/R Master host OK

    • host: monet.inf.elte.hu

    • port: 8020

  • Username: neptunazonosito

Korszerű Adatbázisok 2014


Seg ts g

Segítség

A generált kódban lecseréljük a sorokat erre:

conf.setInputFormat(TextInputFormat.class);conf.setOutputFormat(TextOutputFormat.class);FileInputFormat.setInputPaths(conf, newPath("In"));FileOutputFormat.setOutputPath(conf, newPath("Out"));

Létező fmappák törlése:

FileSystemfs = FileSystem.get(conf);

if (fs.exists(newPath(“Outer”)))

fs.delete(newPath(“Outer”),true);

Korszerű Adatbázisok 2014


Futtat s

Futtatás

  • Export -> normal JAR

    • Set main class!!!!

  • Felmásoljuk monet-re

  • Hadoop jarjar_name.jar

Korszerű Adatbázisok 2014


Adathalmazok

Adathalmazok

  • Tweet/

  • User_mention/

  • Szamok.txt


Feladat 1 elosztott sz m t s

Feladat 1 (Elosztott számítás)

Feladat: Hány négyzetszám van 1..10 000 000 között?

Input: szamok.txt

Megj.: nincs reducer (mapred.reduce.tasks = 0)


Feladat 2 sz r s chain

Feladat 2 (Szűrés, Chain)

Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette.

input: tweet

Megj.:chain(MAP+ | REDUCE | MAP* )


Feladat 2 sz r s chain1

Feladat 2 (Szűrés, Chain)

Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette.

MAP1 – szűrés

MAP2 – useremlites

Reducer – összeadja az emliteseket

MAP3 – Megforditja a kiiratast


Feladat 3 gr f elemz s

Feladat 3 (Gráf elemzés)

Feladat: Ki-kit említett? Kimenő, bemenő élek egy adott user-re

Input: tweet_user_mention/egy csv

Megj.: combiner


K sz n m a figyelmet

Köszönöm a figyelmet!


  • Login