U prošlom tekstu sam spomenuo Storm u kontekstu obrade podataka u realnom vremenu. U ovom tekstu pisaću malo detaljnije o Storm-u, o tome šta je, kako radi, kako se programira i pomenuću neke primere. Preporučujem da pročitate tekst Hadoop i obrada u realnom vremenu pre nego što nastavite. Šta je to Storm? Storm je open […]
Od svog nastanka do danas, Hadoop je prolazio kroz veoma dinamičan razvoj. Danas je jedna od standardnih platformi za Big Data okruženje. Kroz taj razvoj veliki broj alata je nalazio svoju primenu u takvom okruženju i korišćen je za potrebe analiza i obrade podataka. Međutim, mnoštvo tih alata je i napuštalo ekosistem, ili njihova primena […]
Nastavljamo priču o tome kako uneti podateke u Hadoop klaster, odnosno u HDFS. Ovaj tekst je o Sqoop-u, jednom interesantnom alatu i veoma lakom za korišćenje. Ovim tekstom završavam priču o unošenju podataka. Šta je Sqoop? Sqoop je alat koji služi za prenos podataka iz i u Hadoop klaster. Njegova posebna namena je da radi […]
U prethodnom tekstu sam pisao o tome kako uneti podatke u Hadoop klaster, odnosno u HDFS. Nastavljamo tu priču, konkretno u ovom tekstu ću pažnju posvetiti Apache Flume-u. Opisaću alat, ali i dati primere koda koje sam testirao i koristio. Šta je Flume? Apache Flume je distribuiran i izuzetno pouzdan servis za sakupljanje, agregaciju i transport […]
Kada se spomene Hadoop, često se postavi pitanje koliko je brz u izvršavanju analize nad nekim podacima. Hadoop nije brz, odnosno sam po sebi ne pruža mogućnost obrade u realnom vremenu. Moram da napomenem da kada se kaže da Hadoop nije brz, ne znači da ga ne treba koristiti, nego treba razmisliti u kom trenutku […]
Interesantno ime, moćan alat, skriptni jezik… Ovo su neke od reči koje opisuju Apache Pig, još jedan popularan deo Hadoop ekosistema. Ovaj alat je posebno interesantan programerima, a i analitičarima. Prvi put kada sam čuo za Pig, nisam obraćao puno pažnje, ali tokom rada sam uvideo da je ovo jedan odličan dodatak koji vam štedi […]
Često sam čuo pitanje “Da li je Hadoop zamena za relacione baze podataka?”. Odgovor na ovo pitanje je krajnje jednostavan – NE. Hadoop je samo nadogradnja na sve postojeće tehnologije koje obrađuju podatke, šta više, često se kombinuju relacione baze i Hadoop. Detaljan tekst o ovome ostavljam za neke kasnije dane, ali sam morao da […]
Šta je Apache HCatalog? Apache HCatalog je alat koji omogućava lakše upravljanje skladištenjem podataka i tabelama na Hadoop-u, što pruža mogućnost korisnicima raznih alata za analizu podataka da lakše čitaju i pišu podatke. Praktično je HCatalog sloj na Hadoop-u koji omugućava prezentovanje podataka sa HDFS-a u vidu tabela i oslobađa korisnike briga o tome gde i […]
Hue je open-source web interfejs za Hadoop i njegov ekosistem. Napisan je u Python-u i podržava najčešće alate iz Hadoop ekosistema. Odličan je za one koji žele samo da koriste Hadoop bez da razmišljanja šta se dešava ispod, takođe ako ne želite da koristite komandnu liniju. Ovaj korisnički interfejs je dizajniran tako da objedinjuje sve […]
Šta je Ambari? U svakom radu potrebna je kontrola onoga što radite, tako i kada administrirate Hadoop klaster, želite da to uradite što lakše i bezbolnije. Apache Ambari je projekat razvijen kako bi olakšako administratorima rad sa Hadoop klasterom. Ovaj alat pruža web interfejs koji je po mom mišljenju jako jednostavan, minimalistički, odnosno pruža vam […]