Kako Spark sve više dobija na popularnosti, rešio sam da pored Hadoop-a počnem da pišem više i o ovom alatu. Prvo da još jednom napomenem da Spark nije zamena za Hadooop, već jedan odličan dodatak. Mi u firmi se često igramo sa njim i dobijamo odlične rezultate. Ovaj tekst će biti o tome kako da podesite […]
Posle duže pauze vraćam se pisanju. Prošlo je nešto više od godinu dana od pokretanja bloga i jako sam zadovoljan, a nadam se da ste i vi. Analitika kaže da vas ima mnogo i da ste redovni, tako da je mene malo sramota što ja nisam, ali potrudiću se da to ispravim. Odmah da kažem […]
Od svog nastanka do danas, Hadoop je prolazio kroz veoma dinamičan razvoj. Danas je jedna od standardnih platformi za Big Data okruženje. Kroz taj razvoj veliki broj alata je nalazio svoju primenu u takvom okruženju i korišćen je za potrebe analiza i obrade podataka. Međutim, mnoštvo tih alata je i napuštalo ekosistem, ili njihova primena […]
Razmišljao sam dugo o temi za ovaj post. Kao što ste i sami primetili, dugo nisam napisao nijedan tekst. Razlog nije što sam zaboravio ili što više ne želim da pišem, već sam radio kako bi blog obogatio novim tekstovima. Poslednjih nekoliko nedelja pratim jedan odličan kurs o Apache Storm-u, kome ću posvetiti sledeći tekst na […]
Posle niza tekstova koji su se više odnosili na alate koji se dodaju na Hadoop, rešio sam da se vratim na trenutak na jednu od najbitnijih Hadoop komponenti – HDFS. U celoj Hadoop “priči” potrebno je podjednako znati i Hadoop osnovne alate i alate iz ekosistema, ali razlog zbog koga se u ovom tekstu fokusiram […]
Pre nego što počnem da pišem, moram da se pohvalim. Razlog za to je nova kategorija na blogu – Big Data u organizaciji. Tekstove će pisati Jelena, pa bih iskoristio priliku da poželim dobrodošlicu. Nadam se da će podeliti dosta iskustava sa nama i da će vam njeni tekstovi biti zanimljivi i korisni. Ukoliko neko […]
Posle malo duže pauze nastavljamo sa novim tekstovima. Izvinjavam se zbog nepisanja, ali to je zbog nedostatka vremena, koje je delom utrošeno i na poboljšanje ovog bloga. Naime, u narednom periodu možete očekivati neke novitete, za koje se nadam da mogu da poboljšaju Big Data scenu u našem regionu. Ovaj tekst će biti posvećen tome […]
Nastavljamo priču o tome kako uneti podateke u Hadoop klaster, odnosno u HDFS. Ovaj tekst je o Sqoop-u, jednom interesantnom alatu i veoma lakom za korišćenje. Ovim tekstom završavam priču o unošenju podataka. Šta je Sqoop? Sqoop je alat koji služi za prenos podataka iz i u Hadoop klaster. Njegova posebna namena je da radi […]
U prethodnom tekstu sam pisao o tome kako uneti podatke u Hadoop klaster, odnosno u HDFS. Nastavljamo tu priču, konkretno u ovom tekstu ću pažnju posvetiti Apache Flume-u. Opisaću alat, ali i dati primere koda koje sam testirao i koristio. Šta je Flume? Apache Flume je distribuiran i izuzetno pouzdan servis za sakupljanje, agregaciju i transport […]
Pre početka instalacije Hadoop-a isplaniraćete ceo sistem ili možda imate neki test Hadoop sistem. U svakom slučaju, prvo morate da se zapitate koje podatke treba obraditi vaš sistem. Kako je Hadoop jako fleksibilan što se tiče raznolikosti podataka, sledeće na šta treba da obratite pažnju je kako te podatke da prebacite u HDFS. Brzina podataka […]