Posle niza tekstova koji su se više odnosili na alate koji se dodaju na Hadoop, rešio sam da se vratim na trenutak na jednu od najbitnijih Hadoop komponenti – HDFS. U celoj Hadoop “priči” potrebno je podjednako znati i Hadoop osnovne alate i alate iz ekosistema, ali razlog zbog koga se u ovom tekstu fokusiram […]
Pre početka instalacije Hadoop-a isplaniraćete ceo sistem ili možda imate neki test Hadoop sistem. U svakom slučaju, prvo morate da se zapitate koje podatke treba obraditi vaš sistem. Kako je Hadoop jako fleksibilan što se tiče raznolikosti podataka, sledeće na šta treba da obratite pažnju je kako te podatke da prebacite u HDFS. Brzina podataka […]
U prethodnim tekstovima sam pisao o Hadoop-u i njegovim glavnim komponentama, Hadoop Common, HDFS, MapReduce i YARN, to je u suštini srž Hadoop framework-a. Svaka od ovih komponenti je moćna sama po sebi i zajedno čine jednu savršenu platformu koja ima mogućnost da se proširi dodatnim alatima po potrebi. Šta je Hadoop ecosystem? Hadoop ecosystem […]
Često se pominje, kada je Hadoop u pitanju, da su dve najbitnije komponente HDFS i MapReduce. Čuo sam to od mnogih sa kojima sam pričao. Obično se zapostavljaju druge dve komponente – Hadoop Common, o kojoj sam pisao u ranijim tekstovima, i YARN. Lično nisam usmeravao previše pažnje na ove komponente, ali u radu sa […]
U prošlom tekstu sam pisao o HDFS i njegovom značaju za Hadoop. Kada bismo imali samo Hadoop sa HDFS-om i Common paketom, to bi bila samo platforma za skladištenje velike količine podataka. Postavlja se pitanje zašto samo skladištiti podatke, to je glupo, a i skupo. Zato Hadoop ima posebnu komponentu koja će obradovati programere, MapReduce. […]
Šta je HDFS? Odgovor na ovo pitanje je jako jednostavan, HDFS je Hadoop distribuirani fajl sistem i sastavni je deo Hadoop-a. Dizajniran je tako da može da radi na bilo kojoj hardverskoj strukturi. U principu nema nekog smisla da ga instalirate na laptopu ili desktop računaru, jer se prava moć vidi na serverima. Moja prva […]
Evo konačno da krenem detaljnije da pišem o Hadoop-u. Smatram da je bitno krenuti od njegove srži, odnosno od komponenata od kojih je sačinjen. Kada sam počinjao da radim sa ovom tehnologijom imao sam utisak da je ovo dosadno, da bih možda mogao da preskočim neke detalje, odnosno da apstrahujem celu tematiku. Naravno, to je […]