Apache Ambari
Šta je Ambari? U svakom radu potrebna je kontrola onoga što radite, tako i kada administrirate Hadoop klaster, želite da to uradite što lakše i bezbolnije. Apache Ambari je projekat razvijen kako bi olakšako administratorima rad sa Hadoop klasterom. Ovaj alat pruža web interfejs koji je po mom mišljenju jako jednostavan, minimalistički, odnosno pruža vam tačno ono što vam je potrebno. Ambari korisnicima pruža sledeće mogućnosti:
- Upravljanje Hadoop klasterom
- Praćenje metrika Hadoop klastera
- Instalacija i podešavanje Hadoop-a
Upravljanje Hadoop klasterom – Pokretanje, zaustavljanje, rekonfigurisanje Hadoop servisa je jako jednostavno korišćenjem Ambari-ja. Ovaj alat pruža mogućnost da izaberete bilo koju mašinu iz klastera i da u njoj uradite neku od navedenih akcija. Ovo se bukvalno radi u nekoliko klikova, jako je pregledno čak i kada imate mnogo mašina u klasteru. Bitno je da napomenem da je sa verzijom 1.5.1 dodata mogućnost restartovanja nekog servisa, što se ranije radilo na način “zaustavi, pa pokreni”. Osim ovoga, interesantno je da sada možete da primenite istu akciju i na više mašina po vašem izboru, što uveliko koristi ako imate 1000 instanci, a želite istu stvar da uradite na 200. Jako je zanimljivo što sada neki servis možete da stavite u Maintence Mode, što znači da vam neće svetleti crvena lampica ili stizati milion mejlova da nešto nije u redu. Nekada nešto nije moguće popraviti za sekundu, a možda i servis koji je otkazao nije prioritet za klaster, pa može da čeka.
Praćenje metrika – Ambari pruža odličan interfejs za praćenje bitnih pokazatelja klastera. Sa lakoćom možete videti koliko prostora vam je ostalo u klasteru, kakvo je stanje NameNode-a i slično. Ovaj deo Ambari-ja je napravljen tako da sakuplja podatke sa Ganglia i Nagios servisa, tako da možete da dobijate mejlove ako se nešto pokvari. Sami podešavate za šta treba da vam stigne mejl i koje su granice koje neki pokazatelji ne bi smeli da pređu.
Instalacija i podešavanje Hadoop-a – Hadoop klaster je moguće instalirati i korišćenjem Ambari-ja. Na početku je dovoljno instalirati Ambari server na samo jednoj mašini, koja čak ne mora da bude u klasteru. Sve što treba da uradite je da pokupite sa mašina ključeve za autentifikaciju kako bi Ambari server mogao da “pošalje” svoje agente na svaku izabranu mašinu. Ovo je neophodno da bi Ambari imao privilegije da se konektuje na mašinu bez korisničkog imena i šifre. Ceo proces instalacije je jednostavan. Sve ovo sam testirao na Centos operativnom sistemu, a što se tiče Windows operativnog sistema za instalaciju ne morate koristiti Ambari, već postoji drugi način koji je onakav na kakav ste navikli ako koristite Windows. Iskreno, nisam siguran da li možete da koristite Ambari za instalaciju Hadoop-a na Windows-u, ali sigurno je da možete koristiti njegove ostale funkcionalnosti bez obzira koji operativni sistem koristite. Nakon instalacije, korišćenjem web interfejsa možete uraditi one “sitnice” koje su jako bitne za rad klastera.
Zašto koristiti Ambari?
Ambari je prvenstveno namenjen sistem administratorima, ali bih svakako preporučio svakom ko se bavi Hadoop-om da nauči neke osnovne stvari o njemu. Na primer, ako ste Hadoop developer i pišete neku aplikaciju, preporučljivo je da pratite koliko resursa koristi ta aplikacija i da li ih ima dovoljno. Na kraju se ipak sve svodi na to da sve što uradite treba da bude optimalno. Mogu da kažem da mi je ovaj alat mnogo olakšao administraciju Hadoop klastera, a radio sam instalaciju Hadoop-a i bez Ambari-ja i sa njim. Mnogo je jednostavnije implementirati klaster korišćenjem Ambari-ja, mada ako želite da naučite što više o Hadoop-u, savetujem da prvi put instalirate bez korišćenja ovog alata, ukoliko imate tu mogućnost. Ambari je posebno olakšanje za nekoga ko ne poznaje Linux dovoljno dobro. Lično se više bavim implementacijom i administracijom, kao i testiranjem raznih mogućnosti Hadoop-a. Imam samo pozitivne reči za ovaj alat. Kao što sam pomenuo, kada pišem i testiram neku aplikaciju uvek otvorim i Ambari kako bih pratio stanje klastera pri njenom testiranju. Još jedna mogućnost koju pruža Ambari je i RESTful API, tako da ga možete povezati sa vašom aplikacijom.
Sledećih desetak tekstova biće vezani za alate koje sam opisao u tekstu Hadoop ecosysem, a posle toga nešto više o primeni Hadoop-a, primerima i savetima iz prakse. Ovo je tek početak, zato se spremite da i dalje hadupujemo zajedno!
