Upravljanje tokom obrade podataka koristeći Apache Airflow

Đorđe Marjanović je Data engineer u kompaniji Content Insights i govoriće o upravljanju tokom obrade podataka koristeći Apache Airflow.

Upravljanje radnim tokovima postalo je uobičajena potreba većine kompanija koje automatizuju svoje procese obrade podataka. Ovi procesi moraju se izvoditi prema rasporedu i obično imaju skup zavisnosti od drugih procesa. Uvek postoji jednostavni cron job za početak rada. Sledeći korak napred su skripte koje pokreću druge skripte i to može da funkcioniše na kratko vreme. Zatim se pojavljuju jednostavni alati za rešavanje problema poput skladištenja statusa ovih procesa i njihovih zavisnosti. Obično ova rešenja rastu reaktivno, ali ne omogućavaju jednostavno skaliranje.

Fokus ove prezentacije biće Apache Airflow platforma za kreiranje, izvršavanje i monitoring tokovima radnih procesa. Ovaj open-source alat omogućava beskonačno skaliranje i koriste ga kompanije kao što su Airbnb, Google, Lyft, PayPal i dr. U januaru 2019. godine proglašen je za Top-Level projekat Apache Software Foundation.

Cilj prezentacije je da se slušaoci upoznaju sa ovim alatom, njegovim mogućnostima i načinom funkcionisanja. Takođe, biće pokazano kako firma Content Insights koristi Airflow.

Predavanje može biti korisno svim data science entuzijastima, posebno Data inženjerima, kao i svim Software Developerima.

Ovo će biti još jedan u nizu webinara koje Data Science Srbija planira da organizuje svakog četvrtka u narednom periodu.

Prijave su obavezne, svi prijavljeni će moći da prate webinar preko Zoom aplikacije. Link za pristup biće poslat svima prijavljenima na dan webinara.