Senior Linux & Infrastructure Engineer (System Administration / DevOps)

Paragraf Lex d.o.o. je softversko-izdavačka kompanija koja gotovo tri decenije razvija pouzdana i savremena rešenja za profesionalne korisnike u Srbiji i Bosni i Hercegovini.

Naš najpoznatiji proizvod je Paragraf Lex, vodeća pravna baza podataka na tržištu, koja objedinjuje propise, sudsku praksu, službena mišljenja, modele, obrasce i veliki broj drugih stručnih sadržaja neophodnih za svakodnevni rad pravnika, privrede i javnog sektora. Razvijamo i Kancelarko, savremeni sistem za elektronsko kancelarijsko poslovanje, kao i druge softverske proizvode i aplikacije koje svakodnevno koriste naši klijenti.

Iza naših proizvoda stoji više od 200 zaposlenih i široka mreža stručnih saradnika. Spoj dugogodišnjeg iskustva, stručnog sadržaja i sopstvenog razvoja softvera omogućava nam da kontinuirano unapređujemo postojeće proizvode, razvijamo nove i primenjujemo nove tehnologije tamo gde one mogu doneti stvarnu vrednost našim korisnicima.

Naši sistemi i proizvodi razvijani su tokom dugog vremenskog perioda i nastavljaju da rastu zajedno sa potrebama korisnika i tehnologijama koje koristimo. To znači da naše IT okruženje danas predstavlja spoj dokazanih sistema koji godinama pouzdano rade i novih tehnologija i infrastrukturnih rešenja koja kontinuirano uvodimo.

Ovaj oglas je nešto detaljniji nego što je uobičajeno. To je namerno. Pozicija obuhvata širok spektar tehnologija, sistema i odgovornosti i važno nam je da već pre prijave imaš jasnu predstavu o okruženju u koje dolaziš, poslu koji te očekuje i nivou samostalnosti koji pozicija podrazumeva. Ne želimo da kompleksnost posla skrivamo iza nekoliko opštih stavki — radije ćemo ti odmah predstaviti realnu sliku, kako bismo i mi i ti mogli da procenimo da li smo dobar izbor jedni za druge.

Tražimo iskusnog Linux System / Infrastructure Administratora koji će imati visok nivo samostalnosti i odgovornosti za održavanje, stabilnost, bezbednost i razvoj naše IT infrastrukture.

Naše okruženje obuhvata bare-metal i cloud infrastrukturu, Linux servere, baze podataka i klastere, web i aplikativne servise, razvojna i produkciona okruženja — uključujući moderne sisteme, ali i značajan broj legacy sistema i starijih verzija softvera koje su i dalje u produkcijskoj upotrebi.

Ovo nije pozicija ograničena na administraciju jedne tehnologije ili izvršavanje unapred definisanih procedura. Očekujemo osobu koja ume samostalno da istraži problem, proceni rizik, donese tehničku odluku i odgovorno interveniše na produkcionom sistemu.

Pozicija uključuje dežurstvo i dostupnost van redovnog radnog vremena za kritične produkcione incidente. Kada priroda incidenta zahteva hitnu intervenciju, očekuje se reakcija bez nepotrebnog odlaganja, čim je to objektivno moguće.

Ne očekujemo poznavanje svake tehnologije koju koristimo. Očekujemo jake osnove, ozbiljno produkciono iskustvo i sposobnost snalaženja i u novim i u starim sistemima.

Šta ćeš raditi

• administraciju i održavanje bare-metal Linux servera i cloud infrastrukture;
• instalaciju, konfiguraciju, nadogradnju i održavanje sistemskog i aplikativnog softvera;
• održavanje legacy sistema i starijih verzija operativnih sistema, baza, web servera i drugog softvera koji iz poslovnih ili tehničkih razloga nije moguće odmah zameniti ili nadograditi;
• praćenje rada servera, servisa, baza i aplikacija i analizu sistemskih, aplikativnih i security logova;
• dijagnostiku i rešavanje produkcionih i infrastrukturnih incidenata u što kraćem roku, uključujući hitne intervencije van redovnog radnog vremena kada je to potrebno;
• dežurstvo i reagovanje na kritične produkcione incidente, uključujući situacije koje nastanu noću, vikendom ili praznicima;
• analizu uzroka ozbiljnijih incidenata i predlaganje i sprovođenje preventivnih mera;
• administraciju firewall pravila, ACL lista, korisničkih i servisnih naloga i drugih pristupnih prava;
• administraciju WHM/cPanel okruženja;
• administraciju baza podataka i database klastera;
• planiranje i sprovođenje backup, restore i recovery procedura;
• deployment različitih aplikacija i verzija softvera u razvojna, testna i produkciona okruženja;
• podršku development timovima u dijagnostici problema na nivou aplikacije, operativnog sistema, mreže, baze ili drugih infrastrukturnih komponenti;
• praćenje performansi i korišćenja resursa — CPU, memorija, disk I/O, mreža, konekcije, database load, slow queries i drugi relevantni pokazatelji;
• prepoznavanje potencijalnih problema, rizika i uskih grla i predlaganje unapređenja pre nego što postanu incidenti;
• administraciju tehničkih naloga i servisa kod hosting, cloud i drugih eksternih provajdera;
• praćenje korišćenja, plaćanja i troškova eksternih servisa i infrastrukture;
• procenu budućih potreba, kapaciteta i infrastrukturnih troškova;
• predlaganje, tehničku procenu i pomoć pri nabavci nove infrastrukture — fizičke opreme, bare-metal infrastrukture ili cloud servisa;
• komunikaciju sa infrastrukturnim i cloud provajderima;
• pripremu tehničkih informacija o postojećoj infrastrukturi i odgovaranje na tehnička pitanja klijenata, partnera i drugih trećih strana;
• pomoć pri popunjavanju tehničkih, infrastrukturnih i security upitnika;
• održavanje tehničke dokumentacije o infrastrukturi, servisima, konfiguracijama i važnim operativnim procedurama.

Obavezno iskustvo

Linux i sistemska administracija

Potrebno je odlično praktično poznavanje Linux sistema i višegodišnje iskustvo sa produkcionim serverima.

Očekujemo razumevanje procesa i servisa, systemd-a, korisnika i grupa, permissions/ownership modela, filesystema, diskova i LVM-a, package managementa, logova, SSH-a, sistemske i mrežne konfiguracije, resource limita i osnovnog system/kernel tuninga.

Kandidat mora biti sposoban da samostalno dijagnostikuje probleme sa CPU-om, memorijom, swapom, disk I/O-om, filesystemima, procesima i drugim sistemskim resursima.

Potrebno je dobro poznavanje shell okruženja i Bash/shell scriptinga.

Legacy sistemi

Naša infrastruktura ne sastoji se isključivo od najnovijih verzija softvera.

Deo produkcionih sistema koristi starije verzije operativnih sistema, baza podataka, web servera i drugih komponenti, uključujući sisteme i softver koji su u upotrebi duže od deset godina.

Zbog toga je potrebno iskustvo u administraciji starijih Linux i serverskih okruženja i sposobnost rada sa legacy sistemima kod kojih upgrade ili zamena nisu uvek odmah mogući.

Očekujemo da kandidat ume da pristupi takvom sistemu oprezno, razume postojeću konfiguraciju i zavisnosti i proceni posledice promene pre intervencije.

Networking

Potrebno je dobro praktično razumevanje TCP/IP-a, DNS-a, routinga, subnettinga, ports/sockets koncepta, NAT-a, HTTP/HTTPS-a, TLS-a, firewall pravila i mrežne dijagnostike.

Kandidat treba da ume samostalno da prati komunikaciju između različitih komponenti sistema i utvrdi gde i zbog čega dolazi do problema.

Baze podataka

Potrebno je ozbiljno praktično iskustvo u administraciji najmanje jednog relacionog DBMS-a i dobro razumevanje:

• instalacije i konfiguracije database servera;
• korisnika, rola i privilegija;
• backup/restore i recovery procedura;
• replication i high-availability koncepata;
• locks i deadlocks problema;
• connection managementa;
• indeksa i execution planova;
• slow query analize;
• database performance tuninga.

Cloud infrastruktura

Potrebno je iskustvo sa najmanje jednim vodećim cloud provajderom, kao što su AWS, Microsoft Azure ili Google Cloud.

Očekujemo razumevanje compute, storage i networking servisa, identity/access managementa, security pravila, managed baza, monitoringa, backupa, skaliranja i osnovnih principa cloud billing-a i kontrole troškova.

Nije potrebno ekspertsko poznavanje svakog servisa pojedinačnog provajdera — potrebno je razumeti principe i biti sposoban proceniti, implementirati i održavati odgovarajuće infrastrukturno rešenje.

Produkcioni troubleshooting i incident response

Ovo je jedan od najvažnijih delova pozicije.

Kandidat mora biti sposoban da samostalno vodi dijagnostiku kroz različite nivoe sistema:

network → firewall → web server → aplikacija → baza/Redis → storage

Potrebno je povezati metrike, logove, konfiguraciju i ponašanje aplikacije kako bi se pronašao uzrok, a ne samo simptom problema.

Kod kritičnog produkcionog incidenta prioritet je ponovno uspostavljanje stabilnog rada sistema u što kraćem roku, bez ugrožavanja integriteta podataka i bezbednosti infrastrukture.

Pozicija zbog toga podrazumeva on-call/dežurstvo i mogućnost intervencije van redovnog radnog vremena. Kritični incident može zahtevati reakciju u večernjim ili noćnim satima, tokom vikenda ili praznika.

Security

Očekujemo praktično poznavanje Linux permissions/ACL modela, SSH i server hardeninga, sudo privilegija, korisničkih i servisnih naloga, database permissions, firewall pravila, TLS sertifikata, patch managementa i principa least privilege.

Potrebno je i osnovno razumevanje postupanja u slučaju security incidenta.

Samostalnost i odgovornost

Pozicija podrazumeva visok nivo samostalnosti.

Očekujemo da kandidat ume da istraži nepoznat problem, proceni rizik, pripremi način provere promene i rollback plan, donese tehnički utemeljenu odluku i odgovorno interveniše na produkcionom sistemu.

Jednako je važno prepoznati kada nema dovoljno informacija za bezbednu intervenciju i kada je potrebno dodatno istraživanje ili konsultacija.

U incidentnim situacijama očekujemo sposobnost određivanja prioriteta, donošenja odluka pod vremenskim pritiskom i fokus na što brže vraćanje kritičnih servisa u stabilno stanje.

Očekivano iskustvo

Poželjno je praktično iskustvo sa većim brojem tehnologija iz našeg okruženja:

• MariaDB / MySQL, uključujući administraciju i performance troubleshooting;
• MariaDB Galera Cluster;
• PostgreSQL, uključujući replication i cluster/high-availability rešenja;
• Redis;
• Apache HTTP Server;
• WHM/cPanel;
• AWS, Microsoft Azure i/ili Google Cloud;
• backup i disaster recovery sistemima;
• monitoring sistemima kao što su Zabbix, Prometheus/Grafana, Nagios/Icinga ili slični;
• centralizovanim prikupljanjem i analizom logova;
• Git-om;
• deploymentom aplikacija u dev/test/production okruženja;
• CI/CD sistemima;
• SSL/TLS sertifikatima i DNS infrastrukturom;
• hosting i cloud provajderima i administracijom njihovih servisa i naloga.

Ne očekujemo iskustvo sa svakom navedenom tehnologijom. Očekujemo dovoljno široko produkciono iskustvo da kandidat može brzo da razume i preuzme odgovornost za tehnologije sa kojima ranije nije radio.

Poželjno iskustvo

Dodatni plus je iskustvo sa:

• Ansible-om ili drugim configuration management alatima;
• Terraform-om ili drugim Infrastructure-as-Code pristupom;
• Docker-om i kontejnerskim okruženjima;
• virtualizacionim platformama;
• Python-om ili drugim scripting/programskim jezikom;
• automatizacijom deployment procesa;
• dizajnom monitoring i alerting sistema;
• capacity planningom;
• cloud cost managementom i optimizacijom infrastrukturnih troškova;
• performance tuningom kompleksnijih produkcionih sistema;
• disaster recovery planiranjem i testiranjem recovery procedura;
• fizičkim serverima, RAID/storage sistemima i out-of-band management rešenjima;
• planiranjem i nabavkom serverske i druge infrastrukturne opreme;
• pripremom tehničke dokumentacije i infrastrukturnih/security upitnika;
• modernizacijom i migracijom legacy sistema;
• standardizacijom i unapređenjem postojeće infrastrukture.

Ne tražimo Windows administratora, ali je poželjno da kandidat poznaje Microsoft okruženje dovoljno dobro da Windows desktop ili server ne predstavlja potpuno nepoznatu teritoriju.

Šta je važno da znaš pre prijave

Ovo nije usko specijalizovana administratorska pozicija.

Infrastruktura je heterogena i razvijana je tokom dugog vremenskog perioda. Postoje moderni sistemi, ali postoje i legacy sistemi, različite generacije softvera, fizička i cloud infrastruktura i servisi koji imaju različite zahteve i ograničenja.

Pozicija nosi značajan nivo samostalnosti i odgovornosti za produkcionu infrastrukturu.

Ponekad će posao biti planirana nadogradnja servera ili puštanje nove verzije aplikacije. Ponekad analiza performansi baze. Ponekad planiranje nove infrastrukture, nabavka opreme ili procena cloud troškova. Ponekad će biti potrebno razumeti sistem ili konfiguraciju nastalu pre više od deset godina.

A ponekad će kritičan produkcioni servis prestati da radi i tada će biti potrebno reagovati odmah — bez obzira na to da li se incident dogodio tokom radnog vremena, uveče, noću, vikendom ili praznikom.

Zbog toga tražimo nekoga ko razume kako infrastruktura funkcioniše kao celina, ume sistematično da pronađe problem, razlikuje simptom od uzroka, ne plaši se sistema koji nije sam postavio i može odgovorno da donosi odluke i pod vremenskim pritiskom.

Od osobe na ovoj poziciji očekujemo i da gleda unapred — da prati kapacitete i troškove, uočava rizike, predlaže unapređenja i pomaže nam da postojeću infrastrukturu postepeno činimo stabilnijom, bezbednijom, predvidljivijom i jednostavnijom za održavanje.