Dušan DINGARAC

1. avgust 2024.

Bio je petak. Na severnoj zemljinoj hemisferi leto je bilo u punom jeku, na dalekom istoku i Okeaniji dan je bio na zalasku, a Amerika se spremala za spavanje. U Evropi, bilo je rano jutro poslednjeg radnog dana u nedelji u sred turističke sezone i samim tim sezone odmora. Tog jutra me je probudila vrućina i već oko osam sati sam seo za računar. Letimični pregled komunikacije pokazao je da postoji neki problem. Na jednoj lokaciji došlo je do problema sa Windows mašinama. Odmah sam se stavio na raspolaganje kolegi, i dok smo bezuspešno pokušavali da dopremo do problematičnog sajta kroz raznorazne bezbednosne mehanizme, kolega je predložio da bacimo pogled na jedan drugi Windowsserver za koji je dobio dojavu da je prestao da radi. Brzo smo došli do konzole tog virtuelnog servera i na njoj nas je dočekao plavi ekran Windows servera sa porukom da se nije lepo startovao i nudio nam je opciju restarta ili naprednog oporavka.

Ušli smo u safe mode i pogledali da nije slučajno bilo nekog apdejta od strane Microsofta. To nije bio slučaj, pošto je na većini servera automatski apdejt isključen. Pregledom sistemskih poruka i logova, došli smo do zaključka da je u pitanju greška kernela. Kodovi grešaka upućivali su na drajvere i neki proces koji je stvarao probleme sa nama nepoznatim nazivom Sensor. I dok smo skidali fajl zbog kojeg je došlo do greške radi analize sistema, dobili smo informaciju da je rešavanje problema prvog sajta preuzeo tim iz sedišta firme čija je oprema. Pomenuto je da je u vezi sa antivirusom. Ubrzo je vlasnik analiziranog servera postavio pitanje da li se na serveru nalazi Crowdstrike softver? Odgovor je bio pozitivan. Sledeći korak je bio odlazak na pretraživač vesti na Guglu i tamo smo ubrzo saznali za uzroke i razmeru ovog incidenta.

Iako je u pitanju bila developing story i informacije su stizale iz minuta u minut, bilo je jasno da se problem desio gotovo istovremeno u gotovo svim delovima sveta. Pričalo se o problemu sa Microsoft Windows mašinama, ali se ubrzo saznalo da je razlog napredno bezbednosno rešenje kompanije Crowdstrike, pod nazivom Falcon Sensor. Kompanija čiji je moto Stop breaches - Drive business je „drajvovala breach i stopirala biznis”. Razmere su bile gotovo katastrofalne. Pojedini aerodromi i avio-kompanije bili su blokirani. Avioni nisu mogli ne samo da polete, već ni da slete, ostajući u vazduhu. Neke banke nisu funkcionisale, hoteli, proizvodni pogoni... Milioni Japanaca nisu mogli da večeraju u McDonaldsu. I ko zna gde su sve problemi nastali i koliko je ljudi možda platilo glavom nedostupnost neke hitne službe ili zdravstvenog sistema, a da se to u javnosti za to ni ne zna.

Koji sat kasnije, Crowdstrike je saopštio da je svestan problema. Do njega je došlo usled lošeg apdejta za Falcon Sensor za Windows sisteme. Predlog rešenja bio je da se obriše fajl na putanji C:windowsSystem32driversCrowdStrikeC-00000291*.sys, kroz safe mode i nakon njega bi običan restart trebalo da reši probleme. Jednostavno rešenje, zar ne?

Međutim, „pola” sveta je stajalo. Razlog je vrlo prost. Da bi se odradila ova prosta operacija ili deinstalirao Falcon Sensor, potrebno je doći do konzole računara, ući u safe mode i odraditi magiju. Za servere, u današnje vreme to ne zahteva fizički odlazak do serverskih soba, jer odavno svi brendirani serveri imaju mehanizme za daljinski pristup konzoli (iDRAC, iLO,...). Virtuelni serveri, koji su u većini, takođe imaju mehanizme za pristup konzoli. Tako da problem ostaje u tome što je čovek morao da priđe svakom računaru, a njih je bilo mnogo.

Po izveštajima na internetu, neki računari su nakon dobijanja lošeg apdejta počeli da se restartuju i završili na recovery ekranima. Neki su ostali zaglavljeni sa BSOD. Microsoft, očigledno i sam korisnik Crowdstrike rešenja bar u delu svog carstva, osetio je probleme u funkcionisanju Microsoft 365 i delova cloud infrastrukture, ali je taj problem relativno brzo rešen. Iz sopstvenog iskustva, oni su delili informaciju da su neki korisnici koji koriste Azure infrastrukturu uspeli da oporave računare višestrukim restartima (verovatno je u tom slučaju automatski vraćen restore point pre problematičnogupdatea).

No, kada se u celu jednačinu dodaju još dve promenljive, uviđa se da je rešenje celog problema još komplikovanije. Prva činjenica je da Falcon Sensor štiti ne samo servere, već i same korisničke desktop i laptop računare. I možda bi deo korisnika i sam mogao da obavi magični posao brisanja jednog fajla u safe modeu na svojoj udaljenoj lokaciji na kojoj radi (danas je već postalo normalno da ne radiš iz kancelarije). Ali, ako se uzme u obzir da većina poslovnih sistema koristi bitlocker enkripciju diskova, onda stvari postaju još komplikovanije. Kada padne server na kome se nalaze ključevi za bitlocker, onda računari traže da se oni unesu ručno (poprilično dugačka „kobasica” znakova). Ali, prvo neko mora da otključa server...

Kako je, u stvari, došlo do čitavog problema? Crowdstrike je kompanija koja razvija napredna bezbednosna rešenja. Da bi njihov softver mogao da prati šta radi korisnik i čitav mrežni saobraćaj, njihov softver mora da se „ubaci” vrlo duboko u operativni sistem. Zapravo, on preuzme neke sistemske funkcije operativnog sistema da bi mogao sve da kontroliše. Recimo da je u pitanju sličan nivo integracije kao da je neki drajver za hardver u pitanju. Zbog toga je greška u kodu tog nesrećnog apdejta oborila operativni sistem. Ispostavilo se da je u pitanju neka greška vezana za pointere u C/C++/C# kodu i da je greškom došlo do obraćanja nekoj veoma niskoj adresi, koja je uz pomenuti status bezbednosnog programa dovela do obaranja sistema.

Dobro, a zar nije logično da onaj ko stvara apdejt prvo izvrši njegovo testiranje? Na testnim sistemima oproba apdejt, pa ako sve prođe kako treba, tek onda pusti krajnje korisnike na milost i nemilost svom delu. Jeste logično. Pomenusmo već da je na većini Windows servera automatski apdejt isključen. Velike korporacije čekaju sa primenom apdejta, osim u slučajevima hitnih, zero day exploita, vrše sopstvena testiranja i tek onda instaliraju apdejte na svojim sistemima. No, ovde je u pitanju bezbednosni sistem koji je vrlo napredan i pametan (mada ne preteruju sa pominjanjem AI kada pričaju o proizvodu) i koji mora da bude sposoban da brzo reaguje na detektovane i na nove pretnje koje se pojave na internetu. Zbog toga je sistem slanja apdejta automatski i gotovo trenutni (u celom svetu su mašine popadale gotovo u istom trenutku - 7:28 po našem vremenu) i nezavisan od Majkrosoftovog sistema apdejta. Da li je ta brzina reakcije, ipak, toliko bitna da se kôd ne proveri na testnim sistemima? Pa, ne bi trebalo, ali smo došli u situaciju da korisnici željni dodatne bezbednosti lepo plate za napredno rešenje koje im onda obori biznis.

Mediji, kojima je bilo komplikovano da shvate da iza problema ne stoji Majkrosoft kao isporučilac operativnog sistema, nego Crowdstrike, danima su ovaj incident nazivali Windows problemom. Upravo zbog toga su stigla podsećanja na jednu uredbu Evropske komisije iz 2009. godine, kojom se zbog sprečavanja monopola dozvoljava da treće strane stvaraju kernel drajvere u operativnim sistemima. Time je kompanijama poput Crowdstrike (koja 2009. nije ni postojala) omogućeno da prodiru tako duboko u operativne sisteme i tu Majkrosoft više ništa ne može da učini. Uostalom, svako ko je poklonio poverenje nekoj bezbednosnoj kompaniji koja u svom softveru koristi ovako duboku integraciju sa operativnim sistemom, mora da reši svoje probleme sa tom kompanijom, da razmisli o tužbama za naknadu štete, nakon što prouči sve ugovore i disclamere. Uostalom, svi Windows korisnici koji nisu kupili i instalirali Falcon Strike, tog petka nisu imali problema.

Da li je ovaj incident slučajnost? Da li je u pitanju neka vrsta nemara ili lošeg procesa kako se softver testira pre slanja krajnjim korisnicima? Da li je, možda, deo poslovne želje za većom zaradom usled jeftinijih procesa? Recimo, kroz smanjenje ili izbacivanje testiranja kvaliteta softvera?

Tokom aprila, Crowdstrike softver je napravio sličan problem, kao sada sa Windows sistemima, ali na Linux sistemima. Naime, Debian i Rocky linux mašine sa Crowdstrike softverom su popadale i lepo su proradile nakon uklanjanja bezbednosnog softvera. Nakon priznatog problema nedeljama kasnije, kompanija je priznala da Debian Linux nije uključen u test matricu. Što se tiče Rocky linuxa, tamo je tokom updatea na verziju 9.4 dolazilo do kernel greške. Dakle, nešto je loše u procesima kompanije Crowdstrike. Sada znamo da je ovoga petka problem zadesio osam i po miliona računara!

Kada se malo zagrebe po istoriji IT incidenata, lako se pronađe da je McAfee napravio zbrku nalik ovoj još u aprilu 2010. godine. Desetine hiljada računara sa Windows XP SP3 postalo je neupotrebljivo. Zanimljiva koincidencija je da je tadašnji CTO kompanije McAfee, George Kurtz, osnivač i CEO kompanije Crowdstrike. Da li gospodin Kurtz preferira preskakanje testiranja u svojoj poslovnoj filozofiji? Na tako neka pitanja moraće da odgovori na saslušanju pred Kongresom SAD. No, već je 2016. godine Crowdstrike bio na saslušanjima pred kongresom u vezi sa veštačenjem napada na računare Demokrata, kada je Tramp optuživan za saradnju sa Rusijom, a iz cele priče je ostalo da Crowdstrike nije valjano obavio posao i da su njegovi zaposleni lagali na saslušanju.

Akcije kompanije Crowdstrike su, naravno, pale. No, očekivan je bio i veći pad. George Kurtz je ubrzo nakon prvih izjava dobio podršku od kolega sa visokih pozicija iz drugih firmi iz Silikonske doline. Ruka, ruku mije, rekao bi naš narod. Još smešnije zvuči to da je kompanija, u znak izvinjenja, ponudila vaučere servisa Uber Eats u vrednosti od deset dolara!

Sa nepunih nedelju dana razmaka od incidenta, da li je pametno donositi zaključke? Verovatno da nije. No, svakako je vreme da se shvati da su današnji računarski sistemi sve komplikovaniji i da sve više zavisimo kao društvo od njih. Mnogi proizvođači različitih sistema nemaju informacije o proizvodima drugih kompanija koje se nalaze na istim sistemima gde i njihov softver. Sa druge strane, imamo stalni pritisak i na brzinu predstavljanja novih rešenja, skraćivanje i izbacivanje procesa testiranja, stalno snižavanje troškova da bi se zarada maksimizovala.

Ljudska greška može da nas vrati u papirno doba, kao što se desilo ovog petka, a možda i u neko kameno doba. Šta ako neko namernom sabotažom izvede takav poremećaj kroz apdejt sistema jedne kompanije koja ima pristup kernelima većine operativnih sistema na svetu? Više kao anegdotu navodimo slučaj američke avio-kompanije Southwest Airlines, koja je pomenutog petka spasila svoj dan, jer još uvek koristi Windows 3.1 i Windows 95. Recimo da je sa IT stanovišta to jednako upotrebi papira i olovke, kako su neki aerodromi rešavali probleme u Indiji i, svakako, ova kompanija nije koristila napredna rešenja, poput Falcon Sensora.