A CrowdStrike a tesztelési szoftvert hibáztatja a 8,5 millió Windows gép leállításáért

A CrowdStrike közzétette az incidens utáni felülvizsgálatot (PIR) az általa közzétett hibás frissítésről, amely a múlt héten 8,5 millió Windows-gépet tett tönkre. A részletes bejegyzés a tesztelési szoftver hibáját okolja azért, hogy nem megfelelően validálta a pénteken több millió gépre kiszállított tartalmi frissítést. A CrowdStrike azt ígéri, hogy a jövőben alaposabban teszteli a frissítéseket, javítja a hibakezelést, és lépcsőzetes telepítést hajt végre, hogy elkerülje a katasztrófa megismétlődését.

A CrowdStrike Falcon szoftvert világszerte vállalatok használják a rosszindulatú szoftverek és biztonsági rések elleni védelemre Windows-gépek millióin. Pénteken a CrowdStrike kiadott egy tartalmi konfigurációs frissítést a szoftveréhez, amelynek célja „telemetria gyűjtése volt a lehetséges újszerű fenyegetési technikákról”. Ilyen patch-eket rendszeresen kiadnak, de ez a bizonyos konfigurációs frissítés a Windows összeomlását okozta.

A CrowdStrike jellemzően kétféle módon ad ki konfigurációs frissítéseket. Van az úgynevezett Sensor Content, amely közvetlenül frissíti a CrowdStrike saját Falcon szoftverét, amely a Windows kernel szintjén fut, és külön van a Rapid Response Content, amely azt frissíti, hogyan viselkedik ez a kód a rosszindulatú programok észlelése érdekében. Egy apró, 40 KB méretű Rapid Response Content fájl okozta a pénteki problémát. A szoftver tényleges frissítései nem a felhőből érkeznek, és jellemzően MI és gépi tanulási modelleket tartalmaznak, amelyek lehetővé teszik a CrowdStrike számára, hogy hosszú távon javítsa észlelési képességeit. Néhány ilyen képesség közé tartozik a Template Types nevű kód, amely új észlelést tesz lehetővé, és amelyet a pénteken szállított különálló Rapid Response Content típusa alapján konfigurálnak.

A felhőoldalon a CrowdStrike egy saját rendszert kezel, amely a tartalom érvényességi ellenőrzését végzi el a tartalom kiadása előtt, hogy megakadályozza a péntekihez hasonló incidensek bekövetkezését. A CrowdStrike a múlt héten két Rapid Response Content frissítést adott ki. "A Content Validator hibája miatt a két Template Instances közül az egyik átment az érvényesítésen annak ellenére, hogy problémás adatokat tartalmazott” - írja a CrowdStrike. Míg a CrowdStrike automatizált és manuális tesztelést is végez, a pénteken szállított Rapid tartalmak esetében úgy tűnik, nem végez olyan alapos tesztelést. Az új Sablon típusok márciusi telepítése „bizalmat keltett a Content Validatorban elvégzett ellenőrzéseknek tekintetében”, így a CrowdStrike azt feltételezte, hogy a Rapid Response Content bevezetése nem fog problémákat okozni.

Ez a feltételezés ahhoz vezetett, hogy a szoftver betölti a problémás Rapid tartalmat az értelmezőjébe, ami egy out-of-bounds memory exception hibát vált ki. "Ezt a váratlan memóriáhibát nem lehetett kezelni, ami a Windows operációs rendszer összeomlásához (BSOD) vezetett” - magyarázza a CrowdStrike. Annak érdekében, hogy ez ne fordulhasson elő még egyszer, a CrowdStrike azt ígéri, hogy javítja a Rapid Response Content tesztelését a helyi fejlesztők, a tartalomfrissítés és a rollback tesztelése, valamint a stressztesztelés, a fuzzing és hibainjektálás segítségével. A CrowdStrike a Rapid Response Content stabilitási tesztelését és tartalmi interfész tesztelését is el fogja végezni.

A CrowdStrike frissíti felhőalapú Content Validatorját is, hogy jobban ellenőrizhesse a Rapid Response Content kiadásait. "Folyamatban van egy új ellenőrzés, amely megakadályozza, hogy a jövőben ilyen típusú problémás tartalmakat telepítsenek” - közölte a CrowdStrike. Másrészről "javítjuk a meglévő hibakezelést a Content Interpreterben”, amely a Falcon szoftver része. A CrowdStrike emellett a Rapid Response Content szakaszos telepítését is bevezeti, biztosítva, hogy a frissítések fokozatosan kerüljenek telepítésre a telepített bázis nagyobb részein, ahelyett, hogy azonnal felkerülnének az összes rendszerre. Mind az illesztőprogram-fejlesztéseket, mind a lépcsőzetes telepítést biztonsági szakértők javasolták az elmúlt napokban.