Da klokken viste 06:21 i går morges, gikk alarmen hos vårt DevOps-team. Vi sto overfor en av de mest alvorlige globale sikkerhetshendelsene på lang tid. To kritiske sårbarheter i PHP krevde umiddelbar handling, og for oss i Ramsalt Lab var oppdraget for de neste timene krystallklart: kundenes nettsider skulle beskyttes uansett hva det krevde. Da Nasjonal sikkerhetsmyndighet klokken 09:40 gikk ut med en klar anbefaling om å fjerne nettsteder fra Internett i påvente av en oppdatering, var det åpenbart hvor alvorlig også norske myndigheter så på sårbarhetene. Det britiske National Cyber Security Centre, CERT-EU og amerikanske NSA ga tilsvarende råd.

En trussel mot 70% av verdens nettsteder

PHP utgjør grunnmuren i store deler av Internett, inkludert publiseringssystemet Drupal som Ramsalt Lab spesialiserer seg på. Hele 70 prosent av verdens nettsteder kjører på denne teknologien.

Når sårbarhetene ble avdekket, ga sikkerhetsekspertene dem en CVSS-score på hele 9,2 av 10. Sårbarhetene åpnet for at uvedkommende kunne ha tatt full kontroll over servere og kjørt sin egen skadelige kode, helt uten krav til brukernavn, passord eller innlogging.

I verste fall kunne dette ha gitt angripere mulighet til å lese, endre eller slette sensitive persondata, eller plante skjulte bakdører for fremtidige angrep. Med et slikt trusselbilde finnes det ikke rom for kompromisser.

Vår respons: Fra streng filtrering til preventiv nedstengning

Straks alarmen gikk, iverksatte vårt DevOps-team strenge, avbøtende tiltak. Vi strammet umiddelbart inn grensene for innkommende forespørsler og la på ekstra sikkerhetslag via tjenester som Cloudflare og Bunny CDN for å blokkere potensielle angrep.

Opprinnelig var planen å rulle ut de offisielle sikkerhetsoppdateringene helt uten at kundene våre skulle oppleve nedetid. Det ble imidlertid etter hvert klart at situasjonen var svært uoversiktlig. På grunn av enorm global pågang, brøt deler av leverandørkjeden for de nødvendige Linux-pakkene vi er avhengige av, midlertidig sammen. Det betydde at vi, i likhet med resten av verden, måtte vente flere timer på at oppdateringene ble tilgjengelige for vår infrastruktur.

Det bevisste valget: Hvorfor vi tok nettsidene offline

Enkelte aktører i bransjen valgte å lene seg utelukkende på midlertidige "workarounds" og sikkerhetsfiltre for å holde nettsidene åpne. Vi vurderte det samme, men konkluderte med et klart nei.

Som både PHP-prosjektet selv og Nasjonal sikkerhetsmyndighet påpekte: slike tiltak reduserer risikoen, men fjerner den ikke. Det tar ekstremt kort tid fra en sårbarhet blir kjent til den utnyttes automatisk av hackere i massiv skala. Å la et filter stå som eneste forsvarsverk for et sikkerhetshull av høyeste grad mens vi ventet på oppdateringer, var en restrisiko vi overhodet ikke ønsket å utsette våre kunders nettsider for.

Vi valgte derfor føre-var-prinsippet. Den faglige anbefalingen var å fysisk ta serverne av nett, og vi tok den ubeleilige, men bevisste beslutningen om å stenge ned plattformene preventivt. For oss vil garantert sikkerhet alltid trumfe kravet om oppetid.

Forsinket informasjon grunnet globale ringvirkninger

I en situasjon som dette er rask informasjon ut til kundene helt avgjørende. At sårbarheten rammet globalt, merket vi imidlertid også på våre egne verktøy. Fordi mange underleverandører valgte å sikre sine tjenester ved å koble dem av Internett, ble Ramsalt midlertidig stående uten vår faste kommunikasjonsplattform. Konsekvensen av dette var at det tok opptil halvannen time fra våre nettstedene ble tatt ned, til vi hadde fått på plass en alternativ kanal, og informert samtlige kunder. Vi setter stor pris på tålmodigheten og forståelsen dere viste i dette tidsrommet.

Status: Sikret og tilbake i normal drift

Nedetiden varte mellom fem og åtte timer, avhengig av server. Sent samme kveld, straks den offisielle patchen var tilgjengelig, rullet vi ut de nye PHP-pakkene på tvers av hele vår infrastruktur. Rett før midnatt var samtlige nettsider bekreftet trygge og online igjen.

Vi har i etterkant gått grundig gjennom alle serverlogger, og kan bekrefte at vi ikke har funnet noen tegn på at sårbarheten ble utnyttet på vår plattform før oppdateringen var på plass.

Trygghet som standard og usynlig i hverdagen

Til vanlig er sikkerhetsarbeidet vårt noe kundene våre knapt merker noe til. Hver eneste onsdag følger vi for eksempel tett med på utgivelser fra Drupal Security Team. Når det lanseres rutinemessige sikkerhetsoppdateringer derfra, rulles disse ut i bakgrunnen på serverne våre, helt uten nedetid eller påvirkning for kundenes nettsider.

Men når et ekstraordinært og globalt trusselbilde som denne PHP-sårbarheten oppstår, kreves det tiltak som merkes. Nedetid er alltid frustrerende, både for publikum som ikke får tilgang til informasjonen de trenger, og for redaktører som ikke får publisert innhold. Likevel har tilbakemeldingene fra våre kunder i all hovedsak vært preget av stor forståelse, fordi alternativet var å gamble med datasikkerheten.

Hva sårbarheten innebar for nettsider

Sårbarheten lå i selve PHP og kunne utnyttes helt uten behov for innlogging, kun ved hjelp av en spesialtilpasset forespørsel til nettstedet – altså før Drupals egne sikkerhetsmekanismer i det hele tatt trådte i kraft. Passordbeskyttelse, brukertilganger og nettstedets egne sikkerhetsinnstillinger ga derfor ingen beskyttelse.

Dersom nettstedet hadde forblitt online uten oppdateringen, kunne en angriper i verste fall ha:

• lest eller kopiert persondata, som for eksempel innsendte skjemaer, brukerkontoer eller kundedata.
• endret eller slettet innhold, for eksempel ved å legge inn falsk informasjon eller skadelige lenker på nettstedet.
• plantet skjult tilgang for å kunne utnytte nettstedet eller serveren på et senere tidspunkt, selv etter at oppdateringen var installert.
• brukt nettstedet til å spre skadelig programvare eller angripe andre systemer.

Slike angrep utføres typisk automatisk og rammer tusenvis av nettsteder samtidig, uavhengig av størrelse eller bransje. Et slikt datainnbrudd ville også ha medført en mulig varslingsplikt i henhold til GDPR for dere som behandlingsansvarlig.

Ramsalt er trygghet

Når du velger Ramsalt Lab som partner, velger du et byrå som tar sikkerhetsansvaret på dypeste alvor. Denne hendelsen viste verdien av å ha døgnkontinuerlig overvåking, et handlekraftig DevOps-team, og rutiner som prioriterer beskyttelse av data fremfor midlertidige snarveier.

Vi vil gjerne takke alle våre kunder for tålmodigheten og tilliten under denne uvanlige sikkerhetshendelsen.

Har du spørsmål om hvordan vi jobber med sikkerhet, eller hvordan denne hendelsen ble håndtert, er du alltid velkommen til å ta kontakt med oss.