Bănci

Revolut explică avaria din octombrie: de ce nu au preluat sistemele de rezervă

Analiza publicată pe 13 noiembrie arată deficiențe de coordonare și monitorizare care au prelungit întreruperea. Revolut prezintă măsurile realizate și schimbările încă în curs.

Distribuie WhatsApp Facebook
Persoană care folosește telefonul mobil lângă un laptop
Foto: Pavel Danilyuk. Imagine ilustrativă

Revolut a identificat deficiențe ale propriilor sisteme de rezervă și de monitorizare în analiza avariei din 20 octombrie, publicată pe 13 noiembrie. Banca explică de ce o pană de curent într-un centru de date Google Cloud din Londra a blocat trecerea unor baze de date pe infrastructura disponibilă și a prelungit întreruperea plăților, retragerilor de numerar și accesului la aplicație.

Compania precizează că banii, conturile și datele clienților au rămas în siguranță pe durata incidentului. Problemele au afectat posibilitatea de a folosi serviciile și de a consulta soldurile. În raport, Revolut își asumă faptul că arhitectura sa ar fi trebuit să gestioneze defecțiunea externă și prezintă atât intervențiile realizate până la publicarea analizei, cât și schimbările la care încă lucrează.

De ce nu au preluat serverele de rezervă

Bazele de date afectate funcționau în trei centre de date separate din regiunea londoneză Google Cloud, denumite în explicațiile băncii zonele A, B și C. Exista și o replică într-o altă regiune, destinată recuperării după o avarie regională mai amplă. La pierderea unei zone, mecanismul de continuitate trebuia să permită unei replici dintr-o zonă disponibilă să devină baza de date principală.

Alegerea acestei replici depinde de servere de coordonare organizate în grupuri de cinci. Cel puțin trei membri trebuie să poată forma majoritatea necesară, numită cvorum. În unele grupuri afectate, un server era deja indisponibil înainte de pana de curent, iar monitorizarea nu semnalase această degradare. Banca a constatat ulterior că anumite înlocuiri de rutină ale serverelor nu readuseseră grupurile la numărul complet de membri.

Cei patru membri rămași permiteau continuarea funcționării înaintea avariei. Când zona B a pierdut alimentarea, au devenit indisponibile încă două servere din aceste grupuri. Cele două rămase nu mai puteau constitui majoritatea de trei, astfel că mecanismul automat nu a putut desemna o nouă bază de date principală. Existența unor replici în alte zone nu a fost suficientă pentru reluarea automată a operațiunilor.

Ce a întârziat restabilirea serviciilor

Recuperarea a fost îngreunată și de amplasarea unor instrumente de monitorizare chiar în zona B. Instanța principală folosită pentru vizualizarea indicatorilor bazelor de date a devenit indisponibilă. Inginerii au trebuit să examineze jurnalele tehnice, să folosească instrumente în linie de comandă și să construiască instanțe de monitorizare independente în zonele rămase disponibile înainte de a putea continua intervenția.

Potrivit Revolut, primele informații indicau posibilitatea ca mai multe regiuni cloud să fie afectate, inclusiv cea de rezervă. După confirmarea faptului că pana de curent era limitată la zona B din Londra, echipa a continuat restaurarea în zonele A și C, conform planului pentru o întrerupere localizată. Raportul separă această decizie de scenariul unei recuperări după pierderea unei regiuni întregi.

Restabilirea cvorumului nu a încheiat toate dificultățile. Unele grupuri de baze de date PostgreSQL au rămas într-un regim care permitea numai citirea, deoarece replicarea întârziată împiedica transferul automat al rolului principal. Inginerii au verificat starea replicilor pentru a stabili o cale sigură de recuperare. Banca afirmă că lucrează cu Google Cloud pentru a clarifica mai precis efectele degradării infrastructurii asupra acestui proces.

Cronologia publicată de Revolut arată că autorizările cardurilor și plățile în magazine funcționau din nou la 12:40 UTC, adică 15:40 în România, pe 20 octombrie. Accesul la aplicație, soldurile actualizate și transferurile au început să revină de la 15:45 UTC, respectiv 18:45 în România. Toate serviciile rămase au fost restabilite până la 17:15 UTC, ora 20:15 în România. Unele plăți au putut fi procesate și în timpul avariei prin mecanismele alternative pentru carduri, iar afișarea unor operațiuni a întârziat.

Defecțiunea din infrastructura Google Cloud

Raportul separat al Google Cloud localizează incidentul în zona europe-west2-b din Londra. Furnizorul descrie o întrerupere a alimentării externe și o defecțiune a controlerului care trebuia să permită generatoarelor de urgență să preia sarcina. Bateriile de rezervă au susținut temporar echipamentele, însă, după epuizarea lor, servere, sisteme de stocare și echipamente de rețea au pierdut alimentarea.

Google arată că redirecționarea activității spre infrastructura disponibilă a produs și întârzieri sau erori în alte zone ale aceleiași regiuni. Restabilirea a presupus readucerea alimentării, recuperarea sistemelor de stocare și reintroducerea treptată a traficului. Cronologia furnizorului privește platforma cloud; orele de revenire a plăților și aplicației bancare sunt cele comunicate separat de Revolut pentru serviciile sale.

Măsuri realizate și schimbări în curs

La data de 13 noiembrie, Revolut afirma că remediase degradarea serverelor de coordonare și restabilise funcționalitatea mecanismului de trecere pe replici. Compania raportase și îmbunătățirea disponibilității monitorizării bazelor de date în cazul pierderii unei zone. Alte modificări urmăreau procesarea imediată a anulărilor de tranzacții cu cardul după eliminarea operațiunilor acumulate în mecanismul alternativ de autorizare.

Programul anunțat include extinderea testelor de recuperare la condițiile întâlnite în acest incident și creșterea frecvenței lor. Revolut spune că a implementat monitorizarea componenței grupurilor de coordonare și a capacității lor de a păstra cvorumul. În paralel, introduce verificări ale întregului circuit de alertare, pentru a detecta situațiile în care avertizările nu sunt generate sau nu ajung la destinatari.

Banca mai pregătește avertizări privind apropierea de limitele resurselor cloud și insuficiența adreselor de rețea necesare unei mutări între zone. Exercițiile trebuie să verifice și capacitatea de a readuce serviciile în funcțiune sub încărcare. Sunt revizuite instrumentele folosite de echipele de intervenție, cu obiectivul de a reduce operațiunile manuale atunci când o zonă devine indisponibilă.

O altă schimbare privește distribuția bazelor de date și a serverelor de coordonare între zone. Deși replicile erau repartizate, procesul de instalare favoriza o anumită zonă pentru primul server al fiecărui grup. Revolut modifică această regulă și include în exercițiile de recuperare verificarea funcționării fiecărui grup după pierderea oricăreia dintre zonele în care este găzduit.

Distribuie WhatsApp Facebook