Zu sagen, dass die Cloud für unsere Arbeit, unser Leben und unsere Freizeit wichtig ist, wäre eine starke Untertreibung – die Cloud ist inzwischen ein kritisches Element der technischen Infrastruktur. Was diesen Ausfällen zugrunde liegt, bleibt jedoch oft ein Rätsel. Deshalb hat mich ein kürzlich von ThousandEyes veranstaltetes Webseminar interessiert, das die großen Cloud-Ausfälle des Jahres 2023 genauer unter die Lupe nahm.
Das von Brian Tobia, Lead Technical Marketing Engineer bei ThousandEyes, moderierte Webseminar befasste sich auch mit der Anatomie eines Ausfalls. „Es ist wichtig, die verschiedenen Arten von Ausfällen zu verstehen, die wir beobachten“, sagte er. „Wenn man sie versteht, kann man auch besser nachvollziehen, wie sich einige ihrer Auswirkungen abmildern lassen.“ Er erklärte, dass sich Ausfälle hinsichtlich ihres Auswirkungsradius, ihrer geplanten oder ungeplanten Natur und ihrer mittleren Wiederherstellungszeit unterscheiden können.
Werfen wir einen Blick darauf, was die großen Cloud-Ausfälle des Jahres verursacht hat – und was wir aus diesen bedauerlichen Vorfällen lernen können.
Verschiedene Arten von Cloud-Ausfällen
„Die verteilte Architektur heutiger Anwendungen bedeutet, dass viele verschiedene bewegliche Komponenten orchestriert werden müssen, damit etwas tatsächlich funktioniert“, sagte Tobia. „Und viele dieser Komponenten sind häufig Single Points of Failure. Da sie in mehreren Anwendungen wiederverwendet werden, etwa als API oder gemeinsamer Dienst, können wir die Auswirkungen eines Ausfalls sehr viel breiter spüren, obwohl nur ein einzelner Dienst betroffen ist.“
Tobia wies darauf hin, dass die Überwachung von Cloud Computing-Ausfällen Teams dabei helfen kann, Muster zu erkennen und Unterbrechungen des Kundenservice zu verhindern.
Mit Blick auf die ThousandEyes-Auswertung von 2023 sagte Tobia, dass es viele verschiedene Arten von Ausfällen gegeben habe. „Insgesamt waren ISP-bedingte Ausfälle nach wie vor am häufigsten“, sagte er. „Wir haben jedoch festgestellt, dass es 2023 im Vergleich zu den Vorjahren mehr CSP-Ausfälle gab.“
2023 stieg die Zahl der auf die USA konzentrierten Ausfälle von 34 % auf 37 %, und kleinere Ausfälle wurden häufiger. „Wir beobachten, dass diese kleineren, stärker begrenzten Ausfälle immer häufiger werden“, sagte er. „Früher gab es traditionell viele größere Netzausfälle – wirklich sehr große –, die eine ganze Reihe von Diensten lahmlegten. Jetzt sehen wir aber auch kleinere Ausfälle.“
Doch selbst ein Cloud-Ausfall, der aufgrund nächtlicher Wartungsarbeiten in den USA beginnt, kann mitten in den Geschäftszeiten auf andere Regionen übergreifen.
Anwendungsbezogene Ausfälle nehmen zu
Tobia sagte, dass Anwendungs-Ausfälle, die 2023 weiter zunahmen, größere Auswirkungen haben können. Ein Netzausfall betrifft einen einzelnen Anbieter, bei Anwendungen ist das jedoch nicht unbedingt der Fall. „Der Ausfall einer Anwendung setzt sich wirklich kaskadenartig fort, weil eine ganze Reihe von Menschen auf diese eine Anwendung angewiesen ist“, sagte er. „Dabei spielt es keine Rolle, aus welchem Netzwerk man kommt.“
Anschließend ging er auf einige Ausfallbeispiele aus dem Jahr 2023 ein und konzentrierte sich darauf, wie ThousandEyes funktioniert. „Wir können all diese Daten über ThousandEyes erfassen“, sagte er. „Diese Daten zu korrelieren und all diese Informationen zu sammeln, ist entscheidend, um ein End-to-End-Bild davon zu erhalten, wo ein Ausfall auftreten könnte. Ebenso wichtig ist es, diese Informationen über alle Ebenen hinweg zu korrelieren.“
Er fügte hinzu, dass ThousandEyes den Nutzern jede Ebene einer Verbindung anzeigen kann, unabhängig davon, ob sie mit dem Border Gateway Protocol (BGP), Netzwerken, Anwendungen, HTTP-Fehlern oder Seitenladezeiten zusammenhängt.
Die größten Cloud-Ausfälle des Jahres 2023
Tobia führte die Liste der Ausfälle von 2023 im Detail auf, darunter:
- ein 90-minütiger Ausfall bei Microsoft am 25. Januar: Ursache waren BGP-Änderungen, die zu Netzwerkproblemen führten. „Aus BGP-Perspektive herrschte völliges Chaos“, sagte Tobia.
- ein zweistündiger Ausfall bei Outlook am 7. Februar: Dies führte zu „Service unavailable“-Meldungen und Anwendungsfehlern. „Der letzte Ausfall hing eher mit einigen Änderungen an den ISP-Routern und anderen WAN-Routern zusammen“, sagte er. „Das könnte eher auf der Anwendungsseite gelegen haben.“
- ein siebenstündiger Ausfall von Virgin Media am 4. April: Dieser Ausfall entstand durch den Rückzug einer BGP-Route, der zum Verlust von Netzwerkverkehr führte. „Das war einigermaßen vergleichbar mit dem, was wir auf der Seite von Microsoft beobachtet haben, als diese BGP-Änderungen vorgenommen wurden“, sagte er. „Ohne eine Route zum britischen Virgin-Media-Netzwerk verwarfen viele Internet- und Transitprovider den Datenverkehr.“
- ein zweistündiger AWS-Cloud-Ausfall am 14. Juni: Dieser Ausfall verursachte Latenzen, Server-Timeouts und HTTP-Fehler. „Schließlich stellten sie fest, dass das Problem mit ihrem Kapazitätsmanagementsystem zusammenhing, das sich in US-EAST-1 befindet“, sagte er. „Betroffen waren Dienste wie das Lambda-API-Gateway, aber auch die eigentliche Managementkonsole, Global Accelerator.“
- ein zweistündiger Slack-Cloud-Ausfall am 2. August: Infolge dieses Ausfalls konnten Nutzer keine Nachrichten senden oder empfangen. „Die Netzwerkpfade waren völlig in Ordnung“, sagte er. „Wir haben keinen Paketverlust, keine Latenz und nichts dergleichen festgestellt. Es handelte sich also ausschließlich um ein Problem der Anwendung oder des Clients.“
- ein 18-stündiger Square-Cloud-Ausfall am 8. September: Dieser Ausfall führte zu App-Fehlern und dazu, dass Backend-Transaktionen fehlschlugen. „Der Ausfall verhinderte die Verarbeitung von Transaktionen“, sagte er. „Endnutzer konnten zwar tatsächlich eine Transaktion einreichen – einige Händler, die den Dienst zum Empfangen von Zahlungen nutzten, waren erfolgreich, [aber einige Nutzer] meldeten Verbindungsabbrüche oder dass bestimmte Dinge nicht funktionierten.“
- ein 36-stündiger Workday/Cloudflare-Ausfall, der am 2. November begann: Ein vollständiger Stromausfall in einem Cloudflare-Rechenzentrum verursachte Probleme bei Anwendungen und Diensten. „Cloudflare war der Anbieter, und Workday war eine Anwendung, die auf der Cloudflare-Infrastruktur läuft“, sagte er. Er merkte an, dass die Disaster-Recovery-Ressourcen 6 Stunden brauchten, um online zu gehen. „Bis diese Einrichtung wieder online war, herrschte also ein vollständiger Ausfall“, fügte er hinzu. „Sie konnte Anfragen mit reduzierter Geschwindigkeit bedienen, und die vollständige Behebung war erst nach mehr als 36 Stunden erreicht.“
Fazit: Monitoring ist nötig, um Cloud-Ausfälle zu verhindern
Es war ein ereignisreiches Jahr! Tobias Beispiele für Cloud-Ausfälle waren eindeutig ernüchternd. Wer hätte gedacht, dass ein vollständiger Stromausfall heute bei den hochentwickelten Rechenzentren von Anbietern wie Cloudflare noch möglich ist? Doch auch sie mussten sich mit dem mühsamen Prozess auseinandersetzen, ihre Disaster-Recovery-Systeme wieder in Betrieb zu nehmen und mit einem Stromversorger zusammenzuarbeiten, der möglicherweise nicht besonders schnell agiert.
Tobias Präsentation unterstrich außerdem, wie wichtig die Überwachung von Ressourcen ist, um zu verstehen, was passiert, wenn ein Dienst ausfällt, damit man daraus lernen und vermeiden kann, dieselben Fehler zu wiederholen.
Für die meisten Unternehmen wäre es leider finanziell schwierig, für jeden von der Organisation genutzten Cloud-Dienst eine Ausweichlösung vorzuhalten. IT-Verantwortliche können für den Support Daten von Unternehmen wie ThousandEyes nutzen, um Verfügbarkeit zu einem Bewertungskriterium zu machen.
Eine vollständige Übersicht über den Cloud-Computing-Sektor finden Sie in unserer ausführlichen Berichterstattung: Die wichtigsten Cloud-Service-Provider und Unternehmen