Defizite bei Speicher- und Archivierungstechnologien könnten KI-Initiativen ausbremsen und verhindern, dass Technologien der künstlichen Intelligenz ihr volles Potenzial entfalten. Während sich die Branche auf andere mögliche Hindernisse konzentriert – darunter der enorme Energieverbrauch von KI-Rechenzentren, die mangelnde Verfügbarkeit von Strom, die Knappheit an GPUs und leistungsstarken CPUs oder fehlende Rechenzentrumskapazitäten in wichtigen Märkten –, erhält die Ineffizienz vieler Archivierungslösungen weniger Aufmerksamkeit.
Dieses Thema steht im Mittelpunkt eines aktuellen Berichts der Active Archive Alliance (AAA) mit dem Titel „How Active Archives Support Modern AI Strategies.”
„Während sich viele KI-Anwender bisher auf die vorderste Ebene der Datenverarbeitung und -analyse konzentriert haben, muss die Nachhaltigkeit von KI-Workflows nun auch die langfristige Aufbewahrung und den Schutz dessen berücksichtigen, was riesige und dauerhaft anfallende Datenmengen sein werden“, sagte Rich Gadomski, Head of Tape Evangelism bei FUJIFILM North America und Co-Vorsitzender der AAA. „Um das Wachstum und Volumen der Daten zu bewältigen, ist eine moderne Strategie erforderlich. Diese kann durch die sinnvolle Implementierung eines aktiven Archivs in Verbindung mit intelligentem Datenmanagement bereitgestellt werden.“
Betrachten Sie die Größe vieler Large Language Models (LLMs). Alle von ihnen analysierten Daten müssen irgendwo gespeichert werden. Unternehmen mit unbegrenzten Budgets können es sich leisten, einen großen Teil davon im Arbeitsspeicher und den Rest auf Solid-State-Laufwerken (SSDs) zu halten. Für die meisten Unternehmen ist das angesichts der Kosten jedoch keine Option. Selbst die Speicherung aller Daten auf rotierenden Festplatten ist bei der enormen Größe von KI-Datenbeständen eine kostspielige Lösung.
Laut Furthur Market Research überschritt die Speicherkapazität 2016 ein Zettabyte (ZB), 2022 4,8 ZB und soll bis 2035 50 ZB erreichen. Klar ist: Der Energieverbrauch von KI wird zwangsläufig zu einer ernsthaften Herausforderung.
Hier kommt ein aktives Archiv ins Spiel. Es stellt Unternehmen eine intelligente Datenmanagementschicht bereit, die Daten abhängig von Aktivität, Kosten und Leistung an den jeweils passenden Speicherort verschieben kann. Von KI-Anwendungen benötigte Daten werden dorthin verlagert, wo sie schnell analysiert werden können. Andernfalls liegen sie in einer niedrigeren Speicherebene, etwa auf Festplatten, optischen Datenträgern oder Band. Die Datenschicht stellt sicher, dass nie lange darauf gewartet werden muss, dass Daten verfügbar gemacht werden. Die automatische Speicherklassifizierung übernimmt die Datenbewegung. Das begrenzt die Kosten und ermöglicht je nach Bedarf umweltfreundliche Langzeitspeicherung oder leistungsfähige Speicherung.
Wenn Unternehmen LLMs erstellen und KI-Anwendungen entwickeln, wird der Bedarf an mehr Speicherplatz und effizienter Archivierung weiter steigen. Das Thema KI und Energieverbrauch wird nicht verschwinden und damit die Diskussion über Speicher und Archivierung allmählich in den Vordergrund rücken.
„KI wird die Nachfrage nach Speicher für aktive Archive beschleunigen“, sagte Mark Pastor Director, Platform Product Management bei Western Digital. „Archivierte Daten werden wertvoller sein als je zuvor und müssen daher lange gespeichert und während ihrer gesamten Lebensdauer aktiv abgerufen werden.“