Groq nimmt frisches Kapital auf, um stärker auf KI-Inferenz zu setzen.
Das KI-Infrastrukturunternehmen aus San Francisco bestätigte am 22. Juni eine Finanzierungsrunde über 650 Millionen US-Dollar, um seine KI-Inferenz-Cloud auszubauen – rund sechs Monate nachdem Nvidia eine nicht exklusive Lizenzvereinbarung für die Technologie von Groq unterzeichnet und mehrere wichtige Führungskräfte abgeworben hatte.
Damit richtet Groq seinen Fokus klar auf die Inferenz – den Teil der KI-Verarbeitung, bei dem Modelle nach ihrem Training ausgeführt werden.
Groq steigt tiefer in die Inferenz ein
Groq gab 650 Millionen US-Dollar an Wachstumskapital bekannt, um den Ausbau seiner KI-Inferenz-Cloud zu beschleunigen. Die Runde wurde von Disruptive und Infinitum angeführt, weitere Investoren beteiligten sich.
Das Unternehmen erklärte, die Finanzierung werde den Ausbau seiner globalen Infrastruktur unterstützen, darunter 13 Rechenzentren in Nordamerika, Europa, dem Nahen Osten und der APAC-Region. Groq hob hervor, mehr als fünf Millionen Entwickler und Tausende KI-nativer Unternehmen zu bedienen und jede Woche Billionen von KI-Tokens zu verarbeiten.
Groq erklärte außerdem, bis Ende 2027 auf 200 MW skalieren zu wollen.
Alex Davis, Chairman von Groq und CEO von Disruptive, sagte in einer Mitteilung, „Groq hat jahrelang die Technologie, Infrastruktur und operative Expertise aufgebaut, die für die nächste Phase der KI erforderlich sind.“
Die Finanzierung folgt auf eine umfassende strategische Neuausrichtung. TechCrunch berichtete, dass Nvidia im Dezember eine nicht exklusive Lizenzvereinbarung für die Technologie von Groq unterzeichnet und den Groq-Gründer und CEO Jonathan Ross, Präsident Sunny Madra sowie weitere Mitarbeiter eingestellt hatte. Groq gab seine neue Bewertung nicht bekannt.
Zuletzt war das Unternehmen nach einer Finanzierungsrunde über 750 Millionen US-Dollar im September mit 6,9 Milliarden US-Dollar bewertet worden.
Inferenz wird zum entscheidenden Faktor
Groq argumentiert, dass sich die KI-Infrastruktur von der Entwicklung großer Modelle hin zu deren Ausführung in großem Maßstab verlagert.
Das Training ist die kostspielige Arbeit, bei der Modelle entwickelt werden. Inferenz bezeichnet den Vorgang, bei dem Nutzer diese Modelle auffordern, Antworten zu generieren, Code zu schreiben, Dokumente zusammenzufassen oder Echtzeit-KI-Anwendungen zu betreiben.
Während Unternehmen KI von Experimenten in den Produktivbetrieb überführen, erwarten wir einen raschen Anstieg der Nachfrage nach Inferenz.
Groq zufolge wird die Inferenz langfristig schätzungsweise 15- bis 20-mal so viel Rechenleistung erfordern wie das Training.
„Wenn KI vom Experimentierstadium in den Produktivbetrieb übergeht, wird die Nachfrage nach zuverlässiger und kosteneffizienter Inferenz exponentiell weiter wachsen“, sagte John Yetimoglu, Vorstandsmitglied von Groq sowie Gründer und Chief Investment Officer von Infinitum, in der Mitteilung des Unternehmens.
Genau diesen Markt versucht Groq zu erobern. Das Unternehmen erklärte, seine aktuelle Strategie habe nach der Vereinbarung mit Nvidia begonnen, als Vorstand, Investoren und Management das Geschäft stärker auf den Aufbau einer führenden KI-Inferenz-Cloud ausrichteten.
Neue Führungskräfte stoßen nach dem Nvidia-Deal dazu
Groq baut außerdem sein Führungsteam neu auf.
TechCrunch berichtete, dass Doug Wightman, der Groq gemeinsam mit Ross gegründet hatte, im Unternehmen blieb nach dem Nvidia-Deal.
In der Mitteilung von Groq wurde Adam Winter als CEO und Matt Eng als CFO genannt. Beide seien langjährige Führungskräfte, die die Technologie, die Infrastrukturpräsenz und den kommerziellen Betrieb des Unternehmens skaliert hätten. Das Unternehmen ernannte außerdem Alan Rice zum Chief Operating Officer. Rice arbeitete zuvor bei xAI und Meta Datacenters, nachdem er seine Karriere im Betrieb von Atom-U-Booten der US Navy begonnen hatte.
Ab Juli will Groq eigenen Angaben zufolge Sinclair Schuller als Chief Technology Officer und Rakesh Malhotra als Chief Product Officer aufnehmen. Die beiden arbeiteten zuvor bei Apprenda zusammen und gründeten später gemeinsam Nuvalence, das EY 2024 übernahm.
Malhotra verbrachte außerdem rund ein Jahrzehnt bei Microsoft und arbeitete an Produkten für Cloud, Rechenzentrumsverwaltung und Unternehmensspeicher.
Der Wettbewerb um KI-Clouds weitet sich weiter aus
Die Finanzierungsrunde von Groq zeigt, wie stark die Aufmerksamkeit der Investoren auf die Inferenz gelenkt wird, während KI-Tools zur alltäglichen Infrastruktur werden.
Das Unternehmen sieht sich jedoch weiterhin einem schwierigen Wettbewerbsumfeld gegenüber. Nvidia ist durch den Lizenzdeal nun enger mit der Inferenztechnologie von Groq verbunden. Nvidia stellte auf der GTC im März sein eigenes Inferenz-Hardwaresystem Groq 3 LPX vor.
Für Groq stellt sich die Frage, ob sich eine fokussierte Inferenz-Cloud abheben kann, während KI-Unternehmen, Cloud-Anbieter und Chiphersteller gleichermaßen darum wetteifern, die Kosten zu senken und die Geschwindigkeit der Modellausführung zu verbessern. Die neue Finanzierung verschafft Groq dafür mehr Spielraum.
Sie spiegelt außerdem einen größeren Wandel in der KI-Infrastruktur wider: Das nächste Schlachtfeld könnte die Frage sein, wer Modelle für Millionen von Nutzern schnell, zuverlässig und kostengünstig ausführen kann.
Mehr dazu: Amazon verhandelt Berichten zufolge über den Verkauf seiner maßgeschneiderten KI-Chips , da die Nachfrage nach Alternativen zu Nvidia-Hardware wächst.