Nachdem DeepSeek eine entscheidende Rolle bei der Bewegung hin zu tiefgreifendem Schlussfolgern unter KI-Unternehmen gespielt hat, hat das Unternehmen eine experimentelle Technik namens DeepSeek Sparse Attention vorgestellt. Der neue Mechanismus soll Optimierungen für die Effizienz von Training und Inferenz bei der Beantwortung langer Anfragen untersuchen und validieren, teilte DeepSeek am 29. September mit.
Was ist ein Sparse-Attention-Mechanismus?
In generativer KI ist ein Sparse-Attention-Mechanismus eine Methode, die verhindert, dass die neuronale Architektur jedes Token mit jedem anderen Token verbindet. Stattdessen berücksichtigt jedes Token eine kleinere Teilmenge von Tokens. Die Verwendung eines Sparse-Attention-Mechanismus reduziert den Rechen- und Speicherbedarf für die Erstellung einer Antwort. Der Unterschied zeigt sich am deutlichsten bei Anfragen, die Tausende oder Hunderttausende Tokens enthalten.
DeepSeek-V3.2-Exp mit Sparse Attention ist mit Gewichten und Code auf HuggingFace zur lokalen Nutzung verfügbar. Das Modell ist außerdem im Web, in der DeepSeek-App und über die API verfügbar.
Die Veröffentlichung sei „ein Zwischenschritt auf dem Weg zu unserer Architektur der nächsten Generation“, schrieb DeepSeek am Modellkarte vom 29. September.
Präzisionsformate: heute FP8, BF16 in Arbeit
DeepSeek hat angedeutet, dass seine neuesten Modelle die Architektur FP8 beziehungsweise Floating Point 8 unterstützen, berichtete Bloomberg am Montag. FP8 wird beim KI-Training häufig eingesetzt, um die Effizienz durch schnellere Berechnungen und einen geringeren Speicherverbrauch zu verbessern. Darüber hinaus arbeitet DeepSeek an der Unterstützung von BF16 beziehungsweise Brain Floating Point 16, einem Format, das eine höhere Berechnungsgeschwindigkeit ermöglicht.
Preise und Zugang für Entwickler
Das Unternehmen senkte am Montag die Preise für die DeepSeek-API um 50 % oder mehr. Dadurch könnten potenzielle Entwickler leichter Zugang zu den neuen Modellen erhalten. DeepSeek setzt möglicherweise darauf, dass dies langfristig mehr Kunden gewinnt.
Huawei unterstützt DeepSeek und bietet eine chinesische Nvidia-Alternative
Huawei zufolge werden seine Ascend-Chips die Inferenz des neuen Modells unterstützen, wie Bloomberg berichtete. Seine Ascend-Chips werden das neue Modell ausführen können. Gleichzeitig fährt Huawei die Produktion in China hoch und positioniert sich als Alternative zu den KI-Chips von Nvidia aus US-Produktion.
In der vergangenen Woche legte Huawei einen dreijährigen Plan vor, um mit seinen neuen „SuperPoD“-Systemen Tausende von Ascend-Prozessoren miteinander zu verbinden.
Huawei konkurriert mit Nvidia, doch die US-amerikanischen Exportbestimmungen für China schaffen ein unsicheres regulatorisches Umfeld für fortschrittliche KI-Chips.
Das neueste KI-Modell von DeepSeek wird nicht planmäßig auf den Markt kommen, da mit Nvidia-Chips verbundene Lieferprobleme die Einführung verlangsamen. Erfahren Sie, wie diese Verzögerung den Wettbewerb im globalen KI-Rennen verändern könnte.