|
WEKA / Schlagwort(e): Sonstiges Neue Forschungsherausforderungen GPU-Auslastung als Maß für die Inferenzinfrastruktur 16.11.2026 / 15:05 CET/CEST Für den Inhalt der Mitteilung ist der Emittent / Herausgeber verantwortlich. Ein neuer Bericht von NAND Research unterstreicht, dass die Auslastung von GPUs kein genaues Maß für die Produktivität darstellt; er stellt eine neue Inference Economics Scorecard vor, um die Inferenzinfrastruktur anhand der von ihr geleisteten nützlichen Arbeit zu messen, wie sie in einem achtstündigen Benchmark mit Nebius auf NVIDIA HGX B300 GPUs und WEKA NeuralMesh angewendet wurde. CHICAGO, 16. November 2026 /PRNewswire/ — Von Supercomputing 2026: WEKA, das Unternehmen für KI-Daten- und Speicherinfrastruktur, hat heute in Zusammenarbeit mit dem Marktforschungsunternehmen NAND Research die Inference Economics Scorecard vorgestellt, ein neues gemeinsames Rahmenwerk zur Messung der Produktivität und des wirtschaftlichen Werts von Inferenzinfrastrukturen anhand der von ihnen geleisteten nützlichen Arbeit und nicht anhand der Auslastung der GPUs. Die Scorecard definiert neun Kennzahlen, darunter Token pro Watt, Kosten pro Inferenz und Kontextbeibehaltung. Es legt vier Testregeln fest, darunter Testläufe von mindestens acht Stunden und die Zählung nur erfolgreicher Ergebnisse. Die Technologie wurde bereits in einem Benchmark mit Nebius, dem KI-Cloud-Unternehmen, angewendet und kommt zu einem Zeitpunkt, an dem Inferenz einen immer größeren Anteil der Ausgaben für KI-Infrastruktur beansprucht und Käufer an Grenzen bei Leistung, Speicher und Rackplatz stoßen.
Käufer behandeln Inferenz bereits anders, wie neue Forschungsergebnisse zeigen „Der eigentliche Wert von KI zeigt sich letztendlich bei der Inferenz, und unsere Forschung zeigt, dass sie die Art und Weise, wie Unternehmen Infrastruktur kaufen, grundlegend verändert“, sagte Greg Macatee, Senior Analyst bei 451 Research by S&P Global. „Die Agenten treiben das exponentielle Wachstum des Tokenvolumens voran; Speicher-, Energie- und Lieferengpässe stellen die Vorstellung, dass Organisationen mithalten können, indem sie einfach mehr GPUs hinzufügen, stark in Frage.“ Warum die GPU-Auslastung für Inferenzprozesse unzureichend ist Jahrelang war das Training der dominierende Arbeitsfaktor im Bereich der KI. Da das Training die GPUs mit großen, vorhersehbaren Aufgaben beschäftigt, ist die GPU-Auslastung zum Standardmaß für die Produktivität der KI-Infrastruktur geworden. Inferenz, insbesondere agentenbasierte Inferenz, stellt ganz andere Anforderungen an GPUs. Ein Agent beantwortet nicht einfach eine Eingabeaufforderung; er erledigt eine Aufgabe in vielen Schritten und liest bei jedem Schritt den zuvor erstellten Kontext erneut. Nachdem die GPU diesen Kontext aus dem Speicher entfernt hat, um Platz für andere Benutzer und Sitzungen zu schaffen, muss sie ihn bei der Rückkehr des Tasks neu berechnen, und der Task macht keine weiteren Fortschritte, bis diese Arbeit abgeschlossen ist. Das Ergebnis ist eine GPU, die zwar voll ausgelastet, aber unproduktiv ist, weil sie Rechenzyklen verschwendet, indem sie dieselben Token mehrfach neu berechnet. Die Inference Economics Scorecard misst Inferenzsysteme im Produktionsmaßstab: Abgeschlossene Anfragen von vielen gleichzeitigen Benutzern, und zwar über Stunden statt Minuten. „Die Branche hat Schlussfolgerungen bisher mit einem Zeugnis aus der Ausbildungsära bewertet. GPU-Auslastung bedeutet, dass der Chip ausgelastet war. Man kann nicht sagen, ob die Arbeit abgeschlossen, wiederholt oder verworfen wurde, und bei Agenten wird vieles wiederholt“, sagte Liran Zvibel, Mitbegründer und CEO von WEKA. „Stromversorgung, Material und Rackplatz sind heute ebenso limitierende Faktoren wie Kapital. Die neue Mathematik, die für die Inferenzinfrastruktur erforderlich ist, lautet: Nutzbare Arbeit pro Watt, pro Rack, pro Dollar, bei den Antwortzeiten, die Ihre Benutzer erwarten. Die Scorecard zur Inferenzökonomie bringt diese Mathematik zu Papier, und WEKA wird wie alle anderen daran gemessen werden.“ Vom Arbeitsalltag zum Produktivitätsschub: So funktioniert die Scorecard
„Der teuerste Fehler bei der KI-Infrastruktur besteht derzeit darin, auf maximalen Durchsatz zu setzen und für wiederholte Arbeit zu bezahlen“, sagte Steve McDowell, leitender Analyst und Gründer von NAND Research. „Bei agentenbasierten Arbeitslasten kann dieser Fehler leicht übersehen werden, da bei jedem Schritt einer langen Aufgabe der Kontext erneut gelesen wird, den eine ausgelastete GPU möglicherweise von Grund auf neu aufbauen muss. Wir haben die Bewertungsmatrix so gestaltet, dass Käufer jedes System an denselben Maßstäben messen können: Die fertige Arbeit wurde in Stunden gemessen, wobei jeder Fehler gezählt wurde. Der Nebius-Benchmark zeigt, was diese Disziplin offenbart, denn er lief die vollen acht Stunden und zählte jede Anfrage, die fehlschlug oder ein Timeout verursachte.“ Die Praxis: Real Agent Load, Sustained for Eight Hours Durch die Verwendung von WEKA NeuralMesh mit Augmented Memory Grid, das NVMe im gesamten Cluster als gemeinsame Kontextschicht bündelt, produzierte der Knoten 3,7-mal so viele Ausgabetoken pro GPU-Stunde wie der reine HBM-Dienst auf denselben GPUs, und 97 % der erfolgreich abgeschlossenen Anfragen erreichten innerhalb von fünf Sekunden ein erstes Token, gegenüber 44 % zuvor. Bei der reinen HBM-Bereitstellung wurden 60 % der Vorbelegungsarbeit aus einem Kontext neu berechnet, den der Cluster bereits früher in der Sitzung verarbeitet hatte; mit Augmented Memory Grid waren es 6,8 %. Bei der gemessenen Rate würde der HBM-only-Knoten etwa 30 Stunden benötigen, um das zu produzieren, was Augmented Memory Grid in acht Stunden schaffte. Der vollständige Benchmark ist auf den Blogs weka.io und nebius.com veröffentlicht. „Der Spitzendurchsatz zeigt, was ein System für ein paar Minuten leisten kann, aber unsere Kunden lassen Agenten stunden-, tage- oder sogar noch länger laufen, daher kommt es auf eine nachhaltige, sinnvolle Arbeit an“, sagte Narek Tatevosyan, Vizepräsident für Produktentwicklung bei Nebius. „Über eine ganze Schicht hinweg verlor die HBM-only-Konfiguration stetig an Boden, da der Kontext aus dem Speicher verschwand und die Timeouts zunahmen, während WEKA NeuralMesh die Latenz des ersten Tokens während des gesamten Laufs konstant hielt.“ Das verändert unsere Kapazitätsplanung: Wir planen unseren Arbeitsaufwand anhand der abgeschlossenen Arbeiten an einem Arbeitstag, nicht anhand eines Spitzenwerts, und die Inference Economics Scorecard bietet uns eine einheitliche Möglichkeit, unseren Kunden diese Zahl zu präsentieren.“ „Agentische Inferenz ist die Arbeitslast, die die KI-Fabrik definiert, und sie stellt außerordentliche Anforderungen an Speicher und Kontext. Bei der Skalierung geht es nicht mehr darum, wie viel Kontext auf die GPU passt, sondern darum, wie weit er über den Cluster ausgedehnt werden kann, ohne neu berechnet werden zu müssen“, sagte Jason Hardy, Vizepräsident für Speichertechnologie bei NVIDIA. „Die Ergebnisse von WEKA und Nebius auf NVIDIA HGX B300-Systemen zeigen, was eine gemeinsame Kontextschicht für einen nachhaltigen Durchsatz und eine hohe Reaktionsfähigkeit leisten kann. Mit zunehmender Inferenz benötigen Käufer eine klarere Möglichkeit, Systeme anhand der tatsächlich erledigten Aufgaben zu vergleichen.“ Reproduzierbar durch Design: Offene Traces und Tools „Ein Benchmark für agentenbasierte Inferenz muss den realen Produktionsdatenverkehr widerspiegeln, einschließlich langlaufender Agenten, wachsendem Kontext, komplexen Multi-Agenten-Workflows mit Subagenten und den sprunghaften, unvorhersehbaren Datenverkehrsmustern, die reale Einsätze kennzeichnen“, sagte Dylan Patel, Gründer und CEO von SemiAnalysis. „Zu wenige Benchmarks erfüllen diese Anforderungen. Genau diese Lücke wollten wir mit AgentX schließen. Deshalb arbeitet AgentX mit realen Agenten-Traces im offenen kvlab-Trace-Format von WEKA, sodass jeder die gleichen mehrstufigen Arbeitsabläufe nachspielen und die Ergebnisse unter gleichen Bedingungen vergleichen kann. Da Agenten immer mehr den Großteil der Inferenzarbeit ausmachen, ist reproduzierbare Messung wie diese der Weg, wie die Branche Spitzenwerte überwindet und erkennt, was ihre Infrastruktur verkraften kann.“ SemiAnalysis plant, die AgentX-Ergebnisse auf WEKA NeuralMesh im Laufe der Testphase zu veröffentlichen. Weitere Informationen finden Sie unter https://inferencex.semianalysis.com/agentx. Weitere Ressourcen
Über WEKA WEKA und das WEKA-Logo sind eingetragene Marken, WEKA NeuralMesh und Augmented Memory Grid sind Marken von WekaIO, Inc. Alle anderen hier erwähnten Marken sind Eigentum ihrer jeweiligen Inhaber.
16.11.2026 CET/CEST Veröffentlichung einer Corporate News/Finanznachricht, übermittelt durch EQS News – ein Service der EQS Group. Die EQS Distributionsservices umfassen gesetzliche Meldepflichten, Corporate News/Finanznachrichten und Pressemitteilungen. |
2435972 16.11.2026 CET/CEST
Eine Speicherung der Nachrichten in Datenbanken sowie jegliche Weiterleitung der Nachrichten an Dritte im Rahmen gewerblicher Nutzung oder zur gewerblichen Nutzung sind nur nach schriftlicher Genehmigung durch die EQS Group GmbH gestattet.
Originalversion auf eqs-news.com ansehen.





