KI-Geschwindigkeit hängt mehr vom Speicher als vom Prozessor ab
Die fortschrittlichste künstliche Intelligenz der Welt wird oft durch einen digitalen Datenstau ausgebremst. Dabei müssen Hochleistungsprozessoren tatenlos warten, bis Informationen aus entfernten Speicherbanken eintreffen.
In der modernen Computertechnik gleicht die Denkgeschwindigkeit oft dem Weg zur Vorratskammer. Ein einzelner Chip wie der Nvidia H100 kann zwar Billionen von Berechnungen pro Sekunde durchführen. Dennoch verbringt er einen erschreckend großen Teil seiner Zeit im Leerlauf.