Amazon baut für Anthropic gigantischen KI-Supercomputer „Project Rainier“ – das ist bisher bekannt

Amazon Web Services (AWS) arbeitet an einem der ambitioniertesten Projekte seiner Unternehmensgeschichte: einem gewaltigen Supercomputer namens „Project Rainier“, der speziell für das Training von KI-Modellen entwickelt wurde. Der Cluster soll Hunderttausende der speziell entwickelten Trainium2-Chips miteinander verbinden – verteilt auf Rechenzentren in den gesamten Vereinigten Staaten.

Ziel des Projekts ist es, dem KI-Startup Anthropic – an dem Amazon beteiligt ist – einen strategischen Vorteil im internationalen Wettrennen um leistungsfähige künstliche Intelligenz zu verschaffen. Laut Amazon handelt es sich bei „Rainier“ um die leistungsstärkste Infrastruktur, die AWS je in Angriff genommen hat – ein Supercomputer von beispiellosem Ausmaß.

Benannt nach dem majestätischen Mount Rainier in Washington State, soll das Projekt alles bisher Dagewesene übertreffen. „Project Rainier“ ist nicht nur ein technologisches Großprojekt, sondern auch ein Symbol für Amazons wachsenden Anspruch, eine führende Rolle im KI-Zeitalter einzunehmen.

Eine unvorstellbare Rechenleistung

Der AWS-Kunde Anthropic, ein Unternehmen für KI-Sicherheit und -Forschung, wird diesen brandneuen „KI-Rechencluster“ nutzen, um zukünftige Versionen seines führenden KI-Modells Claude zu entwickeln und einzusetzen.

„Rainier wird im Vergleich zum derzeit größten Trainingscluster von Anthropic fünfmal mehr Rechenleistung bieten”, sagte Gadi Hutt, Director of Product and Customer Engineering bei Annapurna Labs, dem Spezialchip-Arm von AWS, der für die Entwicklung und den Bau der Hardware für das Projekt verantwortlich ist.

„Bei einem bahnbrechenden Modell wie Claude gilt: Je mehr Rechenleistung in das Training investiert wird, desto intelligenter und genauer wird es“, so Hutt. „Wir bauen Rechenleistung in einem bisher unerreichtem Ausmaß auf und das mit beispielloser Geschwindigkeit und Agilität.“

Chips, Chips, Chips

Um diese Mission zu erfüllen, ist Project Rainier als riesiger „EC2 UltraCluster aus Trainium2 UltraServern“ konzipiert. Der erste Teil bezieht sich auf Amazon Elastic Compute Cloud (EC2), einen AWS-Dienst, mit dem Kunden virtuelle Computer in der Cloud mieten können, anstatt eigene physische Server zu kaufen und zu warten.

Der interessantere Teil ist Trainium2, ein speziell für das Training von KI-Systemen entwickelter AWS-Computerchip. Im Gegensatz zu den Allzweckchips in Ihrem Laptop oder Smartphone ist Trainium2 darauf spezialisiert, die enormen Datenmengen zu verarbeiten, die erforderlich sind, um KI-Modellen beizubringen, wie sie alle möglichen unterschiedlichen und immer komplexer werdenden Aufgaben schnell erledigen können.

Um die Leistungsfähigkeit von Trainium2 zu veranschaulichen:

• Ein einziger Chip ist in der Lage, Billionen von Berechnungen pro Sekunde durchzuführen.
• Wenn das verständlicherweise etwas schwer vorstellbar ist: Bedenken Sie, dass eine Person mehr als 31.700 Jahre brauchen würde, um bis eine Billion zu zählen.
• Eine Aufgabe, für die ein Mensch Jahrtausende benötigen würde, kann mit Trainium2 in Sekundenschnelle erledigt werden.

Von traditionell zu ultra

Beeindruckend, ja. Aber das Projekt Rainier verwendet nicht nur einen oder sogar mehrere Chips. Hier kommen die UltraServer und UltraCluster ins Spiel.

Traditionell arbeiten Server in einem Rechenzentrum unabhängig voneinander. Wenn sie Informationen austauschen müssen, müssen diese Daten über externe Netzwerk-Switches übertragen werden. Dies führt zu Latenzzeiten (d. h. Verzögerungen), was bei solchen Größenordnungen nicht ideal ist.

Die Antwort von AWS auf dieses Problem ist der UltraServer. Der UltraServer ist eine neue Art von Rechenlösung, die vier physische Trainium2-Server mit jeweils 16 Trainium2-Chips kombiniert. Sie kommunizieren über spezielle Hochgeschwindigkeitsverbindungen, die als „NeuronLinks“ bezeichnet werden. NeuronLinks sind an ihren charakteristischen blauen Kabeln zu erkennen und funktionieren wie dedizierte Expressspuren, über die Daten innerhalb des Systems viel schneller übertragen werden können, was komplexe Berechnungen über alle 64 Chips hinweg erheblich beschleunigt.

Wenn man Zehntausende dieser UltraServer miteinander verbindet und sie alle auf dasselbe Problem ausrichtet, erhält man Project Rainier – einen riesigen „UltraCluster“.

Kein Platz für Fehler

Die Kommunikation zwischen den Komponenten erfolgt auf zwei kritischen Ebenen: Die NeuronLinks sorgen für Verbindungen mit hoher Bandbreite innerhalb der UltraServer, während die Elastic Fabric Adapter (EFA)-Netzwerktechnologie (erkennbar an den gelben Kabeln) die UltraServer innerhalb und zwischen den Rechenzentren verbindet. Dieser zweistufige Ansatz maximiert die Geschwindigkeit dort, wo sie am dringendsten benötigt wird, und gewährleistet gleichzeitig die Flexibilität für die Skalierung über mehrere Rechenzentrumsgebäude hinweg.

So weit, so gut – aber der Betrieb und die Wartung eines so riesigen Computers sind nicht ohne Herausforderungen. Um sicherzustellen, dass die gesamte gigantische Kapazität den Kunden zur Verfügung steht, ist Zuverlässigkeit von größter Bedeutung. Hier kommt der Ansatz des Unternehmens bei der Hardware- und Softwareentwicklung wirklich zum Tragen.

Im Gegensatz zu den meisten anderen Cloud-Anbietern baut AWS seine eigene Hardware und kann so jeden Aspekt der Technologieplattform kontrollieren, von den kleinsten Komponenten eines Chips über die darauf laufende Software bis hin zum kompletten Design des Rechenzentrums selbst.

Kontrolle über den Stack

Diese Art der vertikalen Integration ist einer der Gründe, warum AWS im Wettlauf um die Beschleunigung des maschinellen Lernens und den Abbau von Kostenbarrieren für den Zugang zu KI einen so großen Vorsprung hat.

„Wenn man das Gesamtbild kennt, vom Chip über die Software bis hin zu den Servern selbst, kann man dort Optimierungen vornehmen, wo sie am sinnvollsten sind“, sagt Rami Sinno, Director of Engineering bei Annapurna Labs.

„Manchmal ist die beste Lösung vielleicht, die Stromversorgung der Server neu zu konzipieren oder die Software, die alles koordiniert, neu zu schreiben. Oder es ist vielleicht alles auf einmal. Da wir einen Überblick über alles haben, auf jeder Ebene, können wir Probleme schnell beheben und viel, viel schneller innovativ sein.“

Die Zukunft der KI

Das Projekt Rainier verschiebt nicht nur technische Grenzen, sondern steht für einen grundlegenden Wandel dessen, was mit KI möglich ist. Und die Auswirkungen gehen weit über die Entwicklung eines unendlich viel komplexeren Modells wie Claude hinaus.

Das Projekt Rainier ist nun eine Vorlage für den Einsatz der rohen Rechenleistung, die es KI ermöglicht, Herausforderungen zu bewältigen, die sich seit langem jeder menschlichen Lösung entziehen, und damit bahnbrechende Fortschritte in allen Bereichen von der Medizin bis zur Klimawissenschaft zu erzielen.

Quelle: AWS

---