Wie auch immer, Google Cloud hat native Ray-Unterstützung für PyTorch auf TPUs hinzugefügt

Anyscale und Google Cloud teilten am 20. Oktober 2026 mit, dass Ray nun native Unterstützung für PyTorch-Workloads auf Google-TPUs bietet und so den PARK-Stack auf TPU-basiertes Training und Inferenz in der Google Kubernetes Engine erweitert. Die Unternehmen erklärten, die Integration baue auf Googles TorchTPU-Projekt und KubeRay auf GKE auf und solle PyTorch-Nutzern ein Modell mit einem Gerät pro Worker auf Cloud-TPUs bieten.

Beweise und Kontext

In der Ankündigung erklärte Anyscale, dass Plattform- und ML-Teams, die auf GKE laufen, verteiltes PyTorch-Training, vLLM-Inferenz und Reinforcement Learning Workloads über GPUs und TPUs auf einer einzigen Kubernetes-Kontrollebene planen und betreiben können. Das Unternehmen teilte mit, dass Ray-Mitarbeiter an TPUs nun eins Worker auf eins TPU-Chip abbilden, wobei resources={"TPU": 1} sie eine Geräteisolation durch TPU_VISIBLE_CHIPSnutzen, während sie den PyTorch-Code von cuda zu tpu und das verteilte Backend von nccl nach tpu_distumschalten.

Der Beitrag erwähnte außerdem, dass Rays SlicePlacementGroup-API verwendet wird, um Aktoren auf demselben TPU-Slice zusammenzusetzen, und dass Ray Trains TorchTrainer verteilte Datenparallele, Fully Sharded Data Parallel v2 und DTensor-Workloads auf Single- und Multi-Host-Cloud-TPU-Slices orchestrieren kann. Die Beispiele im Beitrag spezifizieren eine 16-Worker-Konfiguration auf einem 4x4 TPU-V6E Slice, mit use_tpu=True, resources_per_worker={"TPU": 1} und automatischer Einrichtung von PyTorch-Variablen für verteilte Umgebungen.

Zur Schlussfolgerung sagte Anyscale, dass vLLM-TorchTPU TorchTPU als vLLM-Plattform-Plugin registriert, was es OpenAI-kompatiblen Endpunkten ermöglicht, auf TPU-Slices über Ray Serve LLM auszuführen. Die Beispielkonfiguration im Beitrag verwendet eine TPU-V6E 4x4 -Topologie und spezifiziert tensor_parallel_size=16, enable_expert_parallel=True und max_model_len=8192.

Was ist verifiziert und was bleibt begrenzt

Die Ankündigung entspricht den aktuellen TPU-Richtlinien von Google Cloud und folgt auf Google Developers-Beiträge vom 20 . Juli und 2026-07-24 zum Betrieb von Ray auf TPUs. Verifiziertes Hintergrundmaterial, das dieser Anfrage beiliegt, weist außerdem darauf hin, dass Ray Train verteiltes Training über Maschinen hinweg orchestriert, sich jedoch von der Framework-Laufzeit unterscheidet, die Tensoroperationen ausführt.

Gleichzeitig besagt der bereitgestellte Hintergrund, dass das geprüfte Ray 2.59.0 PyTorch-Backend genau eins TPU-Gerät pro Worker empfiehlt und explizit einen Fehler für Training über mehrere TPU-Slices hinweg hervorruft. Das bedeutet, dass der Artikel zwischen Multi-Host-Training innerhalb eines einzelnen TPU-Slices, das im Quellmaterial beschrieben wird, und Multi-Slice-Training, das hier für Ray 2.59.0 nicht verifiziert ist, unterscheiden sollte. Das bereitgestellte Material beschreibt außerdem in einem Google-Beitrag vom Juli 24 die Multi-Slice-Skalierung für JaxTrainer, aber das sollte nicht auf PyTorch verallgemeinert werden.

Das Quellmaterial liefert keine Preise, Marktdaten, Gewinndaten oder Investorenpositionierung. Es gibt auch kein verifiziertes nächstes Katalysator-Datum nach dem 20. Oktober 2026 Ankündigung selbst an.