A a egyedi fejlesztésű AI-chipjeit, a Tensor Processing Unitokat (TPU) használja éles környezetben a PyTorch-natív SGLang következtetési motoron keresztül. A vLLM motor szintén nyílt forráskódú, PyTorch-alapú verziót kapott a hatékonyabb futtatáshoz.
A korábban JAX keretrendszert használó motorok a Google és a Meta által közösen fejlesztett TorchTPU-ra váltottak. A hetedik generációs Ironwood chippel végzett tesztek során a vLLM 700 tokent ért el másodpercenként, megelőzve az GB200-as rendszereit.
A fejlesztések célja, hogy 2027-re az új nyílt modellek azonnali TPU-támogatást kapjanak. A RadixArk és az Inferact startupok bevonásával zajló projekt következő mérföldköve a DeepSeek V4.1 Flash támogatása és a novemberi SGLang Summit lesz San Franciscóban.