Das Wichtigste in Kürze

  • vLLM v0.32.0 ist ein Open-Source-Release der Inferenz-Engine vLLM mit 814 Commits von 363 Beitragenden, darunter 121 Erstbeiträge.
  • Neu ist ein /v1/systemone-Endpunkt für strukturierte Entscheidungen sowie ein generischer Hugging-Face-Tool- und Reasoning-Parser.
  • Niedrigpräziser KV-Cache wird nun auf mehr GPUs unterstützt: NVFP4 auf SM8x/90/12x, FP8 standardmäßig für GLM-5.x und 4-Bit auf ROCm.
  • Model Runner V2 bringt einen GPU-n-Gramm-Spekulator, Elastic EP und PP+CP für MLA und ist jetzt Standard auf ROCm; der Start und die Bedienung werden beschleunigt.

Kurzüberblick

TypOpen-Source-Inferenz-Engine
GeräteLinux-Server mit NVIDIA- oder AMD-GPU
KostenKostenlos (Open Source)
SprachenPython-API, Modellunterstützung modellabhängig
HighlightNiedrigpräziser KV-Cache für weniger Speicher
EinstiegQuellcode und Anleitung auf github.com
KategorieDev- & Web-Tools
UrhebervLLM
Offizielle Seitegithub.com ↗
Trend-Index🔥 191,9 Tsd. Trend-Index
Zuletzt aktualisiert

Was vLLM v0.32.0 ist und warum es gerade Aufmerksamkeit bekommt

vLLM ist eine Open-Source-Inferenz-Engine, die darauf optimiert ist, große Sprachmodelle effizient auf GPUs zu betreiben. Die Version v0.32.0 wurde am 18. Oktober 2026 veröffentlicht und umfasst 814 Commits von 363 Mitwirkenden, darunter 121 Personen, die zum ersten Mal beigetragen haben. Das Release ist derzeit in Entwicklerkreisen im Trend, weil es Speicher spart und die Geschwindigkeit erhöht.

Der zentrale Fortschritt liegt beim KV-Cache, also dem Zwischenspeicher für den Aufmerksamkeitskontext eines Modells. vLLM v0.32.0 unterstützt nun durchgängig niedrigpräzise Formate: NVFP4 auf SM8x/90/12x, FP8 standardmäßig für GLM-5.x und 4-Bit auf ROCm. Dadurch passt mehr Modellkontext in den GPU-Speicher, was besonders bei großen Modellen und langen Eingaben hilft.

Zusätzlich führt das Release den Endpunkt /v1/systemone für strukturierte Entscheidungen ein und einen generischen Hugging-Face-Tool- und Reasoning-Parser. Damit lassen sich Tool-Aufrufe und Denkprozesse einheitlicher anbinden. Wer vLLM bereits nutzt, findet die vollständigen Änderungen und Installationshinweise im offiziellen Repository auf github.com.

  • 814 Commits, 363 Beitragende

    Das Release bündelt eine große Zahl von Änderungen aus der Community. Besonders auffällig sind 121 Erstbeiträge, was auf ein wachsendes Ökosystem hindeutet.

  • Strukturierte Entscheidungen

    Der neue /v1/systemone-Endpunkt ermöglicht es, Modelle für klare Entscheidungsaufgaben anzusteuern. Das kann die Integration in Agenten und Workflows vereinfachen.

  • Weniger GPU-Speicher

    Durch NVFP4, FP8 und 4-Bit-KV-Cache sinkt der Speicherbedarf für den Kontext. Das erlaubt größere Modelle oder mehr gleichzeitige Anfragen auf derselben Hardware.

So funktioniert der niedrigpräzise KV-Cache in der Praxis

Der KV-Cache speichert Zwischenergebnisse, die ein Modell für bereits gelesene Token berechnet hat. Normalerweise liegt er in 16-Bit-Präzision vor, was bei langen Kontexten viel Speicher belegt. vLLM v0.32.0 erlaubt es, diesen Cache in niedrigeren Bit-Breiten zu halten, ohne die Modellgewichte selbst zu verändern. Das senkt den Speicherbedarf und kann die Anzahl gleichzeitig bedienbarer Anfragen erhöhen.

Die Unterstützung hängt von der GPU ab: Auf SM8x/90/12x kommt NVFP4 zum Einsatz, für GLM-5.x ist FP8 standardmäßig aktiv, und auf ROCm wird 4-Bit-KV unterstützt. Das sind keine universellen Schalter; du musst prüfen, welche Option zu deiner Hardware und deinem Modell passt. Die genauen Flags und Voraussetzungen stehen in der Dokumentation im Repository.

Ein weiterer Baustein ist Model Runner V2, der jetzt auf ROCm standardmäßig verwendet wird. Er bringt einen GPU-n-Gramm-Spekulator, Elastic EP sowie PP+CP für MLA mit. Zusammen mit schnellerem Start durch vorkompilierte Kernel-Downloads und Autotune-Preload soll das die Bedienung beschleunigen. Laut Release-Notizen werden mit Multi-API-Workern 43 bis 85 Prozent mehr Anfragen pro Sekunde erreicht.

  • Speicherbedarf prüfen

    Vergleiche vor und nach der Aktivierung des niedrigpräzisen KV-Cache den belegten GPU-Speicher. So siehst du, ob dein Modell und deine Kontextlänge davon profitieren.

  • Durchsatz benchmarken

    Miss die Anfragen pro Sekunde mit deiner typischen Last. Die beworbene Steigerung von 43 bis 85 Prozent gilt für Multi-API-Worker und kann je nach Setup abweichen.

  • Hardware beachten

    NVFP4, FP8 und 4-Bit sind nicht auf jeder GPU verfügbar. Prüfe die Kompatibilität, bevor du dich auf die Speicherersparnis verlässt.

Installation und erster Start mit vLLM v0.32.0

vLLM v0.32.0 wird nicht als Web-App im Browser ausgeführt, sondern als Python-Paket auf einem Server mit GPU installiert. Die offizielle Anleitung und der Quellcode liegen im Repository auf github.com. Dort findest du auch die genauen Befehle für pip oder den Build aus dem Quellcode sowie Hinweise zu den Systemvoraussetzungen.

Bevor du startest, solltest du sicherstellen, dass deine GPU und der Treiber unterstützt werden. Für NVIDIA-Karten sind die SM8x/90/12x-Architekturen relevant, für AMD kommt ROCm ins Spiel. Prüfe außerdem, ob dein Modell mit den neuen Parsern und dem /v1/systemone-Endpunkt kompatibel ist. Die Release-Notizen nennen EmbeddingGemma 2, MiniCPM-V 4.7 und Nemotron 3.5 ASR als neu unterstützte Modelle.

Nach der Installation startest du den Server typischerweise über die Kommandozeile und gibst dabei Modell und gewünschte Optionen an. Die genauen Parameter für den niedrigpräzisen KV-Cache und Model Runner V2 entnimmst du der Dokumentation. Ein erster Test mit einer kleinen Anfrage zeigt, ob der Server läuft und die erwarteten Ergebnisse liefert.

  • Repository prüfen

    Auf github.com findest du den Quellcode, die Release-Notizen und Installationsanweisungen. Dort stehen auch die Voraussetzungen für deine GPU.

  • Sicherheitsupdates einplanen

    Das Release enthält drei Sicherheitsfixes und eine CORS-Härtung. Wenn du vLLM öffentlich erreichbar betreibst, solltest du zeitnah aktualisieren.

Für wen sich das Update lohnt und wo die Grenzen liegen

vLLM v0.32.0 richtet sich an Entwickler und Teams, die offene Modelle selbst hosten und dabei GPU-Speicher sparen wollen. Besonders interessant ist das Release für alle, die GLM-5.x, EmbeddingGemma 2, MiniCPM-V 4.7 oder Nemotron 3.5 ASR einsetzen. Auch wer auf ROCm-Hardware arbeitet, profitiert von Model Runner V2 als Standard und dem 4-Bit-KV-Cache.

Im Vergleich zu anderen Inferenz-Engines setzt vLLM stark auf Durchsatz und Speichereffizienz. Die neuen niedrigpräzisen KV-Caches können die Kosten pro Anfrage senken, erfordern aber eine sorgfältige Prüfung der Genauigkeit. Ob und wie stark die Qualität leidet, hängt vom Modell und der Bit-Breite ab und lässt sich nicht pauschal sagen. Teste daher mit deinen eigenen Daten.

Grenzen zeigen sich bei der Hardware und beim Betrieb: Nicht jede GPU unterstützt alle Formate, und die beworbenen Geschwindigkeitsgewinne gelten für bestimmte Konfigurationen mit Multi-API-Workern. Zudem ist vLLM kein Werkzeug für Endnutzer ohne technisches Wissen. Wer eine fertige Chat-Oberfläche sucht, ist mit anderen Angeboten besser bedient. Für den produktiven Einsatz zählen die Dokumentation und die Release-Notizen im Repository.

  • Speicher sparen

    Niedrigpräziser KV-Cache erlaubt längere Kontexte oder mehr parallele Anfragen auf derselben GPU. Das kann die Hardwarekosten senken.

  • Schnellerer Start

    Vorkompilierte Kernel-Downloads und Autotune-Preload verkürzen die Startzeit. Das erleichtert häufige Neustarts in Entwicklung und Betrieb.

  • Sicherheit im Blick

    Drei Sicherheitsfixes und CORS-Härtung sind enthalten. Prüfe nach dem Update, ob deine Konfiguration weiterhin den Anforderungen entspricht.

Schritt-für-Schritt-Anleitung

  1. Repository und Release-Notizen lesen

    Öffne das offizielle Repository auf github.com und lies die Release-Notizen zu v0.32.0. Dort findest du die vollständige Liste der Änderungen, Voraussetzungen und Installationsbefehle.

  2. Systemvoraussetzungen prüfen

    Stelle sicher, dass deine GPU und der Treiber unterstützt werden. Für NVIDIA sind SM8x/90/12x relevant, für AMD ROCm. Prüfe auch, ob dein Modell zu den neu unterstützten Modellen gehört.

  3. vLLM v0.32.0 installieren

    Installiere das Paket gemäß der Anleitung, typischerweise per pip oder aus dem Quellcode. Achte auf die passende Python-Version und die Abhängigkeiten, die in der Dokumentation genannt werden.

  4. Server starten und Optionen setzen

    Starte den vLLM-Server über die Kommandozeile und gib Modell sowie gewünschte Flags an. Aktiviere bei Bedarf den niedrigpräzisen KV-Cache und prüfe, ob Model Runner V2 auf deiner Hardware verfügbar ist.

  5. Testen und benchmarken

    Sende eine erste Anfrage an den Server und prüfe die Ausgabe. Miss anschließend Speicherbedarf und Durchsatz vor und nach der Aktivierung der neuen Funktionen, um den Nutzen für dein Setup zu bewerten.

Häufige Fragen

Ist vLLM v0.32.0 kostenlos?

Ja, vLLM ist ein Open-Source-Projekt und die Version v0.32.0 ist kostenlos verfügbar. Du findest den Quellcode und die Installationsanleitung im offiziellen Repository auf github.com. Für den Betrieb fallen jedoch Kosten für die GPU-Hardware und den Server an. Prüfe die Lizenzbedingungen im Repository, bevor du das Projekt kommerziell einsetzt.

Auf welchen Geräten läuft vLLM v0.32.0?

vLLM läuft auf Servern mit NVIDIA- oder AMD-GPUs unter Linux. Die neuen niedrigpräzisen KV-Cache-Formate sind an bestimmte GPU-Architekturen gebunden: NVFP4 auf SM8x/90/12x, FP8 für GLM-5.x und 4-Bit auf ROCm. Eine vollständige Liste der unterstützten Hardware findest du in der Dokumentation. Auf Smartphones oder im Browser läuft vLLM nicht.

Wie hilft der niedrigpräzise KV-Cache beim Speichern?

Der KV-Cache speichert Zwischenergebnisse für bereits verarbeitete Token. In niedrigerer Präzision belegt er weniger GPU-Speicher, sodass mehr Kontext oder mehr gleichzeitige Anfragen möglich sind. Das kann die Kosten senken, ohne die Modellgewichte zu verändern. Teste mit deinen eigenen Daten, ob die Qualität für deinen Anwendungsfall ausreicht.

Was ist der /v1/systemone-Endpunkt?

Der Endpunkt /v1/systemone ist neu in v0.32.0 und dient strukturierten Entscheidungen. Er soll es erleichtern, Modelle für klare Entscheidungsaufgaben anzusteuern, etwa in Agenten oder automatisierten Workflows. Die genaue Funktionsweise und die erwarteten Eingabeformate stehen in der Dokumentation im Repository. Prüfe dort, ob der Endpunkt zu deinem Anwendungsfall passt.

Wie sicher ist vLLM v0.32.0?

Das Release enthält drei Sicherheitsfixes und eine CORS-Härtung. Das deutet darauf hin, dass bekannte Schwachstellen behoben wurden. Dennoch solltest du vLLM nicht ungeschützt öffentlich erreichbar betreiben und die Sicherheitshinweise im Repository beachten. Ein Update auf die neueste Version wird empfohlen, wenn du ältere Versionen nutzt.