OpenAI baut Prompt Caching ab GPT-5.6 und GPT-6 grundlegend um

Zeitgleich mit der Veröffentlichung der Modelle GPT-6 Sol und GPT-6 Luna am 22. September 2026 hat OpenAI eine umfassende Überarbeitung des Prompt Cachings vorgestellt. Die Technik speichert berechnete Key-Value-Tensoren (KV-Tensoren) aus dem internen Aufmerksamkeitsmechanismus des Sprachmodells, anstatt wiederkehrenden Rohtext bei jeder Anfrage neu zu verarbeiten. Dadurch sinken bei passenden Präfixen sowohl die Rechenlast als auch die Latenz.

Neues Preismodell belohnt mehrfache Nutzung

Für Modelle ab GPT-5.6 sowie die GPT-6-Reihe greift eine veränderte Kostenstruktur. Werden zuvor zwischengespeicherte Eingabe-Tokens wiederverwendet (Cache Read), gewährt OpenAI einen Rabatt von 90 Prozent: Diese Tokens werden mit dem 0,1-fachen des regulären Preises für Input-Tokens abgerechnet.

Im Gegenzug ist das erstmalige Schreiben eines Präfixes in den Cache (Cache Write) teurer geworden und schlägt mit dem 1,25-fachen des regulären Input-Preises zu Buche. Dieses Modell belohnt vor allem wiederkehrende Abfragen: Ein Schreibvorgang mit einem anschließenden Lesezugriff kostet in der Summe das 1,35-Fache einer Standardanfrage gegenüber dem 2,0-Fachen bei zwei ungecachten Anfragen. Bei zehn Anfragen mit neun Lesezugriffen sinken die Gesamtkosten auf das 2,15-Fache im Vergleich zum 10,0-Fachen ohne Caching. Für isolierte Einzelanfragen (Single-Turn) ohne Wiederverwendung im impliziten Modus bedeutet der Aufschlag hingegen 25 Prozent Mehrkosten pro Eingabe-Token.

Technische Mindestgrenzen und manuelle Steuerung

Damit ein Prompt-Präfix zwischengespeichert werden kann, gilt ab GPT-5.6 eine Mindestlänge von 1.024 sichtbaren Eingabe-Tokens. System-Tokens, die OpenAI im Hintergrund bereitstellt, zählen bei dieser Schwelle nicht mit. Standardmäßig beträgt die Mindestlebensdauer eines gecachten Eintrags 30 Minuten (Time to Live, TTL) ab dem letzten Schreibzugriff oder der jüngsten Wiederverwendung.

Neben dem automatischen (impliziten) Modus können Entwickler Breakpoints nun auch explizit setzen, um exakt zu bestimmen, welche stabilen Instruktionen im Cache landen und welche variablen Parameter davon unberührt bleiben. Pro Anfrage lassen sich bis zu vier Schreibvorgänge auslösen. Ergänzend ermöglicht ein Prewarm-Befehl über die API, umfangreiche Prompts bereits vor der eigentlichen Interaktion ohne Textgenerierung in den Cache zu laden. Zur Überwachung stellt der Anbieter ein Dashboard sowie ein Diagnosetool bereit.

Flexible Denkleistung bei GPT-6

Eine spezifische Neuerung betrifft die GPT-6-Modelle: Bislang führte eine Anpassung der Denkleistung (reasoning effort) oft dazu, dass der gesamte Kontext neu berechnet werden musste. Über ein spezielles Konfigurations-Update innerhalb einer laufenden Konversation lässt sich diese Einstellung nun dynamisch verändern, ohne den zuvor aufgebauten Cache-Präfix zu entwerten.

Wie stark sich Caching-Verfahren auf die Effizienz auswirken können, zeigt ein von OpenAI genannter Erfahrungswert aus der Praxis: Bei GitHub Copilot sank die Menge frisch zu verarbeitender Prompt-Tokens über Milliarden von Anfragen hinweg um mehr als 50 Prozent gegenüber dem Ausgangswert.