Zum Inhalt springen
Zurück zum Glossar

Bereitstellung

Prompt Cache

Definition

A technique that reuses cached computation for a repeated prompt prefix, such as attention key-value states. Benefits depend on cache eligibility, hit rate, eviction, implementation and any provider pricing rules. A cache does not remove the need to check access boundaries and treatment of sensitive prompt data.

Hilfe beim Verständnis von KI Benötigt?

Buchen Sie ein Physical-AI-Eignungsgespräch, um zu besprechen, wie diese KI-Konzepte auf Ihre Branche und Ihre Herausforderungen anwendbar sind.