Ga naar inhoud
Terug naar Woordenlijst

Deployment

Prompt Cache

Definitie

A technique that reuses cached computation for a repeated prompt prefix, such as attention key-value states. Benefits depend on cache eligibility, hit rate, eviction, implementation and any provider pricing rules. A cache does not remove the need to check access boundaries and treatment of sensitive prompt data.

Hulp Nodig bij het Begrijpen van AI?

Boek een Physical AI-kennismaking om te bespreken hoe deze AI-concepten op uw branche en uitdagingen van toepassing zijn.