Aller au contenu
Retour au Glossaire

Déploiement

Prompt Cache

Définition

A technique that reuses cached computation for a repeated prompt prefix, such as attention key-value states. Benefits depend on cache eligibility, hit rate, eviction, implementation and any provider pricing rules. A cache does not remove the need to check access boundaries and treatment of sensitive prompt data.

Besoin d'Aide pour Comprendre l'IA?

Réservez un appel de cadrage Physical AI pour discuter de l'application de ces concepts IA à votre secteur et vos défis métier.