Ga naar inhoud
Terug naar Woordenlijst

Deployment

Batch Inference

Definitie

Running a model over a collection of inputs in a batch job rather than responding to each request immediately. It can suit report generation, bulk document classification or periodic scoring. Cost and latency depend on workload, infrastructure and scheduling; compare them with the required real-time service level.

Hulp Nodig bij het Begrijpen van AI?

Boek een Physical AI-kennismaking om te bespreken hoe deze AI-concepten op uw branche en uitdagingen van toepassing zijn.