Selectiematrix voor AI-leveranciers en -modellen
Een compleet beslissingskader om AI-leveranciers te beoordelen over 8 dimensies. Van de faalpatronen waartegen u zich moet wapenen via 25 RFP-vragen tot 12 waarschuwingssignalen — alles wat u nodig hebt om de juiste AI-leverancier te kiezen en kostbare lock-in te vermijden.
Waarom de selectie van AI-leveranciers mislukt
Wie een LLM-leverancier kiest op basis van een korte demo en een gunstige openbare benchmark, laat de beslissende vragen onbeantwoord: hoe lang het model wordt ondersteund, of de verwerkersovereenkomst van de leverancier uw compliancetoetsing doorstaat, en wat de dienst kost bij productievolume. Elk van deze punten kunt u met een gestructureerde evaluatie controleren voordat u zich vastlegt.
Wanneer een leveranciersselectie misgaat, is de grondoorzaak zelden de technologie. Het is het proces — of het ontbreken daarvan.
Lock-inrisico
Leverancierspecifieke promptformaten, function-callingschema's en SDK-patronen stapelen zich op tot onzichtbare migratieschuld. Midden in een project van LLM-leverancier wisselen kost engineeringtijd en kalendermaanden, en de afhankelijkheid kan onopgemerkt blijven tot er een uitfaseringsmelding of een prijsverhoging binnenkomt.
Hype versus realiteit
Openbare benchmarks (MMLU, GPQA, HumanEval) meten algemene academische capaciteit. Uw productiebelasting is niet algemeen. Een model dat nr. 1 staat op MMLU kan op uw specifieke taak voor contractextractie of klantenondersteuning op nr. 4 staan. Beslissingen op basis van benchmarks zonder domeinspecifieke pilot stellen geregeld teleur.
De verborgen kosten
API-prijsstelling per token is slechts een deel van de werkelijke uitgaven aan AI-infrastructuur. Egresskosten, rekenkracht voor fine-tuning, compliance-audits, upgrades van ondersteuningsniveaus en migratie-engineering staan niet op de tokenfactuur. Een budget dat alleen tokens dekt, staat bloot aan overschrijdingen naarmate het gebruik groeit.
Drie faalpatronen om u tegen te wapenen
De 8 evaluatiedimensies
Elke selectie van een AI-leverancier moet worden beoordeeld over deze acht dimensies. De standaardgewichten hieronder passen bij een grote onderneming die LLM-infrastructuur uitrolt in een gereguleerde Europese context — pas de gewichten aan op uw specifieke prioriteiten. Een CISO in de zorg weegt beveiliging op 35%. Een start-up in een race naar de markt weegt technische prestaties misschien op 40%.
De gewichten moeten optellen tot 100. Secties 3, 4 en 5 gaan dieper in op de drie zwaarst gewogen dimensies.
Technische prestaties
Modelkwaliteit op uw specifieke taken, latentie, doorvoer en nauwkeurigheid onder realistische omstandigheden.
Beveiliging en compliance
Certificeringen (SOC 2, ISO 27001, HIPAA), dataresidentie, GDPR-houding, afstemming op de EU AI Act.
Totale eigendomskosten
API-prijsstelling, trainingskosten, verborgen kosten, egress, ondersteuningsniveaus en migratie-engineeringkosten.
Ondersteuning en SLA's
Beschikbaarheidsgaranties, reactietijden van de ondersteuning, toegewijde CSM, beschikbaarheid van een enterprise-niveau.
Integratie en ecosysteem
SDK-kwaliteit, frameworkcompatibiliteit (LangChain, LlamaIndex), CI/CD-integratie, documentatie.
Roadmap en stabiliteit van de leverancier
Financiële reserves, releasecadans van modellen, uitfaseringsbeleid, afstemming op uw productroadmap.
Compliance en regelgevingsgeschiktheid
Sectorspecifieke eisen — HIPAA voor de zorg, PCI-DSS voor fintech, risicocategorisering volgens de EU AI Act.
Exitstrategie en portabiliteit
Mechanismen voor data-export, modelportabiliteit, migratiepad, contractuele exitclausules.
Stroomschema van het evaluatieproces
flowchart TD
A([Start: Vendor Evaluation]) --> B[Discovery & Requirements]
B --> B1[Define use case & constraints]
B --> B2[Set must-have criteria]
B --> B3[Identify 15-20 candidate vendors]
B1 & B2 & B3 --> C[Initial Shortlist]
C --> C1[Apply MoSCoW filter]
C1 --> C2{Passes must-haves?}
C2 -- No --> X1[Eliminate]
C2 -- Yes --> D[PoC / Pilot Phase]
D --> D1[Technical benchmark on your data]
D --> D2[Security review & DPA check]
D --> D3[Pricing & TCO modelling]
D1 & D2 & D3 --> E[Weighted Scoring Matrix]
E --> E1[Score top 3 vendors]
E1 --> F[Commercial Negotiation]
F --> F1[SLA terms]
F --> F2[Data processing agreement]
F --> F3[Exit clause negotiation]
F1 & F2 & F3 --> G([Vendor Selected])
style A fill:#1a1a2e,stroke:#7c3aed,color:#e2e8f0
style B fill:#1e293b,stroke:#475569,color:#e2e8f0
style B1 fill:#1e293b,stroke:#475569,color:#e2e8f0
style B2 fill:#1e293b,stroke:#475569,color:#e2e8f0
style B3 fill:#1e293b,stroke:#475569,color:#e2e8f0
style C fill:#1e293b,stroke:#6366f1,color:#e2e8f0
style C1 fill:#1e293b,stroke:#475569,color:#e2e8f0
style C2 fill:#1e1b4b,stroke:#6366f1,color:#e2e8f0
style D fill:#1e293b,stroke:#3b82f6,color:#e2e8f0
style D1 fill:#1e293b,stroke:#475569,color:#e2e8f0
style D2 fill:#1e293b,stroke:#475569,color:#e2e8f0
style D3 fill:#1e293b,stroke:#475569,color:#e2e8f0
style E fill:#1e293b,stroke:#8b5cf6,color:#e2e8f0
style E1 fill:#1e293b,stroke:#475569,color:#e2e8f0
style F fill:#1e293b,stroke:#f59e0b,color:#e2e8f0
style F1 fill:#1e293b,stroke:#475569,color:#e2e8f0
style F2 fill:#1e293b,stroke:#475569,color:#e2e8f0
style F3 fill:#1e293b,stroke:#475569,color:#e2e8f0
style X1 fill:#1f0d0d,stroke:#ef4444,color:#e2e8f0
style G fill:#0d1f12,stroke:#22c55e,color:#e2e8f0Dimensie 1 in detail: Technische prestaties
Standaardgewicht: 25%
De evaluatie van technische prestaties heeft drie onderdelen: benchmarkmethodiek, meting van latentie en doorvoer, en nauwkeurigheidstests op uw specifieke domein. Alle drie moeten worden uitgevoerd voordat u zich vastlegt.
Benchmarkmethodiek
Openbare benchmarks zijn een startpunt, geen beslissingscriterium. MMLU test brede academische kennis. HumanEval test het genereren van Python-code. Geen van beide test uw specifieke taak. Bouw een domeinspecifieke evaluatieset uit echte productiedata voordat u een leveranciervergelijking uitvoert.
Opbouw van de evaluatieset
- 100 tot 500 voorbeelden uit echte productiedata
- Neem randgevallen en bekende faalpatronen op
- Dek makkelijke, gemiddelde en moeilijke moeilijkheidsgraad af
- Neem adversariële prompts op die relevant zijn voor uw use case
- Maak ground-truthlabels met menselijke annotatoren
Nauwkeurigheidsmetrieken per taaktype
- Extractie: F1-score op de nauwkeurigheid van entiteit/waarde
- Classificatie: precisie, recall, F1 per klasse
- Generatie: menselijke evaluatie + ROUGE/BERTScore
- Redeneren: Pass@1 en Pass@3 op logische taken
- Hallucinatiegraad: verificatie van feitelijke beweringen
Latentie- en doorvoermetrieken
Evalueer latentie nooit met één enkele aanvraag. Meet onder realistische gelijktijdige belasting met uw verwachte productieverkeerpatroon. De demolatentie van leveranciers is altijd het beste geval bij één aanvraag.
| Metriek | Wat het meet | Aanvaardbare drempel | Hoe te meten |
|---|---|---|---|
| P50-latentie | Mediane responstijd | < 400 ms voor eenvoudige taken | Belastingstest bij 1x productievolume |
| P95-latentie | 95e percentiel — de ondergrens van de gebruikerservaring | < 1.200 ms voor complexe taken | Belastingstest bij 2x productievolume |
| P99-latentie | Slechtste geval — de slechtste 1% van de gebruikers | < 3.000 ms (SLA-plafond) | Belastingstest bij 3x productievolume |
| Time to First Token | Waargenomen snelheid bij streamingresponsen | < 300 ms bij P95 | Meet TTFT los van de totale latentie |
| Tokens/seconde | Generatiedoorvoer per aanvraag | > 40 tokens/s voor een realtime UX | Aantal tokens / totale generatietijd |
| Capaciteit van de ratelimiet | Maximaal gelijktijdige aanvragen / tokens per minuut | ≥ 2x piekproductievolume | Documentatie bekijken + burstgedrag testen |
Protocol voor nauwkeurigheidstests
- Voer de evaluatieset uit tegen elke leverancier met identieke prompts
- Registreer nauwkeurigheid, latentie en aantal tokens per respons
- Markeer duidelijke hallucinaties of formaatfouten
- Optimaliseer prompts voor elke leverancier afzonderlijk
- Meet de nauwkeurigheidswinst van de optimalisatie
- Documenteer de prompt-engineeringinspanning per leverancier
- Test adversariële invoer en bekende faalpatronen
- Meet de prestaties op documenten met lange context
- Test het gedrag aan de grenzen van het contextvenster
Dimensie 2 in detail: Beveiliging en compliance
Standaardgewicht: 20%
Deze controles moeten vóór de PoC plaatsvinden, niet erna. Een leverancier die de compliancelat niet haalt, wordt uitgesloten, ongeacht de technische prestaties.
SOC 2 Type II
- Type II beslaat een periode van 6 tot 12 maanden (geen momentopname)
- Vraag het volledige rapport op onder NDA — een samenvatting volstaat niet
- Controleer de gedekte Trust Services Criteria: minimaal Security + Availability
- Beoordeel de managementbrief op openstaande uitzonderingen of voorbehouden
- Verifieer de geloofwaardigheid van het auditkantoor (Big 4 of erkend specialist)
ISO 27001
- Verifieer dat het certificaat actueel en niet verlopen is
- Controleer de scope: dekt deze de specifieke diensten die u gaat gebruiken?
- In de cloud gehoste AI-diensten zouden Annex A.17 (bedrijfscontinuïteit) moeten bevatten
- Maak onderscheid tussen ISO 27001-certificering en louter complianceclaims
- Combineer waar relevant met ISO 27017 (cloudbeveiliging) en ISO 27018 (PII in de cloud)
GDPR en gegevensverwerking
- Een ondertekende DPA (verwerkersovereenkomst) is verplicht op grond van art. 28 GDPR
- Beoordeel de lijst met subverwerkers en de goedkeuringsrechten bij wijziging van subverwerkers
- Bevestig de dataresidentie: alleen EU-regio, geen overdracht naar de VS zonder SCC's
- Verifieer de verwijderings-SLA: hoe snel worden gegevens verwijderd bij beëindiging of op verzoek?
- Bevestig dat prompts en uitvoer nooit worden gebruikt voor modeltraining
Afstemming op de EU AI Act
- Classificeer uw AI-use-case volgens de risicocategorieën van de EU AI Act
- Use-cases met hoog risico (HR, krediet, zorg) vereisen conformiteitsbeoordelingen
- Vraag een leveranciersverklaring over de GPAI-modelverplichtingen (transparantie, auteursrecht)
- Verifieer dat de leverancier technische documentatie bijhoudt conform art. 53
- Controleer het standpunt van de leverancier over de meldplicht bij incidenten op grond van art. 62
Opties voor dataresidentie per grote leverancier
| Leverancier | EU-regio | Kunnen gegevens in de EU blijven? | Self-hostingoptie | DPA beschikbaar |
|---|---|---|---|---|
| OpenAI (direct) | Ja, voor klanten die in aanmerking komen (regio Europa) | Hangt af van abonnement en configuratie. Een project met de regio Europa slaat klantinhoud daar op en verwerkt die daar; systeemgegevens vallen erbuiten. | Nee | Ja (Enterprise) |
| OpenAI via Azure | Ja (EU-regio's en een EU Data Zone) | Ja met een regionale implementatie (EU-geografie) of EU Data Zone. Niet met Global-implementaties of Batch. | Nee | Ja (Azure DPA) |
| Anthropic (direct) | Niet beschikbaar | Nee. Gegevens worden in de VS opgeslagen; inferentie draait in de VS of wereldwijd. | Nee | Ja (Enterprise) |
| Anthropic via Bedrock | Ja (EU-regio's) | Ja met een geografisch EU-inferentieprofiel. Niet met een globaal profiel. | Nee | Ja (AWS DPA) |
| Mistral (direct) | Ja (standaard EU) | Standaard. Sommige functies dragen gegevens tijdelijk over buiten de EU, en het Amerikaanse eindpunt host gegevens in de VS. | Open gewichten | Ja (standaard) |
| Google Vertex AI | Ja (EU-regio's en een EU-multiregio) | Ja met een regionaal of EU-multiregionaal eindpunt. Niet met het globale eindpunt. | Nee | Ja (GCP DPA) |
De kolommen 'EU-regio' en 'Kunnen gegevens in de EU blijven?' zijn op 10 oktober 2026 gecontroleerd aan de hand van de openbare documentatie van elke leverancier; de andere kolommen zijn op die datum niet opnieuw gecontroleerd. Het aanbod verandert. Een regio-optie is geen garantie dat geen gegevens, telemetrie of supporttoegang de EU verlaten. Laat verwerkingsregio, opslag, subverwerkers en supporttoegang bevestigen in het contract en in de actuele DPA van de leverancier.
Dimensie 3 in detail: Totale eigendomskosten
Standaardgewicht: 15%
TCO-modellering voor AI-leveranciers kent 5 kostencategorieën. Een budget dat alleen categorie 1 dekt, laat de andere vier buiten beschouwing. Bouw een model over 3 jaar voordat u zich vastlegt.
API- en inferentiekosten
- Prijs van invoertokens × geprojecteerd maandelijks volume aan invoertokens
- Prijs van uitvoertokens × geprojecteerd maandelijks volume aan uitvoertokens
- Volumekortingsniveaus — modelleer bij elke prijsschaal
- Afweging tussen toegezegd gebruik en betalen-naar-gebruik bij uw geprojecteerde volume
- Kosten voor het verhogen van de ratelimiet als u toegewijde doorvoer nodig hebt
De zichtbaarste categorie. Een budget dat hier stopt, is onvolledig.
Training en aanpassing
- Rekenkracht voor fine-tuning: kosten van een trainingsrun per epoch × aantal verwachte runs
- Inferentie na fine-tuning: vergelijk het tarief van de leverancier voor fijngestelde modellen met dat van de inferentie van het basismodel
- Rekenkracht voor evaluatie: het uitvoeren van uw evaluatiesuite bij elke modelversie-update
- Kosten voor het opnieuw indexeren van embeddings bij het wisselen of bijwerken van embeddingmodellen
- Datavoorbereiding en -labeling voor trainingssets
Alleen van toepassing als u fine-tuning gebruikt. Schat deze post op basis van uw eigen geplande trainingsruns en de tarieven van de leverancier.
Operationele overhead
- Engineeringtijd voor SDK-integratie, prompt-engineering en onderhoud
- Tooling voor monitoring en observability (LangSmith, Langfuse, Datadog LLM)
- Replicatie over meerdere regio's voor latentie- of failoververeisten
- Abonnementskosten van het ondersteuningsniveau voor een enterprise-SLA
- Juridische toetsing van wijzigingen in de gebruiksvoorwaarden, telkens wanneer de leverancier ze bijwerkt
Groeit mee met de volwassenheid van de implementatie. Schat deze post op basis van uw eigen engineering- en toolingkosten.
Compliance en beveiliging
- SOC 2-overbruggingsbrieven en beoordelingen door derden
- Juridische toetsing van de GDPR-DPA en jaarlijkse herbeoordeling
- Kosten voor penetratietests en beveiligingsbeoordelingen
- Infrastructuur voor auditlogging en opslag voor bewaring
- Toeslag voor dataresidentie (indien van toepassing)
Eenmalige en jaarlijks terugkerende kosten. Budgetteer ze in een gereguleerde sector op basis van uw eigen offertes voor audits en juridisch advies.
Migratie- en exitkosten
- Engineeringtijd om prompts en adapters te herschrijven bij een leverancierwissel
- Regressietests tegen uw evaluatiesuite na de migratie
- Kosten voor parallel draaien tijdens de migratieperiode (2 leveranciers tegelijk)
- Het opnieuw embedden van het hele corpus bij het wisselen van embeddingleverancier
- Uitvalrisico en omzetimpact tijdens het migratievenster
Een categorie die gemakkelijk wordt onderschat. Bepaal de migratie-inspanning voor uw eigen codebase voordat u zich vastlegt, niet pas wanneer u moet wisselen.
Beslissingskader: zelf bouwen, kopen of samenwerken
Kopen (SaaS-API)
- Time-to-market heeft de hoogste prioriteit
- Het team mist expertise in ML-infrastructuur
- Het volume is minder dan 5.000 $/maand aan API-kosten
- De use case is standaard (samenvatting, classificatie)
- Leverancier-lock-in en prijswijzigingen bij schaal
- Gegevens verlaten uw perimeter
- Beperkte aanpassing voor domeinspecifieke taken
Bouwen (open source zelf hosten)
- Het volume overschrijdt 10.000 $/maand aan API-kosten
- Datasoevereiniteit is niet onderhandelbaar
- Behoefte aan diepgaande aanpassing en controle over fine-tuning
- Het team beschikt over ML-infrastructuur en DevOps-capaciteit
- Hoge operationele overhead en verantwoordelijkheid voor betrouwbaarheid
- GPU-investeringen (capex) of huurkosten
- Last van model-updates en beveiligingspatches komt op uw team te liggen
Samenwerken (cloud-AI-platform)
- Al sterk geïnvesteerd in AWS, Azure of GCP
- Behoefte aan enterprise-compliance met bestaande cloudovereenkomsten
- Modelvariatie gewenst zonder meerdere leveranciersrelaties te beheren
- Behoefte aan beheerde tooling voor fine-tuning en evaluatie
- Cloudplatform-lock-in bovenop model-lock-in
- Modelbeschikbaarheid loopt achter op de API's van directe leveranciers
- Complexe prijsstelling met meerdere dimensies (tokens + rekenkracht + opslag)
Het sjabloon voor de scoringsmatrix
Een uitgewerkt voorbeeld dat vier leveranciers vergelijkt voor een LLM-implementatie bij een Europese grote onderneming. Scoor elke leverancier 1 tot 10 per dimensie, vermenigvuldig met het dimensiegewicht en tel op voor het gewogen totaal.
| Dimensie | Gewicht | Leverancier AAmerikaanse hyperscaler | Leverancier BCloudplatform | Leverancier CEU-native | Leverancier DOpen-sourcehoster |
|---|---|---|---|---|---|
| Technische prestaties | 25% | 9/10(22.5) | 8/10(20.0) | 7/10(17.5) | 6/10(15.0) |
| Beveiliging en compliance | 20% | 5/10(10.0) | 8/10(16.0) | 10/10(20.0) | 7/10(14.0) |
| Totale eigendomskosten | 15% | 6/10(9.0) | 7/10(10.5) | 8/10(12.0) | 9/10(13.5) |
| Ondersteuning en SLA's | 10% | 8/10(8.0) | 9/10(9.0) | 6/10(6.0) | 5/10(5.0) |
| Integratie en ecosysteem | 10% | 9/10(9.0) | 7/10(7.0) | 6/10(6.0) | 5/10(5.0) |
| Roadmap en stabiliteit van de leverancier | 10% | 8/10(8.0) | 7/10(7.0) | 9/10(9.0) | 6/10(6.0) |
| Compliance en regelgevingsgeschiktheid | 5% | 4/10(2.0) | 7/10(3.5) | 10/10(5.0) | 8/10(4.0) |
| Exitstrategie en portabiliteit | 5% | 4/10(2.0) | 6/10(3.0) | 9/10(4.5) | 8/10(4.0) |
| Gewogen totaal | 100% | 70.5 | 76.0 | 80.0Winnaar | 66.5 |
De resultaten lezen
Leverancier C (EU-native) wint ondanks lagere scores op technische prestaties en integratie. De zware weging van beveiliging en compliance (20%) en regelgevingsgeschiktheid (5%) weerspiegelt de enterprisecontext. Een start-up zonder compliance-eisen zou een andere winnaar zien.
Beslissingsregel bij gelijke stand: Als twee leveranciers minder dan 5 punten van elkaar verwijderd zijn, voer dan een parallelle pilot van 2 weken uit op verkeer op productieschaal. De matrix versmalt het veld — echte data over uw belasting hakt de knoop door.
Gewichtsaanpassing: Laat vóór het scoren uw belangrijkste stakeholders (CTO, CISO, CFO, DPO) de gewichten onafhankelijk toekennen en neem vervolgens het gemiddelde of onderhandel. Verschillende gewichten leveren verschillende winnaars op — het gesprek over de weging is even belangrijk als het scoren.
RFP-sjabloon: 25 vragen om elke leverancier te sturen
Stuur deze vragen vóór een pilot naar elke leverancier die u overweegt. Leveranciers die weigeren te antwoorden of vaag antwoorden, signaleren problemen. Eis schriftelijke antwoorden — mondelinge antwoorden van een sales engineer zijn contractueel niet bindend.
Technische prestaties
- 1Wat zijn uw gepubliceerde latentiedoelen voor P50, P95 en P99 voor onze verwachte aanvraaggrootte?
- 2Welke doorvoer (tokens/seconde) kunt u garanderen op een toegewijd niveau versus gedeelde capaciteit?
- 3Hoe gaat u om met latentieverslechtering bij piekvraag? Werpt u belasting af of plaatst u aanvragen in een wachtrij?
- 4Wat is uw methodiek voor het nauwkeurigheidsbenchmark van het model en hoe valideert u die op domeinspecifieke data?
- 5Wat is uw proces voor het communiceren van model-updates die het uitvoergedrag kunnen veranderen?
Beveiliging en compliance
- 6Kunt u uw huidige SOC 2 Type II-rapport verstrekken onder NDA?
- 7Beschikt u over een ISO 27001-certificaat? Zo ja, welke scope dekt het?
- 8Wat zijn uw beleidsregels voor bewaring en verwijdering van API-aanroeplogs, promptdata en modeluitvoer?
- 9Biedt u een verwerkersovereenkomst (DPA) die voldoet aan artikel 28 GDPR?
- 10Kunt u schriftelijk bevestigen dat onze prompts en uitvoer nooit zonder uitdrukkelijke opt-in voor modeltraining worden gebruikt?
- 11Welke opties voor EU-dataresidentie biedt u en in welke regio's?
Prijsstelling en commerciële voorwaarden
- 12Wat is uw volledige prijsstructuur inclusief invoertokens, uitvoertokens, fine-tuning en opslag?
- 13Zijn er volumekortingen beschikbaar? Vanaf welk niveau en hoe is het contract voor toegezegd gebruik gestructureerd?
- 14Wat gebeurt er met de prijsstelling als we ons toegezegde volume in een bepaalde maand overschrijden?
- 15Zijn er egress-, dataoverdracht- of API-gatewaykosten die niet in de prijs per token zijn inbegrepen?
- 16Wat zijn de voorwaarden voor enterprise-ondersteuningsniveaus en wat omvat elk daarvan?
Operationeel en integratie
- 17Wat is uw SLA voor API-beschikbaarheid? Hoe berekent en crediteert u uitvaltijd?
- 18Hoe gaat u om met verhogingen van de ratelimiet bij pieken in productieverkeer?
- 19Welke observability en logging stelt u beschikbaar aan klanten (tokengebruik, foutpercentages, latentie)?
- 20Biedt u een staging-/sandboxomgeving voor tests die het productiegedrag weerspiegelt?
- 21Welke SDK's ondersteunt u officieel en wat is uw uitfaseringsproces voor SDK-versies?
Strategisch en exit
- 22Wat is uw roadmap voor de komende 12 tot 18 maanden? Welke modelmogelijkheden zijn gepland?
- 23Wat is de minimale opzegtermijn voordat een modelversie die wij in productie gebruiken, wordt uitgefaseerd?
- 24Hoe kunnen we de gewichten van ons fijngestelde model of de adapterlagen exporteren als we besluiten te vertrekken?
- 25Wat is het contractuele proces om de overeenkomst voortijdig te beëindigen en welke garanties voor dataverwijdering gelden?
- 26Kunt u referenties verstrekken van klanten in onze sector of met vergelijkbare compliance-eisen?
Hoe u deze vragen gebruikt
Waarschuwingssignalen: 12 tekenen dat een leverancier u zal teleurstellen
Dit zijn waarneembare signalen die wijzen op een risico van productiestoringen, complianceproblemen of verslechtering van de relatie. Kritieke signalen zijn harde stops — ga niet verder. Hoge signalen vereisen diepgaand onderzoek. Gemiddelde signalen zijn waarschuwingen om contractueel te beheren.
| Nr. | Waarschuwingssignaal | Ernst | Wat het signaleert |
|---|---|---|---|
| 1 | Geen openbare statuspagina of historische beschikbaarheidsgegevens | Kritiek | De leverancier heeft iets te verbergen over betrouwbaarheid. Elke serieuze productieleverancier publiceert een incidenthistorie. |
| 2 | Opt-out van training vereist een juridische toetsing, geen schakelaar in de UI | Kritiek | Uw eigen prompts en bedrijfsgegevens worden waarschijnlijk gebruikt voor modeltraining. Niet onderhandelbaar voor een onderneming. |
| 3 | Geen SOC 2 Type II-rapport beschikbaar (alleen Type I) | Kritiek | Type I is een momentopname zonder bewijs van blijvende beheersmaatregelen. Type II beslaat een operationele periode van 6 tot 12 maanden. |
| 4 | GDPR-/DPA-documentatie vereist een sales-escalatie | Kritiek | Een DPA zou self-service of standaard moeten zijn. Escalatie-eisen wijzen op juridische onvolwassenheid of bewuste wrijving. |
| 5 | Prijsstelling vereist een salesgesprek voor informatie over het basisniveau | Hoog | Verborgen prijzen betekenen meestal dat ze variëren op basis van het waargenomen budget, wat uw kostenprognose onvoorspelbaar maakt. |
| 6 | Opzegtermijn voor modeluitfasering korter dan 6 maanden | Hoog | Productiesystemen kunnen niet veilig in minder dan 6 maanden migreren. Korte uitfaseringsvensters maken engineeringplannen onmogelijk. |
| 7 | Geen self-hosting- of VPC-implementatieoptie voor het enterprise-niveau | Hoog | Voor gereguleerde sectoren of zeer gevoelige data is gedeelde tenancy vaak onaanvaardbaar. Geen self-hosting = geen deal. |
| 8 | De SDK is een dunne REST-wrapper zonder retry-/backofflogica | Hoog | Een indicator van engineeringvolwassenheid. Productiewaardige SDK's verzorgen retries, streaming, backoff bij ratelimieten en foutclassificatie. |
| 9 | Ratelimieten niet gedocumenteerd of gewijzigd zonder voorafgaande kennisgeving | Gemiddeld | Ongedocumenteerde of volatiele ratelimieten maken capaciteitsplanning onmogelijk en veroorzaken onverwachte productiestoringen. |
| 10 | Geen schriftelijke toezegging over dataresidentie | Gemiddeld | Mondelinge toezeggingen zijn niet afdwingbaar. Eisen voor dataresidentie moeten in de DPA of het MSA staan, niet in een salespresentatie. |
| 11 | Bedrijf minder dan 18 maanden geleden opgericht zonder referentieerbare enterprise-klanten | Gemiddeld | Leveranciers in een vroege fase kunnen pivoteren, zonder financiering komen te zitten of worden overgenomen. Voor een AI-productie-infrastructuur telt levensduur. |
| 12 | Geen exitclausule of garantie voor dataverwijdering in het standaardcontract | Gemiddeld | Wat gebeurt er met uw data en fijngestelde modellen wanneer u vertrekt? Als het contract zwijgt, ga dan uit van het ergste. |
Harde stop. Sluit de leverancier onmiddellijk uit, tenzij u contractueel herstel kunt verkrijgen.
Vereisen een gedetailleerd onderzoek en een schriftelijk mitigatieplan voordat u verdergaat.
Waarschuwingssignaal. Beheer via contractuele bescherming of een gedocumenteerde risicoacceptatie.
Selectieproces: van 20 leveranciers naar 3 finalisten in 2 weken
Leveranciersevaluaties lopen vast wanneer teams te veel opties tegelijk proberen te beoordelen. Dit proces van 2 weken gebruikt progressieve eliminatie om efficiënt tot 3 gekwalificeerde finalisten te komen, en bespaart de PoC-inspanning voor de leveranciers die het echt verdienen.
Verkenning
Werp een breed net uit: 15 tot 20 leveranciers
MoSCoW-filter
Pas harde must-have-criteria toe
Bureauonderzoek
Diepgaande analyse van de resterende 6 tot 8 leveranciers
Demo en technisch gesprek
Gesprek van 30 min met elke leverancier, stel de 25 RFP-vragen
Scoren en shortlist
Pas de gewogen scoringsmatrix toe op de top 3 tot 4 leveranciers
Criteria van het MoSCoW-filter
Pas deze toe als binaire slagen/zakken-poorten. Elke leverancier die een Must Have niet haalt, wordt onmiddellijk uitgesloten — zonder uitzonderingen.
Must Have (elk falen = uitsluiten)
- SOC 2 Type II-rapport beschikbaar
- GDPR-conforme DPA beschikbaar
- EU-dataresidentie (indien vereist door uw DPO)
- Gepubliceerde prijzen (geen sales-gated basisniveaus)
- Beschikbaarheids-SLA ≥ 99,9% in het contract
- Opt-out van training als standaard accountinstelling
Should Have (hoger scoren, niet uitsluiten)
- ISO 27001-certificaat
- Toegewijd enterprise-ondersteuningsniveau
- Self-hosting- of VPC-implementatieoptie
- Ondersteuning voor fine-tuning en aanpassing
- Beschikbaarheid over meerdere regio's
- Modelportabiliteit en -export
Na de selectie: leveranciersbeheer en SLA-monitoring
Een leverancier selecteren is het begin, niet het einde. Leveranciersrelaties verslechteren zonder actief beheer. Behandel leveranciersbeheer als een doorlopende discipline met een regelmatige cadans, gedocumenteerde SLA-opvolging en duidelijke escalatiepaden.
SLA-monitoringdashboard: kernmetrieken
| Metriek | SLA-doel | Meting | Escalatietrigger |
|---|---|---|---|
| API-beschikbaarheid | ≥ 99,9% per maand | Synthetische monitoring elke 60 s vanuit de EU-regio | P1-incident als de uitvaltijd > 15 minuten bedraagt |
| P95-latentie | < 800 ms voor standaardaanvragen | 95e percentiel van de responstijden over een voortschrijdend venster van 24 uur | Alarm als P95 langer dan 5 minuten 1.200 ms overschrijdt |
| Foutpercentage | < 0,5% 5xx-fouten per uur | Foutpercentage over alle API-eindpunten, exclusief clientfouten | Escaleer naar de leverancier als > 1% gedurende twee opeenvolgende uren |
| Marge op de ratelimiet | ≥ 30% vrije capaciteit ten opzichte van de contractuele limieten | Dagelijks piekgebruik ten opzichte van het contractuele plafond van de ratelimiet | Vraag een limietverhoging aan wanneer de marge gedurende 5 opeenvolgende dagen < 20% is |
| Kosten per 1.000 API-aanroepen | Binnen 10% van de gemodelleerde basis | Voortschrijdend gemiddelde over 7 dagen ten opzichte van het oorspronkelijke TCO-model | Beoordeel en heronderhandel bij aanhoudend > 20% boven de basis |
| Driemaandelijkse business review | Om de 90 dagen gehouden | Update van de leveranciersroadmap, incidentbeoordeling, prijsbeoordeling, SLA-compliancerapport | Activeer een formele prestatiebeoordeling als een kritieke SLA niet wordt gehaald |
Cadans van het leveranciersbeheer
Checklist voor contractverlenging
Begin 3 maanden vóór de contractverlenging. Dit is uw hefboomvenster.
- Voer de gewogen scoringsmatrix opnieuw uit met marktdata van het lopende jaar
- Vraag een bijgewerkt SOC 2 Type II-rapport op
- Benchmark 2 tot 3 alternatieve leveranciers om een onderhandelingspositie op te bouwen
- Beoordeel de uitfaseringsmeldingen van de leverancier — lopen modellen waarvan u afhankelijk bent risico?
- Bereken de volledige TCO over de afgelopen 12 maanden ten opzichte van het oorspronkelijke model
- Beoordeel de DPA op eventuele wijzigingen in de voorwaarden in de afgelopen 12 maanden
- Onderhandel: volumetoezeggingen voor betere prijzen, een beter SLA, langere opzegtermijnen
- Werk de exitclausule bij: zorg dat de SLA voor dataverwijdering en de rechten op modelportabiliteit actueel zijn
Strategie voor multi-leverancierabstractie
Een effectieve manier om leverancier-lock-in te verminderen, is uw LLM-aanroepen vanaf dag één te abstraheren achter een routinglaag. Het is een kleine engineeringinvestering vooraf die het latere migratierisico verlaagt.
Open-sourceroutingopties
- LiteLLM — uniforme API voor veel leveranciers
- Portkey — gateway met observability en fallbacks
- OpenRouter — marktplaatsrouting met kostenoptimalisatie
- Eigen abstractielaag met leveranciersinterface
Wat abstractie u oplevert
- Wissel van hoofdleverancier zonder de applicatiecode te herschrijven
- Voer automatisch een fallback-leverancier uit bij een ratelimiet of uitval
- A/B-test twee leveranciers op live verkeer
- Route dynamisch op kosten versus kwaliteit op het moment van de aanvraag
Hulp nodig bij het uitvoeren van uw AI-leveranciersevaluatie?
Ik kan u helpen een gestructureerde leveranciersevaluatie uit te voeren — van de definitie van de eisen via het PoC-ontwerp en het scoren tot de contractonderhandeling — met een objectief, gedocumenteerd kader.
Gerelateerde bronnen
Gids voor kostenoptimalisatie van LLM
Verlaag de LLM-inferentiekosten door model-routing, caching en fine-tuning
Playbook voor AI-beveiliging en red-teaming
Bescherm uw AI-systemen tegen prompt-injection en modelaanvallen
Gids voor compliance met de EU AI Act
Navigeer door de regelgevingseisen voor AI-systemen in Europa