Matrix zur Auswahl von KI-Anbietern und -Modellen

Warum die Auswahl von KI-Anbietern scheitert — das Muster des 2-Mio.-Dollar-Fehlers

Die 8 Bewertungsdimensionen

Jede Auswahl eines KI-Anbieters sollte über diese acht Dimensionen bewertet werden. Die folgenden Standardgewichtungen eignen sich für ein Großunternehmen, das LLM-Infrastruktur in einem regulierten europäischen Kontext einsetzt — passen Sie die Gewichtungen an Ihre spezifischen Prioritäten an. Ein CISO im Gesundheitswesen wird die Sicherheit mit 35 % gewichten. Ein Start-up im Wettlauf um den Markt gewichtet die technische Leistung vielleicht mit 40 %.

Die Gewichtungen müssen sich auf 100 summieren. Die Abschnitte 3, 4 und 5 vertiefen die drei am stärksten gewichteten Dimensionen.

flowchart TD
    A([Start: Vendor Evaluation]) --> B[Discovery & Requirements]
    B --> B1[Define use case & constraints]
    B --> B2[Set must-have criteria]
    B --> B3[Identify 15-20 candidate vendors]
    B1 & B2 & B3 --> C[Initial Shortlist]
    C --> C1[Apply MoSCoW filter]
    C1 --> C2{Passes must-haves?}
    C2 -- No --> X1[Eliminate]
    C2 -- Yes --> D[PoC / Pilot Phase]
    D --> D1[Technical benchmark on your data]
    D --> D2[Security review & DPA check]
    D --> D3[Pricing & TCO modelling]
    D1 & D2 & D3 --> E[Weighted Scoring Matrix]
    E --> E1[Score top 3 vendors]
    E1 --> F[Commercial Negotiation]
    F --> F1[SLA terms]
    F --> F2[Data processing agreement]
    F --> F3[Exit clause negotiation]
    F1 & F2 & F3 --> G([Vendor Selected])
    style A fill:#1a1a2e,stroke:#7c3aed,color:#e2e8f0
    style B fill:#1e293b,stroke:#475569,color:#e2e8f0
    style B1 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style B2 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style B3 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style C fill:#1e293b,stroke:#6366f1,color:#e2e8f0
    style C1 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style C2 fill:#1e1b4b,stroke:#6366f1,color:#e2e8f0
    style D fill:#1e293b,stroke:#3b82f6,color:#e2e8f0
    style D1 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style D2 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style D3 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style E fill:#1e293b,stroke:#8b5cf6,color:#e2e8f0
    style E1 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style F fill:#1e293b,stroke:#f59e0b,color:#e2e8f0
    style F1 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style F2 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style F3 fill:#1e293b,stroke:#475569,color:#e2e8f0
    style X1 fill:#1f0d0d,stroke:#ef4444,color:#e2e8f0
    style G fill:#0d1f12,stroke:#22c55e,color:#e2e8f0

Dimension 1 im Detail: Technische Leistung

Standardgewichtung: 25 %

Die Bewertung der technischen Leistung hat drei Komponenten: Benchmark-Methodik, Messung von Latenz und Durchsatz sowie Genauigkeitstests in Ihrer spezifischen Domäne. Alle drei müssen vor einer Festlegung durchgeführt werden.

Dimension 2 im Detail: Sicherheit und Compliance

Standardgewichtung: 20 %

Sicherheit und Compliance sind der häufigste Grund, warum die Auswahl eines KI-Anbieters nach der Festlegung scheitert. Diese Prüfungen müssen vor dem PoC erfolgen, nicht danach. Ein Anbieter, der die Compliance-Hürde nicht nimmt, wird unabhängig von der technischen Leistung ausgeschlossen.

Dimension 3 im Detail: Gesamtbetriebskosten

Standardgewichtung: 15 %

Die TCO-Modellierung für KI-Anbieter umfasst 5 Kostenkategorien. Die meisten Teams budgetieren nur Kategorie 1. Das Gesamtbild liegt in der Regel beim 2- bis 3-Fachen der ursprünglichen Schätzungen. Erstellen Sie vor einer Festlegung ein Modell über 3 Jahre.

Die Vorlage für die Bewertungsmatrix

Ein durchgerechnetes Beispiel, das vier Anbieter für eine LLM-Bereitstellung in einem europäischen Großunternehmen vergleicht. Bewerten Sie jeden Anbieter je Dimension mit 1 bis 10, multiplizieren Sie mit der Dimensionsgewichtung und summieren Sie zum gewichteten Gesamtwert.

RFP-Vorlage: 25 Fragen, die Sie jedem Anbieter senden sollten

Senden Sie diese Fragen vor einem Pilotbetrieb an jeden in Betracht gezogenen Anbieter. Anbieter, die eine Antwort verweigern oder vage antworten, signalisieren Probleme. Verlangen Sie schriftliche Antworten — mündliche Antworten eines Vertriebsingenieurs sind vertraglich nicht bindend.

Warnsignale: 12 Anzeichen, dass ein Anbieter Sie enttäuschen wird

Dies sind beobachtbare Signale, die stark mit Produktionsausfällen, Compliance-Problemen oder einer Verschlechterung der Beziehung korrelieren. Kritische Signale sind harte Stopps — fahren Sie nicht fort. Hohe Signale erfordern eine eingehende Untersuchung. Mittlere Signale sind Warnhinweise, die vertraglich zu steuern sind.

Auswahlprozess: von 20 Anbietern auf 3 Finalisten in 2 Wochen

Die meisten Anbieterbewertungen geraten ins Stocken, weil Teams zu viele Optionen parallel bewerten wollen. Dieser 2-wöchige Prozess nutzt eine schrittweise Ausscheidung, um effizient zu 3 qualifizierten Finalisten zu gelangen und den PoC-Aufwand für die Anbieter aufzusparen, die ihn wirklich verdienen.

Fallstudie: Wie eine europäische Bank ihren LLM-Anbieter ausgewählt hat

3-monatiger Prozess • 12 Anbieter bewertet • Entscheidungsbegründung dokumentiert

Eine paneuropäische Privatkundenbank mit Geschäft in 7 Ländern benötigte einen LLM-Anbieter für die interne Dokumentensuche und Vertragsanalyse. Mit 52.000 Dokumenten, PII-lastigen Inhalten und regulatorischen Anforderungen über mehrere Rechtsräume hinweg stand viel auf dem Spiel. So führte sie die Bewertung durch.

Nach der Auswahl: Anbietermanagement und SLA-Überwachung

Die Auswahl eines Anbieters ist der Anfang, nicht das Ende. Anbieterbeziehungen verschlechtern sich ohne aktives Management. Die Teams mit den besten Ergebnissen behandeln das Anbietermanagement als fortlaufende Disziplin mit regelmäßigem Rhythmus, dokumentierter SLA-Verfolgung und klaren Eskalationswegen.