AI-Forschung entschlüsselt: Die nächste Welle der agentischen KI — Vom Suchen zum Handeln

Die Forschung der vergangenen Woche signalisiert einen entscheidenden Wandel in der Unternehmens-KI: agentische Systeme sind nicht länger auf Chat-Schnittstellen oder statische Abfragen beschränkt. Stattdessen lernen sie, mit Rohdaten zu interagieren, sich an physische Umgebungen anzupassen und multimodale Workflows zu orchestrieren — sie entwickeln sich von semantischer Abstraktion hin zu direkter, fundierter Ausführung. Für europäische CTOs erfordert diese Evolution ein Umdenken des Physical AI Stacks, von der Wahrnehmung (SENSE) bis zur Ausführung (ACT) und der Überwachung und Koordination dieser Ebenen (ORCHESTRATE).

Von Retrieval-APIs zu Rohdaten: Warum Ihr Such-Stack überdacht werden muss

Die Studie Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction stellt eine zentrale Annahme im Unternehmenssuchbereich infrage: dass Retrieval hinter einer festen Ähnlichkeitsschnittstelle abstrahiert werden sollte. Die Autoren schlagen einen alternativen Ansatz vor, bei dem agentische Systeme direkt mit Rohkorpora über Terminal-Tools (z. B. grep, Dateizugriffe, Shell-Skripte) interagieren, anstatt sich ausschließlich auf vorindizierte Vektordatenbanken oder semantische Retriever zu verlassen.

Warum dies für CTOs relevant ist:

• Potenzial für agentische Workflows: Die direkte Interaktion mit Korpora (Direct Corpus Interaction, DCI) bietet einen innovativen Ansatz für agentische Systeme, die planen, schlussfolgern und Anpassungen vornehmen. Durch den direkten Zugriff auf Rohdaten könnte DCI mehr Flexibilität bieten, wie Agenten Hypothesen erkunden und verfeinern — Fähigkeiten, die für Aufgaben wie Compliance-Audits oder Lieferkettenanalysen wertvoll sein könnten.
• Kosten- und Souveränitätsaspekte: DCI könnte die Abhängigkeit von teuren Vektorindexierungs-Pipelines verringern, was potenziell Cloud-Kosten senkt und den Anforderungen an die EU-Datensouveränität entspricht (z. B. DSGVO, EU AI Act). Da keine Embeddings gespeichert werden, können sensible Daten innerhalb Ihrer Infrastruktur verbleiben.
• Implementierungsüberlegungen: Die Studie führt einen konzeptionellen Wandel ein, der in Zukunft Implementierungsvorteile bieten könnte, doch weitere Forschung ist erforderlich, um die Praxistauglichkeit in Unternehmensumgebungen zu validieren. Early Adopter sollten DCI in kontrollierten Umgebungen pilotieren, um die Machbarkeit zu bewerten.
• Risiko: Der direkte Zugriff auf Rohdaten über Terminal-Tools birgt Sicherheitsrisiken (z. B. Shell-Injection) und potenzielle Performance-Engpässe bei großen Korpora. Minimieren Sie dies durch Sandboxing der Agentenausführung und die Kombination von DCI mit leichtgewichtigen semantischen Filtern für eine Vorfilterung mit hoher Trefferquote.

Zusammenhang mit dem Physical AI Stack:

• SENSE: DCI definiert Wahrnehmung neu — Agenten fragen nicht mehr passiv einen vorverarbeiteten Index ab, sondern erkunden Rohdaten als dynamische, unstrukturierte Umgebung aktiv.
• REASON: Die Fähigkeit, Pläne basierend auf Teilerkenntnissen anzupassen (z. B. "Suche nach Fehlerprotokollen, dann prüfe benachbarte Zeitstempel"), könnte flexibleres Schlussfolgern in agentischen Workflows ermöglichen.
• ORCHESTRATE: Die Koordination von Workflows könnte komplexer werden, da Agenten die Tool-Ausführung, Fehlerbehandlung und Hypothesenverfolgung managen müssen. Investitionen in Agentenüberwachung und Erklärbarkeitstools könnten erforderlich sein.

Long-Context LLMs: Die versteckten Kosten von "Global Attention"

Die Studie MiA-Signature: Approximating Global Activation for Long-Context Understanding adressiert eine zentrale Einschränkung von Long-Context LLMs: den Zielkonflikt zwischen globaler Aktivierung (der vollständigen Menge an Konzepten, die durch eine Abfrage ausgelöst werden) und berechenbarer Handhabbarkeit. Inspiriert von der Kognitionswissenschaft schlagen die Autoren Mindscape Activation Signature (MiA-Signature) vor, eine komprimierte Darstellung des globalen Aktivierungsmusters, die das nachgelagerte Schlussfolgern steuert, ohne eine vollständige Aufmerksamkeit über den gesamten Kontext zu erfordern.

Warum dies für CTOs relevant ist:

• Potenzielle Kosteneffizienz: Long-Context-Modelle (z. B. 1M+ Tokens) sind für die meisten Unternehmen unerschwinglich teuer. MiA-Signature wird als Methode vorgeschlagen, um globale Aktivierung für das Verständnis langer Kontexte zu approximieren, mit potenziellen rechnerischen Vorteilen. Allerdings ist weitere Forschung nötig, um die Vorteile in Bezug auf Kosten und Performance zu quantifizieren.
• Implementierungsüberlegungen: Die Methode ist modellunabhängig und könnte mit minimalen Änderungen in bestehende RAG- oder agentische Pipelines integriert werden. Sie könnte besonders wertvoll für EU-Unternehmen sein, die mit mehrsprachigen oder domänenspezifischen Dokumenten (z. B. juristische, medizinische oder technische Handbücher) arbeiten, bei denen Long-Context-Verständnis entscheidend, aber kostspielig ist.
• Risiko: Komprimierung geht zwangsläufig mit Informationsverlust einher. Bei Aufgaben, die exakte Wiedergabe erfordern (z. B. Extraktion von Vertragsklauseln), könnte MiA-Signature Fehler einführen. Testen Sie die Methode zunächst bei Anwendungsfällen mit hoher Fehlertoleranz (z. B. Zusammenfassungen, Brainstorming), bevor Sie sie in geschäftskritischen Workflows einsetzen.
• Wettbewerbsrelevanz: MiA-Signature könnte Kosteneffizienz für Long-Context-Schlussfolgern bieten, doch Unternehmen sollten die Performance gegen ihre spezifischen Anwendungsfälle validieren, bevor sie Vorteile gegenüber Brute-Force-Ansätzen annehmen.

Zusammenhang mit dem Physical AI Stack:

• COMPUTE: MiA-Signature könnte den Speicher- und Rechenbedarf von Long-Context-Schlussfolgern reduzieren und so den Einsatz auf Edge-Geräten oder kleineren Cloud-Instanzen ermöglichen.
• REASON: Die Methode modelliert explizit den globalen Einfluss des Kontexts auf das Schlussfolgern — ein Schritt hin zu kognitiven Architekturen, die menschlichem Denken ähnlicher sind.
• ORCHESTRATE: In Multi-Agenten-Systemen könnten MiA-Signatures als gemeinsame "Arbeitsspeicher" für Agenten dienen, die an komplexen Aufgaben zusammenarbeiten.

Audio-Visuelle KI: Das fehlende Puzzleteil in Ihrer Multimodal-Strategie

Die Übersichtsarbeit Audio-Visual Intelligence in Large Foundation Models bietet eine Taxonomie der Audio-Visuellen Intelligenz (AVI) im Kontext großer Foundation-Modelle. Sie behandelt die gemeinsame Modellierung von Audio und Vision und umfasst Anwendungen wie Spracherkennung, Soundlokalisierung sowie multimodale Wahrnehmung und Generierung.

Warum dies für CTOs relevant ist:

• Unerschlossene Anwendungsfälle: AVI ist nicht mehr nur für Medienunternehmen relevant. Europäische Unternehmen aus den Bereichen Fertigung (z. B. vorausschauende Wartung durch Geräuschanomalien), Gesundheitswesen (z. B. Patientenüberwachung), Einzelhandel (z. B. Analyse von Kundeninteraktionen im Geschäft) und Automobilindustrie (z. B. Sprachassistenten im Fahrzeug mit visuellem Kontext) verfügen über große Mengen ungenutzter audio-visueller Daten.
• Souveränität und Compliance: Der EU AI Act klassifiziert Hochrisiko-AVI-Anwendungen (z. B. biometrische Identifikation, Emotionserkennung) als streng reguliert. Diese Übersichtsarbeit hilft zu klären, welche Aufgaben in welche Risikokategorien fallen, und unterstützt so die Compliance-Bemühungen.
• Einsatzbereitschaft: Die Studie zeigt, dass Synchronisation (z. B. Abstimmung von Audio- und Videostreams) und räumliches Schlussfolgern (z. B. Verständnis, woher ein Geräusch in einem Video kommt) weiterhin offene Herausforderungen darstellen. Beginnen Sie mit risikoarmen, wertschöpfenden Anwendungsfällen wie:
  • Qualitätskontrolle: Nutzen Sie audio-visuelle Modelle, um Defekte in Fertigungslinien zu erkennen, indem visuelle Inspektion mit akustischen Signaturen kombiniert wird (z. B. ein defektes Lager klingt anders).
  • Kundenerlebnis: Analysieren Sie Interaktionen im Geschäft, indem Sprachstimmung mit Körpersprache korreliert wird (z. B. Frustration in Einzelhandel oder Bankwesen erkennen).
• Kosten: Das Training von AVI-Modellen von Grund auf ist teuer, doch die Übersichtsarbeit verweist auf Open-Source-Alternativen (z. B. Meta’s MovieGen, Google’s Veo-3), die für domänenspezifische Aufgaben feinabgestimmt werden können.

Zusammenhang mit dem Physical AI Stack:

• SENSE: AVI vereint die Wahrnehmung über zwei kritische Modalitäten — Ton und Bild — und ermöglicht so ein reichhaltigeres Verständnis der Umgebung.
• REASON: Gemeinsames audio-visuelles Schlussfolgern (z. B. "Der Kunde zeigt auf das Produkt, während er nach dessen Eigenschaften fragt") ist ein Schritt hin zu fundierterer, kontextbewusster KI.
• ACT: In der Robotik oder AR/VR ermöglicht AVI natürliche Interaktion (z. B. "Nimm das Objekt, das das Piepen von sich gibt").
• ORCHESTRATE: AVI-Workflows erfordern eine enge Koordination zwischen Audio- und Videopipelines, oft in Echtzeit. Erwarten Sie Investitionen in Edge-Cloud-Orchestrierungstools.

Roboter, die wissen, wann sie ihrer Vorstellung vertrauen können

Die Studie When to Trust Imagination: Adaptive Action Execution for World Action Models stellt einen Durchbruch für World Action Models (WAMs) vor — KI-Systeme, die sowohl zukünftige visuelle Beobachtungen als auch zukünftige Aktionen für die robotische Manipulation vorhersagen. Die zentrale Erkenntnis: Roboter sollten adaptiv entscheiden, wie viele vorhergesagte Aktionen sie ausführen, bevor sie neu planen, basierend darauf, ob die "vorgestellte" Zukunft mit der Realität übereinstimmt.

Warum dies für CTOs relevant ist:

• Effizienz vs. Robustheit: Eine Ausführung mit festem Horizont (z. B. "Führe immer 10 vorhergesagte Aktionen aus") ist entweder ineffizient (zu viele Neuplanungen) oder anfällig (zu wenige Neuplanungen). Der vorgeschlagene Future Forward Dynamics Causal Attention (FFDC)-Verifizierer ermöglicht Robotern, längere Aktionssequenzen auszuführen, wenn die Vorhersagen zuverlässig sind, und früher neu zu planen, wenn die Realität abweicht (z. B. bei kontaktintensiven Aufgaben wie Montage oder Greifen).
• Einsatzbereitschaft: Die Methode ist modellunabhängig und funktioniert mit jedem WAM. Sie ist besonders wertvoll für:
  • Fertigung: Roboter, die sich an leichte Variationen von Teilen oder Umgebungen anpassen können (z. B. Automobilmontagelinien).
  • Logistik: Lagerroboter, die dynamische Hindernisse (z. B. Menschen, andere Roboter) ohne starre Vorprogrammierung handhaben.
  • Gesundheitswesen: Assistenzroboter, die in unvorhersehbaren Umgebungen interagieren (z. B. Krankenhäuser, Altenpflege).
• Risiko: Adaptive Ausführung bringt Komplexität in Debugging und Sicherheitsvalidierung mit sich. Stellen Sie sicher, dass Ihre Überwachungssysteme Vorhersage-Beobachtungs-Diskrepanzen in Echtzeit verfolgen können.

Zusammenhang mit dem Physical AI Stack:

• COMPUTE: FFDC ist leichtgewichtig und kann auf Edge-Geräten ausgeführt werden, was die Abhängigkeit von der Cloud verringert.
• REASON: Der Verifizierer modelliert explizit die kausale Beziehung zwischen vorhergesagter und beobachteter Dynamik — ein Schritt hin zu interpretierbarerer robotischer Entscheidungsfindung.
• ACT: Adaptive Aktionsausführung ermöglicht flüssigere, menschenähnlichere physische Interaktion.
• ORCHESTRATE: Die Echtzeitüberwachung der Konsistenz von Vorhersagen und Beobachtungen wird für Sicherheit und Erklärbarkeit entscheidend.

Die Macht der Ensemble-Richter: Wie man ein erfolgreiches LLM-Team aufbaut

Die Studie RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation beschreibt ein siegreiches System für die Generierung von Multi-Turn-Dialogen, das ein heterogenes Ensemble aus 7 LLMs nutzt, wobei ein GPT-4o-mini-Richter die beste Antwort pro Turn auswählt. Das Team belegte Platz 1 von 26 im SemEval-2026-Wettbewerb und übertraf dabei sogar deutlich größere Modelle wie GPT-120B.

Warum dies für CTOs relevant ist:

• Kosten-Leistungs-Optimum: Das Ensemble umfasste eine Mischung aus großen, mittleren und kleinen Modellen (z. B. GPT-4o, Llama-3.1-70B und ein benutzerdefiniertes 7B-Modell namens Meno-Lite-0.1). Diese Vielfalt ermöglichte es dem System, die Stärken jedes Modells (z. B. Kreativität, Faktengenauigkeit oder Kosteneffizienz) zu nutzen und gleichzeitig deren Schwächen auszugleichen.
• Implementierungsmuster: Das richtergesteuerte Ensemble ist eine praktische Alternative zu:
  • Abhängigkeit von einem einzigen Modell: Vermeiden Sie Vendor-Lock-in und reduzieren Sie das Risiko der Modellabkündigung.
  • Fine-Tuning: Ensembles können sich ohne erneutes Training an neue Domänen anpassen, was sie ideal für Unternehmen mit sich weiterentwickelnden Anwendungsfällen macht (z. B. Kundensupport, Compliance).
• EU-spezifische Vorteile: Ensembles können so gestaltet werden, dass sie den Transparenzanforderungen des EU AI Acts entsprechen, indem protokolliert wird, welches Modell jede Antwort generiert hat und warum der Richter sie ausgewählt hat.
• Risiko: Ensembles führen zu Latenz (durch mehrere Modellaufrufe) und Komplexität (z. B. Verwaltung von Modellversionen, Prompt-Varianten). Minimieren Sie dies durch:
  • Den Einsatz kleinerer Modelle für weniger kritische Turns (z. B. Begrüßungen, Klärungen).
  • Caching häufiger Antworten.
  • Die Bereitstellung des Richters und der Modelle in derselben Cloud-Region, um Netzwerklatenz zu minimieren.

Zusammenhang mit dem Physical AI Stack:

• REASON: Der Ensemble-Ansatz spiegelt wider, wie menschliche Teams zusammenarbeiten — spezialisierte Experten (Modelle) tragen bei, während ein Manager (Richter) die beste Ausgabe synthetisiert.
• ORCHESTRATE: Der Richter fungiert als leichtgewichtiger Orchestrator, der Abfragen dynamisch an das am besten geeignete Modell weiterleitet.

Executive-Zusammenfassung

1. Überdenken Sie Ihren Such-Stack für agentische KI:

   • Die direkte Interaktion mit Korpora (DCI) bietet einen innovativen Ansatz für agentische Workflows. Pilotieren Sie DCI in kontrollierten Umgebungen, um das Potenzial für Aufgaben wie Compliance-Audits oder Lieferkettenanalysen zu bewerten.
   • Maßnahme: Testen Sie DCI an einem einzelnen Anwendungsfall (z. B. interne Compliance-Audits) und messen Sie die Auswirkungen auf Flexibilität und Kosten.

2. Optimieren Sie Long-Context-Schlussfolgern, ohne von Kosteneinsparungen auszugehen:

   • MiA-Signature schlägt eine Methode vor, um globale Aktivierung für das Verständnis langer Kontexte zu approximieren. Validieren Sie die Performance und Kosteneffizienz im Vergleich zu Ihren aktuellen Lösungen vor der Implementierung.
   • Maßnahme: Benchmarken Sie MiA-Signature gegen Ihren bestehenden Long-Context-Ansatz anhand eines repräsentativen Datensatzes.

3. Nutzen Sie audio-visuelle Intelligenz:

   • AVI ist ein Wettbewerbsvorteil in Fertigung, Gesundheitswesen und Einzelhandel. Beginnen Sie mit risikoarmen Anwendungsfällen (z. B. Qualitätskontrolle, Kundenerlebnis) und erweitern Sie diese, sobald Sie Expertise aufgebaut haben.
   • Maßnahme: Erfassen Sie Ihre audio-visuellen Datenbestände und identifizieren Sie einen hochwertigen Anwendungsfall für ein Pilotprojekt im Jahr 2026.

4. Machen Sie Ihre Roboter intelligenter, nicht nur stärker:

   • Adaptive Aktionsausführung (z. B. FFDC) kann die Effizienz und Robustheit von Robotern verbessern. Wenn Sie WAMs einsetzen, priorisieren Sie dieses Upgrade, um Rechenkosten zu senken und Erfolgsquoten zu steigern.
   • Maßnahme: Falls Sie noch keine WAMs nutzen, prüfen Sie, ob Ihre robotischen Workflows von vorausschauender Aktionsplanung profitieren könnten.

5. Bauen Sie LLM-Ensembles, keine Monolithen:

   • Richtergesteuerte Ensembles bieten eine flexible Alternative zu Einzelmodellen. Nutzen Sie die Stärken verschiedener Modelle, um Kosten zu optimieren und Compliance-Anforderungen zu erfüllen.