Security capability experiment
Statische Analyse fuer KI-generierten Code
A Rust static-analysis tool focused on AI-generated and AI-application code patterns. It combines tree-sitter parsing, source-controlled rules, SARIF output, command-line and editor surfaces, and optional model-assisted triage.
Brücke Business ↔ Technologie · Security capability experiment
Explores deterministic security analysis for AI-generated and AI-application code.
Dies ist eine Portfolio- und Quellinterpretation, keine Aussage über Kunden, Betrieb, Zertifizierung oder Ergebnisse.
AI-assisted development can increase code volume and repeat insecure patterns faster than conventional review capacity grows.
Keep deterministic parsing and source-controlled rules primary, with model-assisted triage optional and explicitly separate.
Rust crates, tree-sitter parsers, YAML rules, SARIF output, CLI, LSP, CI integration, and selected fixtures.
Findings and unresolved uncertainty return to remediation priority, release criteria, security review, and engineering policy.
Quellcode-Evidenz
A Rust static-analysis tool focused on AI-generated and AI-application code patterns. It combines tree-sitter parsing, source-controlled rules, SARIF output, command-line and editor surfaces, and optional model-assisted triage.
Der detaillierte technische Stand wird auf Englisch gepflegt.
Repository-Evidenz ist kein Nachweis für Kunden, Betrieb, Zertifizierung oder Ergebnisse.
Architektur
Drei Schichten: CLI- und CI-Integration, ein AST-Scanner mit 210 Regeln für ausgewählte Muster in KI-generiertem Code und KI-Anwendungen sowie eine optionale modellgestützte Triage, die beim Priorisieren der Befunde helfen kann. Keine davon ersetzt ein Security-Review.
Nur Quellübersicht: Eine Schicht kann implementierten Code, eine Adaptergrenze oder dokumentiertes Design darstellen. Sie belegt keinen konfigurierten Produktionsdienst.
Rust-Kommandozeile, LSP, CI und SARIF unterstützen lokale Scans und Scans im Review-Workflow. Es wird keine universelle Laufzeitumgebung und keine Leistung im großen Maßstab behauptet.
AST-Scanner für Python, TypeScript, JavaScript, Go. Fünf Regelkategorien: Vibe-Code-Muster, Agent-Sicherheit (Tool-Definitionen, Capability-Sprawl), LLM-Anwendungsrisiken (Prompt-Injection, nicht bereinigte Ausgabe), Framework-Schwachstellen, Cloud-Fehlkonfigurationen. Allgemeine Scanner und diese Regeln decken unterschiedliche Bereiche ab.
Eine optionale Triage mit einem Mistral-Modell, lokal oder gehostet, kann helfen, wahrscheinliche Fehlalarme auszusortieren und Befunde nach Kontext neu zu ordnen. Sie läuft nur, wenn sie aktiviert ist, und ersetzt kein Security-Review.
Das Problem
Warum KI-generierter Code ein Sicherheitsrisiko darstellt
KI-Assistenten generieren Code schneller, als Menschen ihn ueberpruefen koennen. Vibe Coding -- KI-Vorschlaege mit minimaler Pruefung akzeptieren -- ist der neue Standard.
KI optimiert fuer funktionierenden Code, nicht fuer sicheren Code. Dasselbe hartcodierte Geheimnis, dieselbe SQL-Verkettung, dasselbe permissive CORS -- wiederholt ueber Tausende von Projekten.
Allgemeine Scanner und KI-spezifische Regeln decken unterschiedliche Bereiche ab. Prompt-Vorlagen, Agenten-Tools und die Verarbeitung von Modellausgaben profitieren von eigenen Prüfungen neben dem vorhandenen SAST.
Agenten können Datei-, Datenbank-, Netzwerk- oder Shell-Fähigkeiten erhalten. Ihre Berechtigungsgrenzen und Tool-Eingaben brauchen eine Prüfung, die über übliche Kontrollen von Anwendungscode hinausgeht.
Regeln
210 Regeln fuer fuenf KI-spezifische Schwachstellenbereiche
Nur Quellumfang: Ein Eintrag kann Code, einen dokumentierten Adapter oder einen konfigurierten Workflow beschreiben. Er besagt nicht, dass ein Produktionsdienst aktiv ist.
01
40 Regeln fuer Muster, die haeufig von KI-Codierassistenten generiert werden: hartcodierte Geheimnisse in Prompts, SQL-Injection durch Verkettung, gefaehrliche Code-Ausfuehrung, unsichere Standardeinstellungen, fehlende Authentifizierung, Path-Traversal, unsichere Deserialisierung und schwache Kryptographie.
02
30 Regeln fuer autonomen Agentencode: zu permissive Tool-Definitionen, uneingeschraenkter Dateisystemzugriff, Shell-Befehlsausfuehrung aus Benutzereingaben, fehlende Audit-Protokollierung, keine Bestaetigung vor destruktiven Aktionen, unsichere Inter-Agenten-Kommunikation und Privilege-Escalation-Vektoren.
03
40 Regeln fuer produktive LLM-Anwendungen: rohe Benutzereingaben in System-Prompts, unbereinigtes HTML-Rendering, Ausfuehrung von LLM-generiertem SQL, exponierte API-Schluessel, fehlende Prompt-Injection-Erkennung, unsichere OAuth-Flows, veraltete SDK-Nutzung, nicht validierte Tool-Ausgaben und Risiken der Trainingsdaten-Exfiltration.
04
50 Regeln fuer 10 Frameworks: Express.js, Django, Flask, FastAPI, Spring Boot, Laravel, Rails, Next.js, NestJS und Gin -- abdeckend Debug-Modus-Exposition, fehlende Auth-Guards, CORS-Wildcards, Mass-Assignment, nicht validierte DTOs und Actuator-Endpoint-Lecks.
05
50 Regeln fuer 7 Plattformen: AWS (15), Terraform (10), Kubernetes (6), GitHub Actions (5), GCP (5), Azure (5), Docker (4) -- abdeckend IAM-Ueberprivilegierung, oeffentliche Buckets, deaktivierte Verschluesselung, privilegierte Container, nicht fixierte Actions und falsch konfigurierte Sicherheitsgruppen.
06
Schreiben Sie benutzerdefinierte Regeln in YAML -- keine Rust-Kenntnisse erforderlich. Definieren Sie AST-Knotentypen, Regex-Muster, Vorfahren-Kontexteinschraenkungen und Korrekturvorschlaege. Erstellen Sie neue Regeln mit einem einzigen Befehl.
07
Native SARIF v2.1.0-Ausgabe fuer die Integration mit dem GitHub-Sicherheits-Tab. Ergebnisse erscheinen als Inline-PR-Annotationen mit Schweregrad, Korrekturvorschlaegen und Referenzen. Unterstuetzt auch JSON- und Textausgabe.
08
Eine optionale Triage mit Mistral AI oder lokalen Ollama-Modellen kann helfen, wahrscheinliche Fehlalarme auszusortieren, Befunde nach Kontext neu zu ordnen und Korrekturen vorzuschlagen. Sie wird mit dem Flag --ai aktiviert und ersetzt kein Security-Review.
09
Eine LSP-Schnittstelle liefert kompatiblen Editoren Diagnosen und ausgewählte Code-Aktionen. Das Verhalten im Editor und die Regelabdeckung sind im Ziel-Workflow zu validieren.
10
Das Repository enthält eine GitHub Action und einen Kommandozeilen-Integrationsweg für CI. Andere Pipeline-Integrationen müssen vom Betreiber konfiguriert und validiert werden.
210 Regeln in 5 Kategorien
Deterministische Regeln erkennen ausgewählte Muster in KI-Anwendungen; eine optionale modellgestützte Triage kann beim Priorisieren der Befunde helfen, aber keiner der beiden Wege ersetzt ein Security-Review.
Nur Repository-Oberfläche: Verfügbarkeit, Vollständigkeit, Leistung und Betriebstauglichkeit erfordern eine gesonderte Validierung.
Hardcodierte API-Schlüssel in Prompt-Templates, SQL via String-Konkatenation in 'nur Demo'-Code-Pfaden, unsichere Deserialisierung, Eval von LLM-Ausgaben, Secrets, die auf INFO-Level geloggt werden. Die Ansammlung von Mustern, die ausgeliefert werden, wenn 'funktioniert einmal' über 'funktioniert sicher' siegt.
Tool-Definitionen ohne Parameter-Validierung, Agent-Fähigkeiten, die sich mit Admin-Privilegien überschneiden, fehlende Ratenbegrenzungen für LLM-aufrufbare Tools, Prompt-Präfixe, die Systemidentitäten preisgeben. Die Ansammlung, die aus einem Jailbreak einen Vorfall macht.
Unsanitisierte LLM-Ausgaben, die als HTML gerendert werden, Prompt-Injection-Vektoren in benutzerkontrolliertem Kontext, indirekte Injection über abgerufene Dokumente, Modellausgaben, die in Shell oder Eval geleitet werden, fehlende Validierung des Ausgabe-Schemas. Das OWASP-LLM-Top-10 konkret umgesetzt.
Next.js Server Action Exposure ohne Authentifizierung, FastAPI Dependency Injection Bypass, LangChain Chain-of-Thought-Leakage, Django ORM SQL-Injection via raw(), unsicheres Template-Rendering. Framework-spezifische Regeln, kein generisches Taint-Tracking.
Öffentliche S3-Buckets mit sensiblen Präfixen, IAM-Rollen mit `*`-Aktionen, AWS Bedrock Cross-Account-Berechtigungen, GCP Vertex AI in einem Kontext ohne Service-Account exponiert. Die Ansammlung, die aus einer geleakten Endpunkt-URL eine vollständige Datenexfiltration macht.
Technologien
Genannte Technologien kennzeichnen Repository-Abhängigkeiten oder Adapteroberflächen; sie belegen keine aktive Integration oder Bereitstellung.
Quellcode
Der Achilles AI-Quellcode ist auf Anfrage fuer Evaluierungs- und Partnerschaftszwecke verfuegbar.
Um auf den Quellcode zuzugreifen, unterzeichnen Sie bitte unsere Geheimhaltungsvereinbarung.
Benötigen Sie Hilfe bei der Absicherung von KI-generiertem Code in der Produktion? Unsere Beratung ergänzt Achilles AI.
Zwölf bis vierundzwanzig Wochen zur Risikoklassifizierung Ihrer KI-Systeme, Unterstützung der anbietergeführten Konformitätsbewertung und Erarbeitung der Nachweise, Erstellung der Anhang IV-Technischen Dokumentation und Einrichtung der Marktüberwachung — mit besonderer Tiefe für die Hochrisikokategorien, die für autonome, industrielle und Robotik-Einsätze gelten
Partnerschaft
Ob Sie KI-Code-Sicherheitsaudits fuer Ihr Team benoetigen oder eine Partnerschaft im Bereich AppSec erkunden moechten.
Von der Demo zum verlässlichen Betrieb. Melden Sie sich für neue Beiträge zu Physical AI an.
Jederzeit abbestellbar. Kein Spam, niemals.