LLM einrichten (Simon Willison): Eine praktische Anleitung

Zusammenfassung

• Installation mit pip install llm oder brew install simonw/llm/llm (macOS)
• API-Schlüssel konfigurieren via llm keys set <Anbieter> <Schlüssel>
• Prompts ausführen: llm "Erkläre Quantencomputing" oder Daten weiterleiten: cat notizen.txt | llm -s "Zusammenfassen"
• Plugins erweitern die Unterstützung auf Ollama, Claude, Gemini und lokale Modelle
• Gesprächsverläufe werden in SQLite gespeichert (~/.llm/log.db)

1. Installation

Python (pip/pipx)

# Empfohlen: pipx (isolierte Umgebung)
pipx install llm

# Alternative: pip (global)
pip install --user llm

Erwartete Ausgabe:

✔ Successfully installed llm-0.15.0

Hinweise:

• Falls der Befehl llm nach pip install nicht gefunden wird, fügen Sie ~/.local/bin zu Ihrem PATH hinzu:

  echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
  source ~/.bashrc
  

  Copy
• Python 3.8+ erforderlich. Überprüfen Sie dies mit python --version.

macOS (Homebrew)

brew install simonw/llm/llm

Windows (PowerShell)

pip install llm

• Stellen Sie sicher, dass die Microsoft Visual C++ Build Tools installiert sind, falls Kompilierungsfehler auftreten.

Docker

docker run -it --rm -v ~/.llm:/root/.llm simonw/llm:latest

• Daten werden im Verzeichnis ~/.llm auf dem Host-System persistiert.

2. API-Schlüssel konfigurieren

LLM unterstützt mehrere Anbieter. Schlüssel werden über die CLI gesetzt:

# OpenAI
llm keys set openai
# Geben Sie Ihren Schlüssel ein, wenn Sie dazu aufgefordert werden

# Anthropic (Claude)
llm keys set anthropic

# Google Gemini
llm keys set gemini

Schlüssel überprüfen:

llm keys list

Erwartete Ausgabe:

Keys:
  openai: sk-...abc123
  anthropic: sk-ant-...xyz456

Hinweise:

• Schlüssel werden in ~/.llm/keys.json gespeichert. Sichern Sie diese Datei mit chmod 600 ~/.llm/keys.json.
• Es gelten Ratenlimits. Überprüfen Sie Ihren Anbieter-Dashboard für die Nutzung.

3. Prompts ausführen

Einfacher Prompt

llm "Erkläre Quantencomputing in 3 Stichpunkten"

Erwartete Ausgabe:

- Quantenbits (Qubits) können gleichzeitig in mehreren Zuständen existieren (Superposition).
- Qubits können verschränkt sein, was bedeutet, dass der Zustand eines Qubits sofort den eines anderen beeinflusst.
- Quantencomputer lösen bestimmte Probleme exponentiell schneller als klassische Computer.

Ein bestimmtes Modell angeben

llm -m gpt-4o "Schreibe ein Python-Skript, um Aktienkurse abzurufen"

Unterstützte Modelle:

• gpt-4o, gpt-4-turbo (OpenAI)
• claude-3-opus (Anthropic)
• gemini-1.5-pro (Google)
• llama3 (via Ollama-Plugin)

Lokale Modelle (GGUF)

# Ollama-Plugin installieren
llm install llm-ollama

# Ein Modell herunterladen (z. B. Llama 3)
ollama pull llama3

# Lokal ausführen
llm -m ollama/llama3 "Erkläre den Physical AI Stack"

Hinweise:

• Lokale Modelle benötigen erhebliche RAM-Kapazitäten (z. B. benötigen 7B+-Modelle 8 GB+).
• Quantisierte Modelle (z. B. llama3:8b-instruct-q4_K_M) reduzieren den Speicherbedarf, können jedoch die Qualität beeinträchtigen.

4. Plugin-Ökosystem

Plugins installieren

# Ollama (lokale Modelle)
llm install llm-ollama

# Mistral
llm install llm-mistral

# Hugging Face
llm install llm-huggingface

Verfügbare Modelle auflisten

llm models list

Erwartete Ausgabe:

OpenAI:
  gpt-4o
  gpt-4-turbo
Anthropic:
  claude-3-opus
Ollama:
  ollama/llama3
  ollama/mistral

Ein Plugin-Modell verwenden

llm -m ollama/llama3 "Erstelle ein Dockerfile für eine FastAPI-Anwendung"

Hinweise:

• Plugins können zusätzliche Abhängigkeiten erfordern (z. B. benötigt llm-ollama die Installation von ollama).
• Überprüfen Sie die Plugin-Dokumentation für die Einrichtung: llm plugins info <Plugin-Name>.

5. Gesprächsverläufe und Vorlagen

Gesprächsverläufe anzeigen

llm logs

Erwartete Ausgabe:

ID  Model       Prompt                          Zeitstempel
1   gpt-4o      Erkläre Quantencomputing...    2026-05-12 10:00:00
2   claude-3    Schreibe ein Python-Skript...  2026-05-12 10:05:00

Ein Gespräch fortsetzen

llm logs --id 1 --continue

Prompt:

Folgefrage: Wie ermöglicht Superposition Quantenparallelismus?

Eine Vorlage speichern

Erstellen Sie ~/.llm/templates/zusammenfassen.yaml:

system: Sie sind ein prägnanter Zusammenfasser. Extrahieren Sie die wichtigsten Punkte in Stichpunkten.
prompt: "Fassen Sie den folgenden Text zusammen:\n\n{{ text }}"

Vorlage verwenden:

cat notizen.txt | llm -t zusammenfassen

Hinweise:

• Vorlagen verwenden die Jinja2-Syntax. Escape {{ und }} mit {% raw %}, falls erforderlich.
• Gesprächsverläufe werden in ~/.llm/log.db (SQLite) gespeichert. Sichern Sie diese Datei für die Langzeitspeicherung.

6. Datenweiterleitung und Shell-Integration

Text an LLM weiterleiten

cat README.md | llm -s "Fassen Sie dieses Projekt in einem Absatz zusammen"

Befehlsausgabe weiterleiten

git diff | llm -s "Erklären Sie diese Änderungen in einfachen Worten"

Ausgabe in eine Datei speichern

llm "Erstellen Sie ein Kubernetes-Deployment-YAML für eine FastAPI-Anwendung" > deployment.yaml

Verwendung mit jq (JSON-Verarbeitung)

curl https://api.github.com/repos/simonw/llm | jq '.description' | llm -s "Erklären Sie dieses Projekt"

Hinweise:

• Weitergeleitete Eingaben werden als einzelner Prompt behandelt. Für mehrstufige Gespräche verwenden Sie llm logs --continue.
• Große Eingaben können Token-Limits erreichen. Kürzen Sie diese mit head -n 100 oder ähnlichen Befehlen.

7. Benutzerdefinierte Workflows erstellen

Python-API

import llm

model = llm.get_model("gpt-4o")
response = model.prompt("Erklären Sie den Hyperion-Lebenszyklus in 3 Schritten")
print(response.text())

Embeddings

# Embeddings generieren (erfordert llm-embeddings-Plugin)
llm embed -m text-embedding-3-small "Der Physical AI Stack" > embedding.json

# Embeddings vergleichen
llm embed --compare "SENSE-Schicht" "CONNECT-Schicht"

Benutzerdefinierte Modell-Aliase

Fügen Sie dies zu ~/.llm/config hinzu:

aliases:
  schnell: gpt-4o-mini
  lokal: ollama/llama3

Verwendung:

llm -m schnell "Schreiben Sie ein Python-One-Liner zum Parsen von CSV"

Geplante Prompts (Cron)

# Crontab bearbeiten
crontab -e

Fügen Sie hinzu:

0 9 * * * /usr/local/bin/llm "Fassen Sie die Top-Hacker-News-Geschichten zusammen" >> ~/hn-zusammenfassung.txt

Hinweise:

• Stellen Sie für die Python-API sicher, dass llm in Ihrer virtuellen Umgebung installiert ist.
• Embeddings erfordern das llm-embeddings-Plugin und können zusätzliche Abhängigkeiten benötigen (z. B. sentence-transformers).

Alternativen im Überblick

Wie geht es weiter?

1. Plugins erkunden: Installieren Sie llm install llm-gpt4all für Offline-Modelle oder llm install llm-mistral für Mistral-Unterstützung.
2. Workflows automatisieren: Leiten Sie Befehlsausgaben an LLM weiter (z. B. git log | llm -s "Fassen Sie die letzten Änderungen zusammen").
3. Eine benutzerdefinierte Vorlage erstellen: Erstellen Sie eine YAML-Vorlage für sich wiederholende Aufgaben (z. B. Code-Reviews oder Meeting-Protokolle).

Für fortschrittliche KI-Tools und Workflows bietet Hyperion Consulting unternehmensgerechte Lösungen, um Ihre KI-Einführung zu beschleunigen.