In Teil 1 habe ich beschrieben, dass mein Wissen gesammelt in einem Obsidian-Vault wohnt. Dieser Vault besteht im Prinzip aus einer Menge Markdown-Dateien und eignet sich damit hervorragend, um mittels KI-Agenten unterstützt zu werden.
Lokale, vertrauenswürdige* Gehilfen
Man kann sich vortrefflich streiten, ob man KI-Agenten tatsächlich vertrauen möchte. Etwas weniger umstritten ist die Frage, ob man Tech Bros die eigenen Daten anvertrauen möchte. Aus diesem Grund ist mir wichtig, dass alle meine Informationen und Daten nur sehr kontrolliert und von mir ins Internet und ggf. zu öffentlichen Diensten gelangen. Daher nutze ich lokale LLMs, um mir bei der täglichen Arbeit helfen zu lassen.
Es gibt zahlreiche Lösungen, lokal AI zu nutzen. Da ich im Apple-Kosmos verwurzelt bin und dank des Prinzip des Unified Memory läuft die Nutzung von Sprachmodellen recht gut auf MacBook und Co. Die Basis bilden Werkzeuge wie Ollama oder LM Studio. Mit genug Speicher, lassen sich auch mittelgroße Modelle nutzen.
Hardware
Ich habe ein MacBook Pro mit einer M5 Pro CPU und 64GB RAM. Weiterhin habe ich noch einen Mac Mini M4 Pro mit ebenfalls 64GB RAM. Der hat aktuell weniger Aufgaben und, weil ich überwiegend am MacBook unterwegs bin, also eignet er sich ebenso zur Einbindung in meine Armee von Minions.
So ausgestattet lassen sich neben den üblichen Programmen sehr brauchbare LLM laufen lassen.
LLM
Das Large Language Model bestimmt stark, wie effektiv und leistungsfähig ein Agent überhaupt sein kann. Aktuell bevorzuge ich Qwen3.8:27b, welches sehr brauchbare Ergebnisse auf Hardware wie dieser ermöglicht.
Es ist beeindruckend, dass Qwen3.8:27B leistungsfähiger ist, als ein acht Monate altes Frontier-Modell und komplett lokal auf meinem Rechner läuft. Andere lokale Modelle sind ebenfalls spannend, je kleiner, desto schneller arbeiten sie. Je nach Anwendungsfall sind diese dann besser geeignet und sind keine "over-thinker".
Software
Neben Ollama oder LM Studio braucht man dann auch eine Software, die den Agenten laufen lässt. Am bekanntesten ist sicher Claude Code. Damit habe ich begonnen, bin dann aber recht schnell zu Opencode gewechselt. Man kennt es inzwischen sehr gut von zahlreichen GitHub-Repos, wo eine AGENTS.md Datei vorhanden ist. Durch Opencode wird das LLM aufgerufen und der Agent gesteuert, ganz einfach durch ein Chatinterface und er liest und schreibt meine Markdown-Dateien im Obsidian-Vault.
Orchestrierung
Ich habe genug Hardware, um mehr als eine Instanz LLM laufen zu lassen und generell ist es eine gute Idee, nicht einen Agenten zu nutzen, sondern ein ganzes Team. Ich habe mich in meinem Setting dafür entschieden, drei Agenten einzusetzen, für die Gesamtleitung, Recherchen und um das Gesamtergebnis zu challengen. Mit ein wenig Phantasie landet man da schnell bei den bekannten drei Detektiven aus Rocky Beach: Justus, Bob und Peter.
Justus läuft auf meinem MacBook und könnte auch alleine alle meine Aufgaben erledigen, doch ich möchte gerne ein Korrektiv, um wahnwitzige Halluzinationen auszuschließen oder generell Ergebnisse zu validieren, bevor ich sie zu Gesicht bekomme. Dazu nutze ich den Mac Mini und lasse Bob als Sub-Agent die Recherchen durchführen, er kümmert sich um Fakten, nicht um Ableitungen. Peter hingegen lässt sich als Reviewer alles von Justus erklären. Nur wenn er es versteht, soll es auch als Ergebnis stehen bleiben.
Was passiert aber, wenn ich mit meinem MacBook mal unterwegs bin und der Mac Mini nicht erreichbar ist? Kann Justus dann alleine nichts tun oder ist er völlig frei in seinen Halluzinationen? Keineswegs, denn dann soll er seine Freundin Jelena fragen, die ebenso wie er im selben Modell lokal läuft. Sie führt jeweils eine Rolle (Review oder Research) aus und hilft, Justus bei der Wahrheit zu halten.
Rein technisch nutze ich unterschiedliche Modelle für die Agenten:
- Justus und Jelena laufen auf Qwen3.8:27B. Da sie auf demselben Rechner sind und Resourcen auch für Programme wie MS-Office genutzt werden, ist der Speicher hier beschränkt und dasselbe Modell muss reichen.
- Bob ist ein Research-Agent und soll etwas flotter unterwegs sein, er darf mit dem Qwen3.6-35B-A3B unterwegs sein. Hier sind nicht alle Parameter gleichzeitig aktiv, weshalb es etwas flotter wird. Sollte Qwen3.8 ein ähnliches Modell bekommen, kriegt er natürlich ein Upgrade.
- Peter darf mit dem vergleichsweise schlauen Gemma 4 12B denken und arbeiten.
Technisch sieht das dann in einer opencode.json so aus:
{
"$schema": "https://opencode.ai/config.json",
"model": "ollama/qwen3.8:27b",
"default_agent": "justus",
"compaction": {
"auto": true,
"prune": true,
"reserved": 12000
},
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama Local (M5)",
"options": {
"baseURL": "http://127.0.0.1:11434/v1"
},
"models": {
"qwen3.8:27b": {
"name": "Qwen 3.8 27B — Local M5",
"limit": {
"context": 57344,
"output": 8192
},
"options": {
"num_ctx": 65536
}
}
}
},
"m4-node": {
"npm": "@ai-sdk/openai-compatible",
"name": "M4 Pro Node (LM Studio)",
"options": {
"baseURL": "http://192.168.0.104:1234/v1"
},
"models": {
"qwen-research": {
"name": "Bob Andrews — Qwen 3.6 35B-A3B",
"limit": {
"context": 65536,
"output": 8192
}
},
"gemma-review": {
"name": "Peter Shaw — Gemma 4 12B",
"limit": {
"context": 32768,
"output": 8192
}
}
}
}
},
"agent": {
"justus": {
"description": "Lead investigator and primary agent. Owns orchestration, synthesis and the final result.",
"mode": "primary",
"model": "ollama/qwen3.8:27b",
"prompt": "{file:./_system/opencode/prompts/justus.md}",
"permission": {
"task": {
"*": "deny",
"bob": "allow",
"peter": "allow",
"jelena": "allow"
}
}
},
"bob": {
"description": "Research and evidence specialist.",
"mode": "subagent",
"model": "m4-node/qwen-research",
"temperature": 0.2,
"steps": 30,
"prompt": "{file:./_system/opencode/prompts/bob.md}",
"permission": {
"edit": {
"*": "deny",
"_system/runtime/agent-status/*.md": "allow"
},
"doom_loop": "deny",
"task": {
"*": "deny"
}
}
},
"peter": {
"description": "Independent practical review and reality-check specialist.",
"mode": "subagent",
"model": "m4-node/gemma-review",
"prompt": "{file:./_system/opencode/prompts/peter.md}",
"permission": {
"edit": {
"*": "deny",
"_system/runtime/agent-status/*.md": "allow"
},
"task": {
"*": "deny"
}
}
},
"jelena": {
"description": "Local M5 collaborator for either research or independent review.",
"mode": "subagent",
"model": "ollama/qwen3.8:27b",
"temperature": 0.2,
"steps": 30,
"prompt": "{file:./_system/opencode/prompts/jelena.md}",
"permission": {
"edit": {
"*": "deny",
"_system/runtime/agent-status/*.md": "allow"
},
"doom_loop": "deny",
"task": {
"*": "deny"
}
}
}
},
"instructions": [
"_system/opencode/rules/conventions.md"
]
}Anmerkungen
Der schlaue Beobachter merkt, auf dem MacBook läuft Ollama während auf dem Mac Mini LM Studio das Backend bereitstellt. Das liegt daran, dass ich eigentlich immer mit Ollama arbeite, aber aktuell Probleme bestehen, dass mlx-Modelle bestimmte Fähigkeiten eines Modells wie visionnutzen zu können. Aufgefallen ist dies, als Justus nicht in der Lage war, den Inhalt eines Bildes zu erkennen. Das war die Geburtsstunde von Peter und Bob und der Mac Mini wurde mit LM Studio eingerichtet. Damit sind wir jedoch mitten im Thema Tools, was genauer im nächsten Teil beleuchtet wird.
Kommentare