LocalGPT: Rust-basierter KI-Assistent setzt auf lokale Datenspeicherung

Ein Dateningenieur hat innerhalb weniger Tage einen kompakten KI-Assistenten entwickelt, der vollständig auf lokalen Systemen läuft. Das in Rust programmierte Tool namens LocalGPT verzichtet auf Cloud-Infrastrukturen und verspricht damit eine Alternative zu etablierten Online-Diensten.

Entstehung aus praktischem Bedarf

Die Entwicklung ging auf ein wiederkehrendes Problem zurück: Bei jeder neuen Chat-Sitzung mit KI-Diensten mussten Projektdetails und Präferenzen erneut eingegeben werden. Als Lösung diente das OpenClaw-Framework als Inspiration, das Markdown-Dateien für persistenten Kontext nutzt.

Das OpenClaw-Muster basiert auf drei Komponenten: SOUL für Persönlichkeitsrichtlinien, MEMORY für sitzungsübergreifendes Wissen und HEARTBEAT als autonome Aufgabenwarteschlange. Während OpenClaw jedoch rund 460.000 Zeilen TypeScript umfasst, sollte LocalGPT schlanker werden.

Entwicklung in vier Nächten

Die Umsetzung erfolgte zwischen dem 1. und 5. Februar in mehreren Etappen:

Erste Nacht: Grundlegende Modularchitektur mit Agent, CLI, Daemon und Speichersystem. Rund 3.000 Zeilen Code bildeten das Gerüst.

Zweite Nacht: Integration der Claude CLI als primären LLM-Anbieter, OpenClaw-kompatible Dateistruktur, SQLite-Speicherindex mit Volltext- und Vektorsuche, WebSocket-API sowie Sitzungsverwaltung.

Dritte Nacht: Implementierung lokaler Einbettungen mit Fastembed, HTTP-API mit sechs Endpunkten, Dateianhänge, eingebettete Web-Oberfläche und Daemon-Modus für parallele Prozesse.

Vierte Nacht: Stabilisierung durch konfigurierbare Einbettungsanbieter, Git-Integration, Protokollierung und eine Desktop-GUI basierend auf egui. Zusätzlich wurde ein 381-zeiliges Modul zur Abwehr von Prompt-Injections integriert.

Technische Architektur

Das Endergebnis umfasst etwa 15.000 Zeilen Rust-Code plus 1.400 Zeilen für die Web-Oberfläche. Die kompilierte Binärdatei ist 27 MB groß und lässt sich per cargo install localgpt installieren.

Die technische Basis bilden Tokio für asynchrone Operationen, Axum für die HTTP-API und SQLite mit FTS5 für Volltextsuche sowie sqlite-vec für semantische Suche. Fastembed ermöglicht lokale Einbettungen ohne externe API-Schlüssel. Die Desktop-Anwendung nutzt das eframe-Framework.

Markdown-Dateien dienen als primäre Datenbasis, SQLite als Indexierungssystem. Diese Architektur verzichtet bewusst auf Node.js, Docker oder Python-Abhängigkeiten.

Sicherheitsaspekte

Rusts Speichersicherheitsmodell eliminiert Schwachstellen wie Pufferüberläufe. Die lokale Ausführung verhindert potenzielle Angriffsvektoren durch Cloud-Dienste, Paketmanager oder Container-Systeme. Sämtliche Verarbeitung erfolgt auf dem Gerät des Nutzers.

Praktische Anwendung

Der Entwickler setzt LocalGPT als Daemon-Prozess ein, der in konfigurierbaren Intervallen die HEARTBEAT-Datei auf neue Aufgaben prüft. Zu den Anwendungsfällen gehören:

• Persistenter Projektkontext über Sitzungen hinweg
• Automatisierte Recherche mit Speicherung in der Wissensdatenbank
• Autonome Aufgabenbearbeitung im Hintergrund
• Strukturierter Wissensaufbau über verschiedene Themenbereiche

Bereits am dritten Entwicklungstag kam das Tool produktiv zum Einsatz, unter anderem zur automatischen Analyse von Datenpipeline-Verbesserungen.

Verfügbarkeit und Kompatibilität

LocalGPT ist als Open-Source-Projekt unter Apache 2.0-Lizenz verfügbar. Das Tool unterstützt mehrere LLM-Anbieter, darunter Anthropic (Claude), OpenAI und Ollama. Die Bedienung ist über CLI, Web-Oberfläche oder Desktop-GUI möglich.

Die Kompatibilität mit dem OpenClaw-Format ermöglicht die Nutzung bestehender SOUL-, MEMORY- und HEARTBEAT-Dateien sowie des Skills-Formats.

Der Quellcode ist auf GitHub unter github.com/localgpt-app/localgpt abrufbar, weitere Informationen bietet die Projektwebsite localgpt.app.

„Die in diesem Beitrag bereitgestellten Informationen wurden sorgfältig recherchiert, erheben jedoch keinen Anspruch auf Vollständigkeit oder absolute Richtigkeit. Sie dienen ausschließlich der allgemeinen Orientierung und ersetzen keine professionelle Beratung. Die Redaktion übernimmt keine Haftung für eventuelle Fehler, Auslassungen oder Folgen, die aus der Nutzung der Informationen entstehen.“

Mehr Lesestoff:

 

---