MokuML: lokale ML-Vorhersagen ohne Pipeline

Forschung als Machbarkeitsnachweis. github.com/amiune/MokuML

Was wäre, wenn ein kleines Unternehmen Postgres verbinden, eine Vorhersage in einfachem Englisch beschreiben und auf dem eigenen Mac Ergebnisse erhalten könnte, ohne Datenwissenschaftsteam, Cloud-ML-System oder ein Abonnement wie bei Kumo?

Genau das untersuchen wir mit MokuML. Stell dir ein schlankes Kumo.ai vor: eine Datenbank verbinden, Vorhersagen anfordern und Antworten erhalten. Allerdings läuft alles lokal.

Die Idee

1. Verbinde deine Postgres-Datenbank.
2. Beschreibe, was du vorhersagen möchtest („Welche Kunden werden abspringen?“, „Welche Rechnungen werden verspätet bezahlt?“).
3. Ein lokales LLM liest das Schema mit Tabellennamen, Spalten und Schlüsseln und schreibt eine sichere SELECT-Abfrage. Die tatsächlichen Datenzeilen sieht es nie.
4. Die Abfrage läuft auf deinem Rechner in einer schreibgeschützten Transaktion.
5. TabPFN-3 trainiert auf dieser Tabelle und erzeugt Vorhersagen, ebenfalls lokal.

Keine Feature-Engineering-Pipeline. Keine Oberfläche zum Abstimmen von Modellen. Keine Übertragung von Kundendaten an eine API.

Datenschutz als Produktprinzip

Das LLM erhält Schemametadaten und deinen Prompt. Keine Zellwerte, Vorschauen oder Passwörter. SQL wird vor der Ausführung mit einem AST-Parser geprüft. Datenänderungen, DDL und Tricks mit mehreren Anweisungen werden abgelehnt.

Ein optionaler Modus für ein entferntes LLM ist vorhanden, aber die Grenze bleibt dieselbe: nur das Schema.

Technischer Aufbau

• Eine macOS-App mit SwiftUI
• Ein Python-Worker auf 127.0.0.1 für Datenbankzugriff, SQL-Prüfung und TabPFN-Inferenz
• Ollama oder eine OpenAI-kompatible API für die Umwandlung von Text in SQL
• Lokaler Verlauf der Ausführungen in ~/Library/Application Support/MokuML/runs/

Tatsächliche Grenzen

Die Zukunft lässt sich nicht aus dem Nichts vorhersagen. Man benötigt historische Labels oder ein aus dem Schema ableitbares Ziel. TabPFN hat Grenzen bei der Zahl der Zeilen und Merkmale. Vor kommerzieller Nutzung sollte außerdem die TabPFN-Lizenz geprüft werden.

Der Ansatz steht noch am Anfang, aber die Richtung erscheint vielversprechend: Lokale LLMs und Basismodelle für Tabellendaten könnten kleinen Unternehmen nützliches maschinelles Lernen günstig und unter Wahrung ihrer Privatsphäre ermöglichen.

Repository: github.com/amiune/MokuML