Viele sogenannte Halluzinationen sind in Wahrheit keine reinen Sprachfehler, sondern Architekturfehler. Ein Modell soll etwas wissen, was in Wirklichkeit besser aus einer Datenbank, einer API, einer Suche oder einem kleinen Hilfswerkzeug kommen müsste. Gerade kleine, schnelle Inference-Stacks können hier überraschend stark sein: nicht obwohl sie weniger Weltwissen tragen, sondern weil sie schneller routen, billiger prüfen und präziser mit Werkzeugen arbeiten können.

Ein LLM in Europa selbst zu hosten klingt zunächst nach der sauberen Antwort auf Datenschutz, Kosten und Kontrolle. In der Praxis beginnt die eigentliche Arbeit aber erst danach. Wer aus einem offenen Checkpoint ein belastbares Unternehmenssystem machen will, muss Lizenz, Provenienz, Quantisierung, Evaluierung, Signierung, Datenflüsse und Betriebsgrenzen zusammendenken. Erst dann wird aus einem Modell ein Asset.

Retrieval-Augmented Generation ist populär, weil es Sprachmodelle mit externem Wissen verbindet und Halluzinationen reduzieren kann. Aber RAG ist weder automatisch zuverlässig noch die einzige sinnvolle Architektur. Gerade bei kleinen, sehr schnellen Modellen entscheiden Datenqualität, Retrieval-Design, Abbruchlogik und Werkzeuganbindung oft mehr über die Güte als die Modellgröße selbst. Die wichtigere Frage lautet deshalb nicht: Haben wir RAG? Sondern: Wie bauen wir ein System, das möglichst wenig raten muss?

Speculative Decoding beschleunigt LLMs nicht durch ein größeres Modell, sondern durch einen klügeren Ausführungspfad. Ein kleines Draft-Modell schlägt Tokens vor, das große Modell prüft gesammelt; so sinkt die Wartezeit, ohne die Zielverteilung aufzugeben.

Für viele deutsche Mittelständler ist nicht das größte Modell die beste Antwort, sondern die richtige Architektur. Lokale oder hybride KI-Systeme mit kleinen bis mittleren Modellen, sauberem Datenzugriff, klaren Tool-Schnittstellen und kontrollierbarer Inference passen oft besser zu industriellen Prozessen, Datenschutzanforderungen und knappen IT-Ressourcen. Die eigentliche Frage lautet nicht: Wie kommen wir an das größte Modell? Sondern: Welche Architektur trägt im Betrieb wirklich?

Die Suche nach einer guten UI und UX für LLM- und Agentensysteme führt überraschend schnell zurück zu Unix. Nicht aus Nostalgie, sondern weil Unix zeigte, wie Prinzipien große Systeme beherrschbar machen: kleine Operatoren, einfache Datenströme, sichtbare Schnittstellen und klare Rechte. Genau diese Fragen kehren heute bei Agenten, Multi-Agenten-Systemen, MCP, lokaler KI und der neuen Idee von KI als Betriebsschicht wieder zurück.

Datenschutz und Compliance sind bei KI keine Fußnoten, sondern Architektur. Prüfbarkeit entsteht nicht am Ende durch Papier, sondern am Anfang durch saubere Datenpfade, Rechte und Freigaben.

Große Modelle beeindrucken, kleine Modelle benehmen sich im Betrieb oft besser. Mit enger Domäne, gutem Retrieval und sauberem Tooling werden sie schneller, billiger und oft verlässlicher als der größte verfügbare Kandidat.

Deutschland hat im KI-Zeitalter reale Chancen. Entscheidend ist aber nicht, wie laut darüber gesprochen wird, sondern wie schnell Mittelstand und Beratung KI in nützliche, vertrauenswürdige und messbare Systeme übersetzen.

Ein großes Modell für alles wirkt elegant, ist im Betrieb aber oft träge und teuer. Unsere Messungen auf Apple Silicon mit zwei kleinen Qwen-Varianten zeigen eine nüchternere Wahrheit: Wenn mehrere Ergebnisse gleichzeitig gebraucht werden, können parallele Spezialisten auf derselben Hardware mehr Durchsatz und bessere Reaktionszeiten liefern als ein monolithischer Einzelpfad.

Große Modelle ziehen die Aufmerksamkeit auf sich. Im Betrieb entscheidet jedoch oft etwas Nüchterneres: Welche KI läuft auf der vorhandenen Hardware schnell, stabil und ohne Cloud-Abhängigkeit? Unsere Messungen auf einem OnePlus 5T mit Snapdragon 835 zeigen, dass kleine Modelle auf alten CPUs durchaus praktisch sein können, allerdings nur dann, wenn Quantisierung, Laufzeitumgebung und Instruktionssatz wirklich zusammenpassen.

Wir leben längst in einer Welt aus Software. Spannender ist aber die nächste Frage: Was, wenn nicht nur unsere Geräte, sondern auch viele natürliche Systeme nach softwareähnlichen Prinzipien funktionieren? Das Paper "Software in the Natural World" schlägt genau diese Perspektive vor. Es zeigt, wie in komplexen Systemen Ebenen entstehen, die fast wie eigene Programme wirken. Für KI, Modellarchitektur und die geisten-Landschaft ist das mehr als eine Metapher.

Der Raspberry Pi 5 ist kein GPU-Monster, aber genau deshalb ist er ein interessanter Prüfstand für lokale KI. In Kombination mit TinyStories lässt sich sehr konkret zeigen, was kleine Sprachmodelle heute schon auf günstiger Hardware leisten. Dieser Beitrag erklärt, warum TinyStories gut zum Pi 5 passt, welche Grenzen Sie realistisch erwarten sollten und wie Sie einen ersten lokalen Textgenerator sauber aufsetzen.

Wer bei KI nur auf Milliarden Parameter schaut, übersieht gerade die spannendere Entwicklung. Mit TinyStories zeigen Ronen Eldan und Yuanzhi Li, dass schon Modelle mit weniger als 10 Millionen Parametern zusammenhängende Geschichten schreiben können. Microsofts Phi-3-mini verschiebt dieselbe Idee in die Praxis: 3,8 Milliarden Parameter, trainiert auf 3,3 Billionen Tokens und klein genug für den lokalen Einsatz auf einem Smartphone. Für lokale KI, Edge-Geräte und effiziente Inference ist das kein Nebenschauplatz, sondern ein Richtungswechsel.

Llama 3, die Open-Source-GPT, wurde kürzlich veröffentlicht und bietet jetzt eine spannende Gelegenheit für alle, die sich für generative KI interessieren. Wenn du bereits mit ChatGPT experimentiert hast und neugierig auf die Open-Source-Varianten bist, dann ist Ollama ein guter Startpunkt.