Zum Inhalt wechseln 
Leistungsstarke Cloud-KI-Dienste sind häufig mit hohen Kosten verbunden. Doch es gibt eine Alternative: Mit den Open-Source-Tools Ollama und AnythingLLM können Sie beliebige quantisierte Sprachmodelle lokal auf Ihrem eigenen Computer als intelligente Agenten mit vielfältigen Fähigkeiten nutzen – vollkommen privat und kostenfrei.
Quantisierung: Der Schlüssel für die lokale Ausführung massiver Sprachmodelle
Die Herausforderung bei der lokalen Ausführung riesiger KI-Modelle wie Llama 3 mit bis zu 70 Milliarden Parametern liegt in der enormen Rechenlast. Hier kommt die Quantisierung ins Spiel: Dabei wird das Modell komprimiert, um die Anforderungen an Arbeitsspeicher und Rechenleistung zu reduzieren.
Je höher der Quantisierungsgrad (Q1 ist höchste Komprimierung, Q8 geringste), desto kleiner wird das Modell, aber auch unpräziser. Wir empfehlen daher für den Einsatz als Agent die Q8-Version von Llama 3 zu verwenden. So lässt sich bereits auf moderater Hardware wie einem älteren Macbook zuverlässig arbeiten.
Schritt-für-Schritt-Anleitung: Llama 3 Q8 als Agent einrichten
- Installieren Sie Ollama für Windows, Mac oder Linux
- Gehe auf https://ollama.com/library/llama3:8b-instruct-q8_0 , um die aktuellste Llama Version zu bekommen
- Laden Sie AnythingLLM für Ihr System auf https://useanything.com/download herunter
- Starten Sie AnythingLLM und verknüpfen Sie es mit der Ollama-Instanz so:
Nutze Ollama als externe Verbindung füge die Adresse aus Enro in das erste Fenster ein. Dann siehst du, dass die ChatBots geladen sind und klickst auf das Q88 Model. Im dritten Kontext Fenster schreibst du 8192.
- Fertig! Ihr Llama 3 Q8-Modell ist jetzt als leistungsfähiger Agent einsetzbar
Unbegrenzte Funktionen durch Selbstdefinition von „Skills“
Standardmäßig bietet AnythingLLM bereits nützliche Fähigkeiten wie Webscraping, Dokumentenzusammenfassung, Datenvisualisierung und Websuche. Doch das ist nur der Anfang: Die Software erlaubt es, eigene Agenten-„Skills“ über einen einfachen Befehl zu definieren und unbegrenzte Funktionen hinzuzufügen.
Anwendungsfall 1: Automatische Dokumenten-Zusammenfassungen
Ein häufiger Use-Case ist die automatische Zusammenfassung von Dokumenten. Hier zeigt Kbat im Video anschaulich, wie es funktioniert:
- Neuen Arbeitsbereich in AnythingLLM erstellen
- Relevante Dokumente zum Thema hochladen
- Agenten per Text auffordern: „Fasse readme.pdf zusammen“
- Innerhalb von Sekunden erstellt der Agent eine präzise Zusammenfassung
Dabei läuft die gesamte Verarbeitung lokal auf dem eigenen Computer ab. Eine enorme Zeitersparnis gegenüber manuellen Zusammenfassungen!
Anwendungsfall 2: Webdatenextraktion und -analyse
Ein weiterer nützlicher Anwendungsfall ist das Scraping und die Analyse von Webdaten. Hier gehts Schritt für Schritt:
- Agenten per Text auffordern: „Scrappe anything.llm und nenne mir die Hauptfunktionen“
- Der Agent scrapt die anything.llm-Website und extrahiert die gewünschten Informationen
- Ausgabe: Präzise Textantwort mit den Hauptfunktionen
- Diese Daten können für weitere Analysen, Vergleiche etc. genutzt werden
Die beschriebene Vorgehensweise lässt sich auf unzählige Anwendungsfälle im Bereich Webdatenextraktion und -analyse übertragen.
Grenzenlose Möglichkeiten durch Open-Source-Ansatz
AnythingLLM ist von Grund auf als Open-Source-Projekt konzipiert. Nutzer können die Anwendung also nicht nur kostenlos verwenden, sondern auch den Quellcode nach Belieben anpassen und erweitern. So lassen sich maßgeschneiderte Enterprise-Lösungen für KI-Anwendungsfälle aller Art entwickeln.
Dank Ollama und AnythingLLM müssen leistungsfähige KI-Modelle nicht mehr in der Cloud laufen. Mit diesem Werkzeug-Setup können sie stattdessen lokal, privat und kostengünstig als intelligente Wissensarbeiter eingesetzt werden. Die Möglichkeiten sind schier grenzenlos – beschränkt nur durch die Kreativität der Entwickler, neue „Skills“ für die Agenten zu programmieren. Eine spannende Zukunft für den produktiven Einsatz von KI in Unternehmen zeichnet sich ab!
