Overlay

Ollama Einrichtungsanleitung

Nutzen Sie Overlay mit Ollama für leistungsstarke lokale KI-Modelle

Ollama installieren
Installieren Sie zuerst Ollama auf Ihrem Computer

Besuchen Sie die offizielle Ollama-Website und folgen Sie den Installationsanweisungen für Ihr Betriebssystem:

https://ollama.ai/download
Modelle herunterladen
Laden Sie die Modelle herunter, die Sie verwenden möchten

Verwenden Sie den folgenden Befehl, um ein Modell herunterzuladen. Beispiel zum Herunterladen von Llama 3:

ollama pull llama3

Weitere beliebte Modelle sind: mistral, gemma, mixtral, phi, orca-mini und viele mehr.

Vollständige Modellbibliothek anzeigen
Ollama mit Unterstützung für Chrome-Erweiterungen ausführen
Kritischer Schritt: Führen Sie Ollama mit speziellen Flags aus, damit die Erweiterung eine Verbindung herstellen kann

WICHTIG: Sie müssen Ollama mit der Umgebungsvariable OLLAMA_ORIGINS ausführen, um die Unterstützung für Chrome-Erweiterungen zu ermöglichen!

Verwenden Sie diesen Befehl, um Ollama mit Erweiterungsunterstützung zu starten:

OLLAMA_ORIGINS=chrome-extension://* ollama serve

Dieser Befehl ermöglicht der Erweiterung die Verbindung zu Ihrem lokalen Ollama-Server. Lassen Sie dieses Terminalfenster geöffnet, während Sie Ollama mit Overlay verwenden.

Weitere Hilfe finden Sie in der Ollama-Dokumentation unter https://github.com/ollama/ollama/blob/main/docs/api.md

Fehlerbehebung
Häufige Probleme und Lösungen

Verbindungsprobleme

Stellen Sie sicher, dass Ollama mit dem korrekten OLLAMA_ORIGINS-Flag ausgeführt wird. Überprüfen Sie, ob keine Firewall die Verbindung blockiert.

Modelle werden nicht angezeigt

Überprüfen Sie, ob Sie die Modelle erfolgreich mit dem Befehl `ollama pull` heruntergeladen haben. Versuchen Sie, den Ollama-Server neu zu starten.

Langsame Leistung

Größere Modelle benötigen mehr Rechenressourcen. Erwägen Sie die Verwendung eines kleineren Modells, wenn Ihre Hardware begrenzt ist.