GPT4All - Ein lokaler LLM Vector Store auf Deutsch

A) Wissensdatenbank erstellen

Schritt 1: Laden Sie die GPT4All-Modelle herunter, die Sie verwenden möchten

Platzieren Sie Ihre GPT4All-Modelle (.gguf) im Ordner ../gpt4all_models/. [https://gpt4all.io/index.html]

Schritt 2: Wählen Sie Ihr GPT4All-Modell aus

Wählen Sie das Modell (.gguf) aus, das Sie verwenden möchten. Der Name wird automatisch zum Text hinzugefügt.

Schritt 3: PDF-Text in Sätze unterteilen

Suchen, ziehen und setzen Sie den Knoten "Sentence Extractor" ein und führen Sie ihn auf der Spalte "Document" des "PDF Parser"-Knotens aus. Dadurch wird die Dokumentzelle in mehrere Zeilen aufgeteilt: eine Zeile für jeden Satz. Verwenden Sie dann einen "Row Filter"-Knoten, um alle Sätze unter 5 Begriffen zu entfernen.

Schritt 4: Erstellen Sie den Vektor-Speicher

Suchen, ziehen und setzen Sie den Knoten "FAISS Vector Store Creator" ein, verbinden Sie ihn mit dem "GPT4All Embeddings Connector" und Ihrem String-Abschnitts-Ausgang. Führen Sie den Knoten auf der Spalte mit den Strings aus, um den Vektor-Speicher zu erstellen.

Schritt 5: Speichern Sie den Vektor-Speicher

Speichern Sie den Vektor-Speicher, indem Sie einen "Model Writer"-Knoten hinzufügen. Zum korrekten Speichern können Sie einen relativen Pfad verwenden: Wählen Sie "Relative to" und dann "Workflow" und geben Sie den Namen des Vektor-Speichers an, wie zum Beispiel "vector_store.model". Die Modelle können ziemlich groß werden. Seien Sie sich dessen bewusst.

B) Verwendung eines LLM für eine Vervollständigungsaufgabe über die Wissensdatenbank

Schritt 1: Laden Sie das ausgewählte GPT4All-Modell

Laden Sie das Modell in den GPT4All Chat Model Connector. Hier können Sie die Flow Variable von der linken Seite verwenden.

Schritt 2: Übernehmen Sie die Wissensdatenbank aus dem Vektor-Speicher

Der Model Reader-Knoten liest aus dem Workflow-Datenbereich den Vektor-Speicher, den Sie zuvor erstellt haben. Das erneute Lesen des Vektor-Speichers von der Festplatte ist eine gute Praxis, um zu lernen, wie man mit einer festen Wissensdatenbank arbeitet. Sie können auch den Ausgang des FAISS Vector Store Creator aus Teil A) verwenden.

Schritt 3: Überprüfen und falls nötig bearbeiten Sie den Prompt

Sie möchten vielleicht einige Informationen und Anweisungen rund um die Frage, die Sie stellen möchten, bearbeiten.

Schritt 4: Verbinden Sie sich mit dem Vector Store Retriever und dem LLM Prompter, führen Sie die Fragen durch das Modell und den Vektor-Speicher

Ziehen Sie den Vector Store Retriever-Knoten und den LLM Prompter-Knoten ein, fügen Sie dazwischen einen String Manipulation-Knoten für Prompt Engineering ein.

Schritt 5: Exportieren Sie die Ergebnisse in eine Excel-Datei

Sie können die Tabelle über einen Excel Writer-Knoten speichern. Optional können Sie mit einem Table View-Knoten die Antworten des LLM und die, die wir mit den Fragen zum Vergleich importiert haben, gegenüberstellen.

Schritt 6: Überprüfen Sie die Ergebnisse

Überprüfen und vergleichen Sie die Ergebnisse.

=> Je nach LLM Modell können andere Prompts und Anweisungen hilfreich sein

Original adaptiert von diesem Workflow "KNIME GenAI Learnathon - Build a Chat Bot on a Knowledge Base - Solution"

https://hub.knime.com/-/spaces/-/~WNe6bb2w2bemYBWE/current-state/

MEDIUM Blog: KNIME, AI and local Large Language Models (LLM)

https://medium.com/p/cef650fc142b

Ein lokaler LLM Vector Store auf Deutsch - mit GPT4All und KNIME

[Bitte laden Sie die gesamte Workflow-Gruppe herunter - https://hub.knime.com/-/spaces/-/latest/~17k4zAECNryrZw1X/]

GPT4All ist ein Ökosystem zum Trainieren und Bereitstellen leistungsfähiger und maßgeschneiderter großer Sprachmodelle, die lokal auf Verbraucher-CPUs laufen. Das Ziel ist einfach - das beste anweisungsoptimierte Assistenten-Stil-Sprachmodell zu sein, das jede Person oder jedes Unternehmen frei nutzen, verteilen und darauf aufbauen kann.

Den Installer für GPT4All finden Sie hier (https://gpt4all.io/index.html). Benötigt wird mindestens KNIME 5.2 (https://www.knime.com/blog/whats-new-knime-analytics-platform-52).

Sie benötigen auch die KNIME AI Extension - wenn Sie sich hinter einer Firewall befinden, sehen Sie sich das unten stehende Kästchen an.

Um mehr über den Workflow zu erfahren, klicken Sie auf die linke Leiste und überprüfen Sie den Beschreibungsbereich. Weitere Modelle: https://gpt4all.io/index.html

Wenn Sie sich hinter einer Firewall befinden, müssen Sie möglicherweise zusätzliche Schritte unternehmen, um KNIME Python-basierte Erweiterungen wie "LLM Prompter" zu laden.

• https://docs.knime.com/latest/pure_python_node_extensions_guide/index.html#_offline_installation

• Installieren Sie Ihre Erweiterungen auf einem System, das vollen Internetzugang hat.

• Sammeln Sie alle Ihre Python-Pakete über die KNIME-Einstellungen ("Download required packages for offline installation to"). Es werden alle Python-Pakete für alle Umgebungen (Windows, Mac, Apple Silicon und Linux) heruntergeladen.

• Bringen Sie den Ordner auf Ihren Rechner hinter der Firewall.

• Richten Sie eine Umgebungsvariable "KNIME_PYTHON_PACKAGE_REPO_URL" mit dem Pfad dieses Ordners ein. https://forum.knime.com/t/ai-extension-cannot-be-installed-on-knime-5-1/71368/15?u=mlauber71

• Installieren Sie die Erweiterungen auf dem Firewall-Rechner (es wird das lokale Repository verwenden).

• Wenn Sie auf Probleme stoßen, sehen Sie sich die LOG-Datei an und finden Sie den Ordner mit der generierten Liste der installierten PIP-Erweiterungen (pip_pkg_urls.txt). Entfernen Sie alle Verweise auf externe Seiten (wie "https://files.pythonhosted.org/packages ...)", die dort sein könnten, und versuchen Sie es erneut.

• Aktuell (Dezember 2023) gibt es ein Problem mit der Einbindung von Embeddings wenn man hinter einem Proxy sitzt oder offline Arbeiten will. Ein Workaround ist hier beschrieben: https://forum.knime.com/t/community-nodes-knime-ai-extensions-gpt4all-connectors-bug-when-used-offline/76021/6?u=mlauber71

Es gibt ein Ticket, um das Proxy-Problem für Python-basierte Erweiterungen zu beheben (AP-20960):

https://forum.knime.com/t/knime-ai-extension-proxy-settings-are-not-taken-over/72391/3?u=mlauber71

C) 'Live'-Chat mit Ihrem GPT4All-Modell unter Verwendung des Vektor-Speichers

Schritt 1: Laden Sie das Modell und den Vektor-Speicher wie zuvor

Laden Sie das Modell in den GPT4All Chat Model Connector. Hier können Sie die Flow Variable von der linken Seite verwenden.

Schritt 2: Wählen Sie die anfängliche Rolle für den Prompt und die Anzahl der zu durchsuchenden Dokumente aus

Neben Ihrer präzisen Frage sollte eine Rolle definiert werden und einige zusätzliche Anweisungen gegeben sein.

MEDIUM Blog: Creating a Local LLM Vector Store from PDFs with KNIME and GPT4All

https://medium.com/p/311bf61dd20e

RLHF: Reinforcement Learning from Human Feedback

May 2, 2023 • Chip Huyen

https://huyenchip.com/2023/05/02/rlhf.html

Mistral-basiertes deutschsprachiges LLM Modell

https://huggingface.co/TheBloke/em_german_mistral_v01-GGUF

Aktuell gibt es einen Bug, dass wenn keine Internet Verbindung besteht die GPT4All Modelle dennoch deren Server aufrufen

(ein Ticket ist erstellt das zu beheben: AP-21736)

https://forum.knime.com/t/community-nodes-knime-ai-extensions-gpt4all-connectors-bug-when-used-offline/76021?u=mlauber71

Ein Workaround ist eine Option in einer Python Datei zu setzen:

https://forum.knime.com/t/community-nodes-knime-ai-extensions-gpt4all-connectors-bug-when-used-offline/76021/6?u=mlauber71