Icon

KNIME AI Learnathon @UniPA - AI generativa low code, una soluzione locale - Solution

Impara come utilizzare un LLM locale e il contesto creato dai tuoi documenti, porre domande riguardanti il loro contenuto per avere le migliori risposte dalla AI generativa, tutto senza scrivere codice, seguendo la filosofia low code.

URL: 4 levels of LLM customization - KNIME Blog https://www.knime.com/blog/4-levels-llm-customization
URL: AI Learnathons - KNIME Forum https://forum.knime.com/t/knime-ai-learnathons-are-here/73733
URL: How to Build AI-Powered Data Apps using KNIME - KNIME Webinar https://hopin.com/events/how-to-build-ai-powered-data-apps-using-knime-4bc6c73d-ae97-4c5f-be30-c0d8ea2dd52c
URL: The Cathedral and the Bazaar https://monoskop.org/images/e/e0/Raymond_Eric_S_The_Cathedral_and_the_Bazaar_rev_ed.pdf

A) Carico il database vettoriale dove ho salvato il contesto B) Carico il file con le domande e le risposte, che utilizzerò per verificare l'output del Prompter C) Invio ogni domanda al nodo di Retriever per trovare i contesti più pertinenti D) Preparo la domanda da inviare al LLM locale, inserendo i contesti trovati E) Colleziono le risposte del LLM F) Confronto le risposte ricevute con quelle presenti nel file delle domande G) Salvo le risposte in un file excel nello spazio dati locale
A) mi collego a GPT4ALL e seleziono un embedder (deve essere presente sul proprio PC o può essere scaricato) B) effettuo il persing dei documenti PDF che voglio usare per creare un contesto da passare al LLM locale per le successive interrogazioni C) Salvo il contesto in un database vettoriale
Invio le query al LLM locale
LLM Prompter
Carico l'embedder
GPT4All Embeddings Connector
creo il contesto
FAISS Vector Store Creator
Recupero il contesto
Vector Store Retriever
Leggo il file con le domande e le risposte corrette
Excel Reader
prompt engineering
String Manipulation
Leggo il modello che ho salvato
Model Reader
Salvo il contesto in un modello
Model Writer
Salvo le risposte del LLM
Excel Writer
affianco le risposte a quelle del LMM
Column Appender
Confronto le risposte corrette con quelle del LLM
Table View (JavaScript)
Mi collego al LLM locale
GPT4All Chat Model Connector
Estrazione dei paragrafi
Sentence Extractor
rimozione della colonna delle risposte
Column Filter
Rimozione dei paragrafi con meno di 5 termini
Row Filter
Filtro le risposte del LLM
Column Filter
Parsing dei PDFs
PDF Parser

Nodes

Extensions

Links