Icon

KNIME AI Learnathon @UniPA - AI generativa low code, una soluzione locale - Esercizio

Impara come utilizzare un LLM locale e il contesto creato dai tuoi documenti, porre domande riguardanti il loro contenuto per avere le migliori risposte dalla AI generativa, tutto senza scrivere codice, seguendo la filosofia low code.

URL: 4 levels of LLM customization - KNIME Blog https://www.knime.com/blog/4-levels-llm-customization
URL: AI Learnathons - KNIME Forum https://forum.knime.com/t/knime-ai-learnathons-are-here/73733
URL: How to Build AI-Powered Data Apps using KNIME - KNIME Webinar https://hopin.com/events/how-to-build-ai-powered-data-apps-using-knime-4bc6c73d-ae97-4c5f-be30-c0d8ea2dd52c

A) Carico il modello salvato nel workflow precedente tramite il nodo Model ReaderB) Carico il file con le domande e le risposte con il nodo Excel ReaderC) Seleziono, dal file excel con le domande e le risposte, la colonna con le domande con un nodo Column FilterD) Collego il modello caricato al punto A) con il nodo Vector Store Retriever e inserisco come input, le domande filtrate al punto C)E) Creo il prompt con il nodo String Manipulation: ricorda di utilizzare lo schema ISTRUZIONI:CONTESTO:DOMANDA. Inserisci nei segnaposto le colonne pertinenti.F) Effettuo la connessione al modello LLM locale con il nodo GPT4ALL Chat Model ConnectorG) Inserisco il nodo LLM prompter collegandolo al nodo GPT4ALL Chat Model Connector; come input utilizzo la sequenza di prompt creata al punto E)H) Filtro le risposte del nodo LLM prompter con un nodo Column FilterI) Affianco le colonne questions, correct_answer del file excel caricato al punto B) con la risposte filtrate al punto H), utilizzando un nodo Column AppenderL) Visualizzo affiancate le domande, le risposte corrette e le risposte restituite dal modello LLM locale per mezzo di un nodo Table ViewM) Salvo i dati elaborati fino a qui con un nodo Excel Writer A) Utilizzo il nodo GPT4ALL Embeddings Connector per connettermi ad un modello LLM di embeddingB) Effettuo il parsing del/i documento/o con il nodo PDF ParserC) estraggo i paragrafi con nodo Sentence ExtractorD) Filtro i paragrafi con meno di 5 termini con un nodo Row filterE) Collego il nodo di embedding con un nodo FAISS Vector Store Creator e utilizzo come ingresso le sentences estratte primaF) Salvo il modello costituito dall'unione dei termini con i parametri di embedded, inseriti nel database vettoriale, con il nodo ModelWriter Parsingdei PDFsSalvo il contestoin un modelloLeggo il filecon le domandee le rispostecorretteSalvo le rispostedel LLMaffianco le rispostea quelle del LMMprompt engineeringLeggo il modelloche ho salvatoCarico l'embedderMi collego al LLM locale PDF Parser Model Writer Excel Reader Excel Writer Column Appender String Manipulation Model Reader GPT4All EmbeddingsConnector GPT4All ChatModel Connector A) Carico il modello salvato nel workflow precedente tramite il nodo Model ReaderB) Carico il file con le domande e le risposte con il nodo Excel ReaderC) Seleziono, dal file excel con le domande e le risposte, la colonna con le domande con un nodo Column FilterD) Collego il modello caricato al punto A) con il nodo Vector Store Retriever e inserisco come input, le domande filtrate al punto C)E) Creo il prompt con il nodo String Manipulation: ricorda di utilizzare lo schema ISTRUZIONI:CONTESTO:DOMANDA. Inserisci nei segnaposto le colonne pertinenti.F) Effettuo la connessione al modello LLM locale con il nodo GPT4ALL Chat Model ConnectorG) Inserisco il nodo LLM prompter collegandolo al nodo GPT4ALL Chat Model Connector; come input utilizzo la sequenza di prompt creata al punto E)H) Filtro le risposte del nodo LLM prompter con un nodo Column FilterI) Affianco le colonne questions, correct_answer del file excel caricato al punto B) con la risposte filtrate al punto H), utilizzando un nodo Column AppenderL) Visualizzo affiancate le domande, le risposte corrette e le risposte restituite dal modello LLM locale per mezzo di un nodo Table ViewM) Salvo i dati elaborati fino a qui con un nodo Excel Writer A) Utilizzo il nodo GPT4ALL Embeddings Connector per connettermi ad un modello LLM di embeddingB) Effettuo il parsing del/i documento/o con il nodo PDF ParserC) estraggo i paragrafi con nodo Sentence ExtractorD) Filtro i paragrafi con meno di 5 termini con un nodo Row filterE) Collego il nodo di embedding con un nodo FAISS Vector Store Creator e utilizzo come ingresso le sentences estratte primaF) Salvo il modello costituito dall'unione dei termini con i parametri di embedded, inseriti nel database vettoriale, con il nodo ModelWriter Parsingdei PDFsSalvo il contestoin un modelloLeggo il filecon le domandee le rispostecorretteSalvo le rispostedel LLMaffianco le rispostea quelle del LMMprompt engineeringLeggo il modelloche ho salvatoCarico l'embedderMi collego al LLM locale PDF Parser Model Writer Excel Reader Excel Writer Column Appender String Manipulation Model Reader GPT4All EmbeddingsConnector GPT4All ChatModel Connector

Nodes

Extensions

Links

Download

To use this workflow in KNIME, download it from the below URL and open it in KNIME:

Download Workflow
Created by: Paolo Tamagnini
Created at: 2023-10-23
On NodePit since: 2024-03-28
Last update: 2024-05-01
Created with KNIME version: v5.2.2
Tags: LLMLearnathonKNIME AI ExtensionVector DBGPT4ALL

Deploy, schedule, execute, and monitor your KNIME workflows locally, in the cloud or on-premises – with our brand new NodePit Runner.

Try NodePit Runner!