Icon

Ejercicio Gen AI Módulo 4

You can easily download and run the workflow directly in your KNIME installation. We recommend that you use the latest version of the KNIME Analytics Platform for optimal performance.

Hugging Face is a platform that helps developers and researchers work with language-related tasks, like understanding and generating text.
It provides tools and libraries that make it easier to build and use models for tasks like classifying text, understanding sentiment, and translating languages.

Instructions:

1. In order to run this workflow you need an access token for Hugging Face Hub.
If you don't already have one, create an account on https://huggingface.co/, go to https://huggingface.co/settings/tokens and create a new token.

2. This workflow uses "HuggingFace/zephyr-7b-alpha" model. Text generating models can be found at Hugging Face Hub (see external resources).
Models must be able to use the Inference API.

URL: Hugging Face Hub https://huggingface.co/
URL: Hugging Face Hub Access Tokens https://huggingface.co/settings/tokens
URL: Hugging Face Hub Models https://huggingface.co/models?pipeline_tag=text-generation&sort=trending

Self Hosted LLMs usando GPT4All

  • Este workflow muestra cómo utilizar un modelo GPT4All local.

  • Para poder utilizarlo, previamente debe estar descargado el LLM que utilicemos, por ejemplo Phi-3.

Respuestas

El LLM generará respuestas de estilo humano, basado en los prompts que se le proveyeron. Esto significa que puede generar texto similar a un humano en función de una entrada determinada. Se utiliza para una amplia gama de tareas de generación y comprensión del lenguaje natural. En este caso utilizaremos nuestro pequeño modelo para responder preguntas concretas.

Modelo

Utilizaremos el modelo open source Phi-3 mini, de contexto 4K, de Microsoft. Revisar la configuración de este nodo para que esté apuntando correctamente al archivo del modelo.

Prompts

En esta tabla especificamos las acciones que queremos que nuestro modelo resuelva. Notar que al tratarse de un modelo reducido, sólo podrá resolver un dominio restringido de preguntas.

Prompts con las acciones deseadas
Table Creator
Local GPT4All LLM Connector

Nodes

Extensions

Links