Icon

Web Scrapping

Web ScrappingObjectif : Le web scraping (ou extraction de données web) est une technique permettant d'automatiser l'extraction de donnéesà partir de sites web. Il s'agit d'un processus où un programme ou un script accède aux pages web, en extrait le contenustructuré (comme du texte, des images, des tableaux, etc.), puis le stocke pour une utilisation ultérieure.Exemple : Extraire tous les titres qui existe dans la page internet du site science-ouverteRecette Knime : Webpage Retriever, XPath Ajouter l'URL du site Web à scrapperSélectionnez la colonne contenant le contenu XML/HTML.Dans la configuration, définissez une ou plusieurs expressions XPath pour extraire les données spécifiques :Par exemple, pour extraire les titres d'articles : //h1 ou //title.Pour un attribut spécifique : //@href pour les liens.Vous pouvez attribuer un nom à chaque extraction pour organiser les résultatsRécupération des titresPointer vers les paragraphesRécupération des paragraphesConcaténation des deux tablesAjouter une colonne pour avoir la date de la dernière MAJ Webpage Retriever XPath Column Filter XPath Column Filter Concatenate Column Expressions Web ScrappingObjectif : Le web scraping (ou extraction de données web) est une technique permettant d'automatiser l'extraction de donnéesà partir de sites web. Il s'agit d'un processus où un programme ou un script accède aux pages web, en extrait le contenustructuré (comme du texte, des images, des tableaux, etc.), puis le stocke pour une utilisation ultérieure.Exemple : Extraire tous les titres qui existe dans la page internet du site science-ouverteRecette Knime : Webpage Retriever, XPath Ajouter l'URL du site Web à scrapperSélectionnez la colonne contenant le contenu XML/HTML.Dans la configuration, définissez une ou plusieurs expressions XPath pour extraire les données spécifiques :Par exemple, pour extraire les titres d'articles : //h1 ou //title.Pour un attribut spécifique : //@href pour les liens.Vous pouvez attribuer un nom à chaque extraction pour organiser les résultatsRécupération des titresPointer vers les paragraphesRécupération des paragraphesConcaténation des deux tablesAjouter une colonne pour avoir la date de la dernière MAJ Webpage Retriever XPath Column Filter XPath Column Filter Concatenate Column Expressions

Nodes

Extensions

Links

Download

To use this workflow in KNIME, download it from the below URL and open it in KNIME:

Download Workflow
Created by: sbouras
Created at: 2025-01-07
On NodePit since: 2025-04-19
Last update: 2025-05-04
Created with KNIME version: v5.3.3

Deploy, schedule, execute, and monitor your KNIME workflows locally, in the cloud or on-premises – with our brand new NodePit Runner.

Try NodePit Runner!