Stop Word Filter

Filters all terms of the input documents, which are contained in the specified stop word list and/or in the second input table. The node provides built-in stop word lists for various languages. Additionally, stop words can be passed to the second input port. At least one stopword list (built-in or custom list) has to be selected in the dialog.

Options

Filter options

Use built-in list

Specifies if built-in stop word list is used or not. If checked the second input table will be ignored.

Stopword lists

Available built-in stop word lists. If "Use built-in list" is checked, the built-in stop word list to use can be specified here.

Use custom list

If checked, the custom stop word list from the second input port is used.

Stopword column

The string column from the second input port which contains one stop word per row.

Case sensitive

If checked the stop words are matched case sensitive otherwise not.

Preprocessing options

Document column

The column containing the documents to preprocess.

Replace documents

If checked, the documents will be replaced by the new preprocessed documents. Otherwise the preprocessed documents will be appended as new column.

Append column

The name of the new appended column, containing the preprocessed documents.

Ignore unmodifiable tag

If checked, unmodifiable terms will be preprocessed too.

Input Ports

The input table which contains the documents to preprocess.

The input table which contains a string column with one stop word per row.

Output Ports

The output table which contains the preprocessed documents.

Best Friends (Incoming)

• Punctuation Erasure (14 %) Streamable
• Case Converter (10 %) Streamable
• N Chars Filter (10 %) Streamable
• File Reader (9 %) Streamable
• Number Filter (9 %) Streamable
• Strings To Document (7 %) Streamable
• Excel Reader (XLS) (6 %) StreamableDeprecated
• Table Creator (5 %) 
• RegEx Filter (4 %) Streamable
• Stop Word Filter (4 %) Streamable
• Row Filter (2 %) Streamable
• Snowball Stemmer (2 %) Streamable
• Table Reader (1 %) Streamable
• Case Converter (1 %) Streamable
• Column Filter (1 %) Streamable
• Bag Of Words Creator (1 %) 
• CSV Reader (< 1 %) 
• String Manipulation (< 1 %) Streamable
• String Replace (Dictionary) (< 1 %) Streamable
• Replacer (< 1 %) Streamable
• Stanford Lemmatizer (< 1 %) Streamable
• POS Tagger (< 1 %) Streamable
• Database Reader (legacy) (< 1 %) 
• Line Reader (< 1 %) Deprecated
• Loop End (< 1 %) 
• Concatenate (Optional in) (< 1 %) StreamableDeprecated
• Create Bit Vector (< 1 %) 
• GroupBy (< 1 %) 
• Column Rename (< 1 %) Streamable
• String Replacer (< 1 %) Streamable
• Diacritic Remover (< 1 %) Streamable
• Porter Stemmer (< 1 %) Streamable
• Tag Filter (< 1 %) Streamable
• Flat File Document Parser (< 1 %) 
• PDF Parser (< 1 %) 
• Word Parser (< 1 %) 
• Dictionary Tagger (< 1 %) Streamable
• OpenNLP NE Tagger (< 1 %) Streamable
• Oscar Tagger (< 1 %) Streamable
• Term To String (< 1 %) 
• XPath (< 1 %) Streamable
• Show all 41 recommendations

Best Friends (Outgoing)

• Case Converter (16 %) Streamable
• Bag Of Words Creator (9 %) 
• Snowball Stemmer (9 %) Streamable
• Stanford Lemmatizer (5 %) Streamable
• Topic Extractor (Parallel LDA) (5 %) 
• N Chars Filter (5 %) Streamable
• Stop Word Filter (5 %) Streamable
• Number Filter (4 %) Streamable
• Punctuation Erasure (4 %) Streamable
• Tag Filter (4 %) Streamable
• TF (3 %) 
• RegEx Filter (3 %) Streamable
• POS Tagger (3 %) Streamable
• Document Viewer (2 %) 
• Keygraph Keyword Extractor (2 %) 
• NGram Creator (2 %) 
• Dictionary Filter (2 %) Streamable
• Porter Stemmer (2 %) Streamable
• Zemberek Stemmer (1 %) Streamable
• Diacritic Remover (1 %) Streamable
• Dictionary Tagger (Multi Column) (1 %) Streamable
• Stanford Tagger (1 %) Streamable
• Document Data Extractor (1 %) 
• Tag Cloud (1 %) 
• Table Writer (< 1 %) 
• Case Converter (< 1 %) Streamable
• Column Filter (< 1 %) Streamable
• Row Filter (< 1 %) Streamable
• GroupBy (< 1 %) 
• Joiner (< 1 %) 
• Normalizer (< 1 %) 
• String Manipulation (< 1 %) Streamable
• String Replacer (< 1 %) Streamable
• Rule-based Row Filter (< 1 %) Streamable
• Extract Table Dimension (< 1 %) 
• Dictionary Replacer (< 1 %) Streamable
• Replacer (< 1 %) Streamable
• Dictionary Tagger (< 1 %) Streamable
• Wildcard Tagger (< 1 %) Streamable
• OpenNLP NE Tagger (< 1 %) Streamable
• Show all 40 recommendations

Workflows

• 00_​Guided_​Labeling_​for_​Document_​Classification_​(legacy) (KNIME Hub) 
• 01_​Document_​clustering (KNIME Hub) 
• 01_​Document_​clustering (KNIME Hub) 
• 01_​Guided_​Labeling_​for_​Document_​Classification (KNIME Hub) 
• 01_​Guided_​Labeling_​for_​Document_​Classification (KNIME Hub) 
• 01_​Initial_​Model_​Training (KNIME Hub) 
• 02_​Active_​Learning_​for_​Document_​Classification (KNIME Hub) 
• 02_​Document_​Classification (KNIME Hub) 
• 02_​NetworkAnalytics_​meets_​TextProcessing (KNIME Hub) 
• 03_​Access_​YouTube_​REST_​API (KNIME Hub) 
• 03_​Access_​YouTube_​REST_​API (KNIME Hub) 
• 03_​Sentiment_​Classification (KNIME Hub) 
• 03_​Visualizing_​Git_​Statistics_​for_​Guided_​Analytics (KNIME Hub) 
• 03_​Visualizing_​Git_​Statistics_​for_​Guided_​Analytics (KNIME Hub) 
• 04 Preprocessing - solution (KNIME Hub) 
• 04_​Using_​Jupyter_​from_​KNIME_​to_​embed_​documents (KNIME Hub) 
• 04_​Using_​Jupyter_​from_​KNIME_​to_​embed_​documents (KNIME Hub) 
• 05 Preprocessing II - bonus (KNIME Hub) 
• 05 Preprocessing II - solution (KNIME Hub) 
• 05_​Named_​Entity_​Tag_​Cloud (KNIME Hub) 
• 05_​Named_​Entity_​Tag_​Cloud (KNIME Hub) 
• 06 Transformation (KNIME Hub) 
• 06 Transformation - solution (KNIME Hub) 
• 06_​AL_​Extend_​Expert_​Classes_​with_​kNN (KNIME Hub) 
• 07 Classification (KNIME Hub) 
• 07 Classification - solution (KNIME Hub) 
• 08 Classification II - bonus (KNIME Hub) 
• 08 Classification II - solution (KNIME Hub) 
• 08_​Streaming_​Sentiment_​Classification (KNIME Hub) 
• 09 Classification III - solution (KNIME Hub) 
• 10_​Discover_​Secret_​Ingredient (KNIME Hub) 
• 10_​Using_​Semantic_​Web_​to_​generate_​Simpsons_​TagCloud (KNIME Hub) 
• 11 Visualization (KNIME Hub) 
• 11 Visualization - solution (KNIME Hub) 
• 12_​DocumentVector_​FeatureSpaceAdaption (KNIME Hub) 
• 13 Clustering (KNIME Hub) 
• 13 Clustering - solution (KNIME Hub) 
• 13_​DocumentVector_​Hashing (KNIME Hub) 
• 15_​Interactive_​dashboard_​netflix_​shows_​advanced (KNIME Hub) 
• 17_​TopicExtraction_​with_​the_​ElbowMethod (KNIME Hub) 
• 19_​Analyse_​and_​Visualize_​Job_​Postings (KNIME Hub) 
• 20_​Blend_​Languages_​in_​Tag_​Cloud (KNIME Hub) 
• 21_​Word_​Embedding_​Distance (KNIME Hub) 
• 22_​Hierarchical_​Clustering_​Visualization (KNIME Hub) 
• 25_​Topic_​Detection_​LDA (KNIME Hub) 
• 26_​Sentiment_​Analysis_​Lexicon_​Based_​Approach (KNIME Hub) 
• Document Pre-processing (KNIME Hub) 
• Document Scrubber (KNIME Hub) 
• Guess_​the_​Song (KNIME Hub) 
• Horizon 2020 (KNIME Hub) 
• IMDB_​Sentiment_​With_​Viz (KNIME Hub) 
• Interactive_​Tag_​Cloud_​from_​Twitter_​Search (KNIME Hub) 
• KNIME_​project (KNIME Hub) 
• Meister_​NLP (NodePit Space) 
• meister_​nlp (NodePit Space) 
• PhD_​Articles (Seen Another Way) 
• Public (KNIME Hub) 
• Scrape (KNIME Hub) 
• Sentiment_​Machine_​Learning (KNIME Hub) 
• text clustering of Wikipeidia articles (KNIME Hub) 
• TextMining_​IS_​Literature_​BoW_​LDA (KNIME Hub) 
• TextMining_​IS_​Literature_​BoW_​LDA (KNIME Hub) 
• TextMining_​MovieBoxOfficePrediction (KNIME Hub) 
• TextMining_​MovieBoxOfficePrediction (KNIME Hub) 
• Topic Detection Based on Movie Reviews (KNIME Hub) 
• Topic Detection Based on Movie Reviews (KNIME Hub) 
• Topic modeling (KNIME Hub) 
• TopicModeling_​on_​Biomedical_​Literature (KNIME Hub) 
• TroveKleaner (Seen Another Way) 
• TroveKleaner (KNIME Hub) 
• Show all 70 workflows

Installation

To use this node in KNIME, install KNIME Textprocessing from the following update site:

A zipped version of the software site can be downloaded here. Read our FAQs to get instructions about how to install nodes from a zipped update site.

Developers

You want to see the source code for this node? Click the following button and we’ll use our super-powers to find it for you.