Frequency Filter

Filters terms in the given bag of words with a certain frequency value. On the one hand minimum and maximum values can be defined to be used for filtering. If the value of a specified frequency column is less than the minimum or greater than the maximum value the term is filtered. On the other hand a number k of terms to keep can be defined. Only those k terms with the highest frequency value are kept, the rest is filtered.

Options

Filter options

Filter unmodifiable terms

Usually terms which have been set unmodifiable are not modified or filtered. If this setting is checked, these terms are filtered as well if they don't fit the specified requirements.

Filter column

The column containing the values to apply the filtering, i.e. the TF measure of each term can be computed before by the TF node. Once the column is appended, the filtering can be applied to this values.

Filtering by

The filter option specifies which filtering is be applied, the threshold filtering or the number of terms filtering. The threshold filtering keeps all rows with values contained in the specified filter column which are greater than the specified min and less than the maximum value. The number of terms filter on the other hand keeps a number K rows with the highest values.

Threshold settings

Specifies the minimum and the maximum threshold of the values of the filter column.

Number of terms settings

Specifies a number K of rows to keep, the rest is filtered out. Only these K rows with the highest value of the filter column are kept.

Deep Filtering

Document column

Specifies the column containing the documents to apply the filtering.

Deep filtering

If deep filtering is checked, the terms contained inside the documents are filtered too, this means that the documents are changed, which is more time consuming.

Input Ports

The input table which contains terms and documents.

Output Ports

The output table which contains terms documents and a corresponding frequency value.

Best Friends (Incoming)

• TF (19 %) 
• Java Snippet (6 %) Streamable
• IDF (6 %) 
• Math Formula (5 %) Streamable
• DF (4 %) 
• GroupBy (3 %) 
• ICF (3 %) 
• Statistics (2 %) 
• Bag Of Words Creator (2 %) 
• CSV Reader (2 %) 
• Column Filter (2 %) Streamable
• Tag Stripper (2 %) Streamable
• Bag of Words Creator (2 %) Deprecated
• Term To String (2 %) 
• Java Edit Variable (1 %) 
• Scorer (1 %) 
• Row Filter (1 %) Streamable
• Joiner (1 %) 
• Column Rename (1 %) Streamable
• Sorter (1 %) 
• Value Counter (1 %) 
• Excel Reader (XLS) (1 %) Streamable
• Term Co-Occurrence Counter (1 %) 
• Tag Filter (1 %) Streamable
• Strings To Document (1 %) StreamableDeprecated
• Strings To Document (1 %) Streamable
• String To Term (1 %) 
• String To Term (1 %) 
• Split Collection Column (< 1 %) 
• File Reader (< 1 %) Streamable
• Table Reader (< 1 %) Streamable
• Table Creator (< 1 %) 
• Auto-Binner (< 1 %) 
• Numeric Binner (< 1 %) Streamable
• Column Combiner (< 1 %) Streamable
• Column Appender (< 1 %) Streamable
• Constant Value Column (< 1 %) Streamable
• Cross Joiner (< 1 %) Streamable
• Nominal Value Row Splitter (< 1 %) Streamable
• Pivoting (< 1 %) 
• Normalizer (PMML) (< 1 %) 
• String Manipulation (< 1 %) Streamable
• Rule-based Row Filter (< 1 %) Streamable
• Color Manager (< 1 %) 
• Similarity Search (< 1 %) 
• Excel Reader (XLS) (< 1 %) StreamableDeprecated
• Java Snippet (simple) (< 1 %) 
• Term Document Entropy (< 1 %) 
• Frequency Filter (< 1 %) 
• Topic Extractor (Parallel LDA) (< 1 %) 
• Keygraph Keyword Extractor (< 1 %) 
• NGram Creator (< 1 %) 
• NGram Creator (< 1 %) 
• String Matcher (< 1 %) 
• N Chars Filter (< 1 %) Streamable
• Number Filter (< 1 %) Streamable
• Punctuation Erasure (< 1 %) Streamable
• RegEx Filter (< 1 %) Streamable
• Replacer (< 1 %) Streamable
• Snowball Stemmer (< 1 %) Streamable
• Stop Word Filter (< 1 %) StreamableDeprecated
• Document Grabber (< 1 %) 
• Word Parser (< 1 %) 
• OpenNLP NE tagger (< 1 %) StreamableDeprecated
• OpenNLP NE Tagger (< 1 %) Streamable
• Document vector (< 1 %) Deprecated
• Sentence Extractor (< 1 %) 
• Term Vector (< 1 %) 
• Line Plot (< 1 %) 
• Show all 69 recommendations

Best Friends (Outgoing)

• Tag Cloud (22 %) 
• Color Manager (8 %) 
• Document vector (4 %) Deprecated
• Document Vector (4 %) 
• Topic Extractor (Parallel LDA) (4 %) 
• GroupBy (3 %) 
• Tag Cloud (3 %) 
• Interactive Table (local) (2 %) 
• Document Viewer (2 %) 
• Data to Report (1 %) 
• Scorer (1 %) 
• DF (1 %) 
• TF (1 %) 
• Tags To String (1 %) 
• Term To String (1 %) 
• Term To String (1 %) 
• Plate Heatmap Viewer (< 1 %) 
• CSV Writer (< 1 %) Streamable
• Loop End (< 1 %) 
• Hierarchical Clustering (< 1 %) 
• Decision Tree Learner (< 1 %) 
• PCA (< 1 %) Deprecated
• Case Converter (< 1 %) Streamable
• Domain Calculator (< 1 %) 
• Column Filter (< 1 %) Streamable
• Row Splitter (< 1 %) Streamable
• Row Filter (< 1 %) Streamable
• Reference Row Filter (< 1 %) 
• Reference Row Splitter (< 1 %) 
• Joiner (< 1 %) 
• RowID (< 1 %) Streamable
• Sorter (< 1 %) 
• String Manipulation (< 1 %) Streamable
• String Replacer (< 1 %) Streamable
• Rank Correlation (< 1 %) 
• Statistics (< 1 %) 
• Similarity Search (< 1 %) 
• Math Formula (< 1 %) Streamable
• HeatMap (JFreeChart) (< 1 %) 
• Line Chart (JFreeChart) (< 1 %) 
• Pie Chart (JFreeChart) (< 1 %) 
• Scatter Plot (JFreeChart) (< 1 %) 
• Bubble Chart (JFreeChart) (< 1 %) 
• Excel Writer (XLS) (< 1 %) 
• Java Snippet (simple) (< 1 %) 
• Term Co-Occurrence Counter (< 1 %) 
• Term Co-Occurrence Counter (< 1 %) 
• Frequency Filter (< 1 %) 
• IDF (< 1 %) 
• Category To Class (< 1 %) 
• Category To Class (< 1 %) 
• Chi-Square Keyword Extractor (< 1 %) 
• Chi-Square Keyword Extractor (< 1 %) 
• Keygraph Keyword Extractor (< 1 %) 
• String Matcher (< 1 %) 
• Dictionary Replacer (File-based) (< 1 %) Streamable
• Modifiable Term Filter (< 1 %) Streamable
• Punctuation Erasure (< 1 %) Streamable
• Stop Word Filter (< 1 %) StreamableDeprecated
• Dictionary tagger (< 1 %) StreamableDeprecated
• Document Data Extractor (< 1 %) Deprecated
• Document Data Extractor (< 1 %) 
• Strings To Document (< 1 %) Streamable
• String To Term (< 1 %) 
• Term Vector (< 1 %) 
• Multi Feature Inserter (< 1 %) 
• Object Inserter (< 1 %) 
• Show all 67 recommendations

Workflows

• Document Pre-processing
• 03_​Visualizing_​Git_​Statistics_​for_​Guided_​Analytics
• 05_​Named_​Entity_​Tag_​Cloud
• 19_​Analyse_​and_​Visualize_​Job_​Postings
• 10_​Using_​Semantic_​Web_​to_​generate_​Simpsons_​TagCloud

Installation

To use this node in KNIME, install KNIME Textprocessing from the following update site:

Developers

You want to see the source code for this node? Click the following button and we’ll use our super-powers to find it for you.