NGram Creator

This node creates ngrams from the documents of the input table and counts their frequencies. It can be specified whether word or character ngrams are created. Furthermore it can be specified whether the output table is of a bag of words like structure or a data table containing ngrams and their frequencies in the corpus and documents.

Options

N

The N value for ngram creation.

NGram type

The type (Word or Character) specifies whether word or character ngrams are created.

Document column

The column containing the input documents to create the ngrams of.

Output table

Specifies the structure of the output data table. The "Ngram frequencies" option creates an output table consisting of all ngrams and their frequencies in the complete corpus, as well as the documents and sentences or words. Please note that this option is memory consuming for a large number of documents.
The "NGram bag of words" option creates an output data table consisting of ngram and document tuples. A tuple represents the occurrence of an ngram in a document. Additionally the frequency column contains the number of occurrences of the ngram in the document. This option can also be applied on a large set of documents.

Number of maximal parallel processes

Specifies the maximal number of parallel processes running for ngram computation.

Number of documents per process

Specifies the number of documents being processed by a single thread.

Input Ports

The input table containing the documents.

Output Ports

The output table containing the ngrams and their corresponding frequencies, or a bag of ngrams.

Best Friends (Incoming)

• Strings To Document (5 %) StreamableDeprecated
• Strings To Document (5 %) Streamable
• Bag Of Words Creator (4 %) 
• Bag of Words Creator (3 %) Deprecated
• Topic Extractor (Parallel LDA) (3 %) 
• Case Converter (3 %) Streamable
• Column Filter (2 %) Streamable
• Row Filter (2 %) Streamable
• Case Converter (2 %) Streamable
• N Chars Filter (2 %) Streamable
• Punctuation Erasure (2 %) Streamable
• Snowball Stemmer (2 %) Streamable
• Stop Word Filter (2 %) StreamableDeprecated
• Stop Word Filter (2 %) StreamableDeprecated
• Stop Word Filter (2 %) Streamable
• N-Gram Extractor (2 %) Streamable
• Row Filter (1 %) Streamable
• Reference Row Filter (1 %) 
• Joiner (1 %) 
• String Manipulation (1 %) Streamable
• IDF (1 %) 
• NGram Creator (1 %) 
• NGram Creator (1 %) 
• N Chars Filter (1 %) Streamable
• Porter Stemmer (1 %) Streamable
• Punctuation Erasure (1 %) Streamable
• Stanford Lemmatizer (1 %) Streamable
• Table Row To Variable Loop Start (< 1 %) 
• Variable to Table Row (< 1 %) 
• Database Reader (legacy) (< 1 %) 
• File Reader (< 1 %) Streamable
• File Reader (< 1 %) Streamable
• Table Creator (< 1 %) 
• Java Snippet (< 1 %) Streamable
• Chunk Loop Start (< 1 %) 
• Group Loop Start (< 1 %) 
• Scorer (< 1 %) 
• Case Converter (< 1 %) Streamable
• Cell Splitter (< 1 %) Deprecated
• Column Combiner (< 1 %) Streamable
• Column Aggregator (< 1 %) Streamable
• Column Filter (< 1 %) Streamable
• Row Splitter (< 1 %) Streamable
• Reference Row Filter (< 1 %) 
• GroupBy (< 1 %) 
• GroupBy (< 1 %) 
• Partitioning (< 1 %) 
• Column Rename (< 1 %) Streamable
• RowID (< 1 %) Streamable
• Row Sampling (< 1 %) 
• String Manipulation (< 1 %) Streamable
• Value Counter (< 1 %) 
• XLS Reader (< 1 %) Deprecated
• Term Co-Occurrence Counter (< 1 %) 
• IDF (< 1 %) 
• TF (< 1 %) 
• TF (< 1 %) 
• Topic Extractor (Parallel LDA) (< 1 %) 
• Category To Class (< 1 %) 
• Keygraph Keyword Extractor (< 1 %) 
• Tika Parser URL Input (< 1 %) Streamable
• Dictionary Filter (< 1 %) Streamable
• Dictionary Filter (< 1 %) Streamable
• Dictionary Replacer (File-based) (< 1 %) Streamable
• Dictionary Replacer (File-based) (< 1 %) Streamable
• Dictionary Replacer (< 1 %) Streamable
• Number Filter (< 1 %) Streamable
• Number Filter (< 1 %) Streamable
• Porter Stemmer (< 1 %) Streamable
• RegEx Filter (< 1 %) Streamable
• Snowball Stemmer (< 1 %) Streamable
• Stanford Lemmatizer (< 1 %) Streamable
• Tag Filter (< 1 %) Streamable
• Tag Filter (< 1 %) Streamable
• Tag Stripper (< 1 %) Streamable
• PDF Parser (< 1 %) 
• PDF Parser (< 1 %) 
• Tika Parser (< 1 %) Streamable
• Word Parser (< 1 %) 
• Wildcard Tagger (< 1 %) Streamable
• POS tagger (< 1 %) StreamableDeprecated
• Stanford Tagger (< 1 %) Streamable
• StanfordNLP NE tagger (< 1 %) StreamableDeprecated
• Document Data Extractor (< 1 %) Deprecated
• Document Data Extractor (< 1 %) 
• Document Vector (< 1 %) 
• Sentence Extractor (< 1 %) 
• String To Term (< 1 %) 
• Tags To String (< 1 %) 
• Tags To String (< 1 %) 
• Term To String (< 1 %) 
• Integer Input (< 1 %) 
• Show all 92 recommendations

Best Friends (Outgoing)

• Row Filter (4 %) Streamable
• GroupBy (2 %) 
• Row Filter (2 %) Streamable
• String To Term (2 %) 
• Column Filter (2 %) Streamable
• Excel Writer (XLS) (2 %) 
• TF (2 %) 
• Tag Cloud (2 %) 
• Sorter (2 %) 
• Tag Cloud (2 %) 
• CSV Writer (1 %) Streamable
• Reference Row Filter (1 %) 
• Sorter (1 %) 
• N Chars Filter (1 %) Streamable
• Dictionary Tagger (1 %) Streamable
• Bag Of Words Creator (1 %) 
• Reference Row Filter (1 %) 
• GroupBy (1 %) 
• Joiner (1 %) 
• Term Co-Occurrence Counter (1 %) 
• TF (1 %) 
• Joiner (< 1 %) 
• Column Rename (< 1 %) Streamable
• Math Formula (< 1 %) Streamable
• NGram Creator (< 1 %) 
• Punctuation Erasure (< 1 %) Streamable
• Document Data Extractor (< 1 %) 
• Strings To Document (< 1 %) Streamable
• String To Term (< 1 %) 
• N-Gram Extractor (< 1 %) Streamable
• Concatenate (< 1 %) Streamable
• Concatenate (Optional in) (< 1 %) Streamable
• Cell Splitter (< 1 %) Deprecated
• Linear Correlation (< 1 %) 
• Column Filter (< 1 %) Streamable
• Rule-based Row Filter (< 1 %) Streamable
• Interactive Table (local) (< 1 %) 
• XLS Sheet Appender (< 1 %) Deprecated
• IDF (< 1 %) 
• NGram Creator (< 1 %) 
• Bag of Words Creator (< 1 %) Deprecated
• Document Data Extractor (< 1 %) Deprecated
• Term Vector (< 1 %) 
• Data to Report (< 1 %) 
• Table Writer (< 1 %) 
• Counting Loop Start (< 1 %) 
• Concatenate (< 1 %) Streamable
• Case Converter (< 1 %) Streamable
• Cell Replacer (< 1 %) Streamable
• Cell Splitter (< 1 %) Deprecated
• Column Comparator (< 1 %) Streamable
• Constant Value Column (< 1 %) Streamable
• Partitioning (< 1 %) 
• Rule Engine (< 1 %) Streamable
• Color Manager (< 1 %) 
• Interactive Table (local) (< 1 %) 
• Similarity Search (< 1 %) 
• Term Co-Occurrence Counter (< 1 %) 
• DF (< 1 %) 
• Frequency Filter (< 1 %) 
• IDF (< 1 %) 
• Chi-Square Keyword Extractor (< 1 %) 
• Keygraph Keyword Extractor (< 1 %) 
• Dictionary Filter (< 1 %) Streamable
• Document Vector (< 1 %) 
• Sentence Extractor (< 1 %) 
• Term To String (< 1 %) 
• Term Vector (< 1 %) 
• Document Viewer (< 1 %) 
• Network Viewer (< 1 %) 
• String Similarity (< 1 %) 
• GET Resource (< 1 %) 
• CSV Writer (< 1 %) Streamable
• Java Snippet (< 1 %) Streamable
• Loop End (< 1 %) 
• Variable Condition Loop End (< 1 %) 
• Naive Bayes Learner (< 1 %) Deprecated
• Cluster Assigner (< 1 %) Streamable
• k-Means (< 1 %) 
• DBSCAN (< 1 %) 
• PCA (< 1 %) Deprecated
• Constant Value Column (< 1 %) Streamable
• Reference Column Filter (< 1 %) Streamable
• Row Splitter (< 1 %) Streamable
• Normalizer (< 1 %) 
• Rank (< 1 %) 
• Regex Split (< 1 %) Streamable
• Column Rename (< 1 %) Streamable
• Column Splitter (< 1 %) Streamable
• Value Counter (< 1 %) 
• Rule Engine (Dictionary) (< 1 %) Streamable
• Crosstab (local) (< 1 %) 
• Color Manager (< 1 %) 
• Parallel Chunk End (< 1 %) 
• Numeric Distances (< 1 %) 
• String Distances (< 1 %) 
• XLS Writer (< 1 %) Deprecated
• Excel Sheet Appender (XLS) (< 1 %) 
• Excel Writer (XLS) (< 1 %) 
• Word Vector Learner (< 1 %) Deprecated
• Frequency Filter (< 1 %) 
• Topic Extractor (Parallel LDA) (< 1 %) 
• Category To Class (< 1 %) 
• Chi-Square Keyword Extractor (< 1 %) 
• Keygraph Keyword Extractor (< 1 %) 
• String Matcher (< 1 %) 
• Porter Stemmer (< 1 %) Streamable
• Replacer (< 1 %) Streamable
• Snowball Stemmer (< 1 %) Streamable
• Stop Word Filter (< 1 %) StreamableDeprecated
• Dictionary tagger (< 1 %) StreamableDeprecated
• POS tagger (< 1 %) StreamableDeprecated
• Document Data Extractor (< 1 %) 
• Document vector (< 1 %) Deprecated
• Document vector hashing (< 1 %) StreamableDeprecated
• Strings To Document (< 1 %) StreamableDeprecated
• Tags To String (< 1 %) 
• Term To String (< 1 %) 
• Document Viewer (< 1 %) Deprecated
• Document Viewer (< 1 %) 
• Column Filter (< 1 %) 
• Hierarchy Extractor (< 1 %) 
• Object Inserter (< 1 %) 
• String Similarity (< 1 %) 
• Show all 124 recommendations

Installation

To use this node in KNIME, install KNIME Textprocessing Plug-in from the following update site: