Outlier Removal

The distributions of each parameter will be searched for outliers according to a method of choice and rows containing outliers will be removed.

Options

Method

The method to determine the lower and upper bounds of the data (outlier limits). Mean +- SD: This assumes a normal distribution. outliers are defined to be greater than "Mean + Factor*SD" or smaller than "Mean - Factor*SD". Factor is 3 per default. Boxplot: outliers are defined to be greater than "Q85+Factor*IQR" or smaller than "Q25 - Factor*IQR", where Q are the quantiles and IQR is the inter quantile range. Be careful the default 3 goes with the default method (Mean +- SD). A standard value for this method would be 1.5.

Factor

The factor multiplies the value describing the spread of the distribution.

Subsets

Select the columns by which the measurements should be grouped (example: plates, batches, runs...)

Constraints

The first column filter allows to select multiple columns to define groups. Rows that share the same values for all constraint columns belong to one and the same group.

Parameter

The second column filter is to select the paramters where the values have to be ckecked for outliers.

All Parameter

Per default unchecked. In this case an row is removed if it has an outlier value for at least one parameter. If you tick this checkbox, the row is only removed if all the values for all parameter are outliers.

Input Ports

data for outlier analysis

Output Ports

table with outlier rows removed.

No description for this port available.

Best Friends (Incoming)

• Row Filter (7 %) Streamable
• CSV Reader (7 %) 
• Statistics (6 %) 
• File Reader (5 %) Streamable
• Concatenate (4 %) Streamable
• Column Filter (4 %) Streamable
• Missing Value Column Filter (4 %) 
• Missing Value (4 %) 
• Conditional Box Plot (local) (4 %) 
• Number To String (3 %) Deprecated
• Box Plot (local) (3 %) 
• GroupBy (2 %) 
• Math Formula (2 %) Streamable
• Numeric Outliers (2 %) 
• Color Manager (2 %) 
• Outlier Removal (1 %) 
• Table Reader (1 %) Streamable
• Constant Value Column (1 %) Streamable
• Row Splitter (1 %) Streamable
• Normalizer (1 %) 
• Column Rename (1 %) Streamable
• Group Loop Start (< 1 %) 
• String To Number (< 1 %) StreamableDeprecated
• Denormalizer (< 1 %) Streamable
• Rule-based Row Filter (< 1 %) Streamable
• Column Combiner (< 1 %) Streamable
• Domain Calculator (< 1 %) 
• Double To Int (< 1 %) Streamable
• Nominal Value Row Filter (< 1 %) Streamable
• Joiner (< 1 %) 
• Partitioning (< 1 %) 
• Numeric Row Splitter (< 1 %) 
• Row Sampling (< 1 %) 
• Sorter (< 1 %) 
• Column Splitter (< 1 %) Streamable
• Transpose (< 1 %) 
• Rule Engine (< 1 %) Streamable
• XLS Reader (< 1 %) Deprecated
• Excel Reader (XLS) (< 1 %) StreamableDeprecated
• Excel Reader (XLS) (< 1 %) StreamableDeprecated
• Line Plot (< 1 %) 
• R Snippet (< 1 %) 
• Splitter By Type (< 1 %) 
• Range Filter (< 1 %) 
• Normalize Plates (POC) (< 1 %) 
• Create Collection Column (< 1 %) Streamable
• Table Column to Variable (< 1 %) Deprecated
• Database Connection Table Reader (legacy) (< 1 %) 
• Database Reader (legacy) (< 1 %) 
• Table Creator (< 1 %) 
• Java Snippet (< 1 %) Streamable
• Loop End (< 1 %) 
• Chunk Loop Start (< 1 %) 
• Column List Loop Start (< 1 %) 
• X-Aggregator (< 1 %) 
• k-Means (< 1 %) 
• Decision Tree Predictor (< 1 %) 
• Linear Regression Learner (< 1 %) 
• SMOTE (< 1 %) 
• Auto-Binner (< 1 %) 
• Numeric Binner (< 1 %) Streamable
• Cell Replacer (< 1 %) Streamable
• Column Auto Type Cast (< 1 %) 
• Column Comparator (< 1 %) Streamable
• Category To Number (< 1 %) Streamable
• Column Aggregator (< 1 %) Streamable
• Column Appender (< 1 %) Streamable
• Column Merger (< 1 %) Streamable
• Column Rename (Regex) (< 1 %) Streamable
• Column Resorter (< 1 %) Streamable
• Linear Correlation (< 1 %) Deprecated
• Correlation Filter (< 1 %) 
• Equal Size Sampling (< 1 %) 
• Reference Row Filter (< 1 %) 
• Low Variance Filter (< 1 %) 
• Normalizer (Apply) (< 1 %) Streamable
• Pivoting (< 1 %) 
• Missing Value (Apply) (< 1 %) 
• String To Number (PMML) (< 1 %) Deprecated
• Rank (< 1 %) 
• RowID (< 1 %) Streamable
• String Manipulation (< 1 %) Streamable
• String Replacer (< 1 %) Streamable
• Value Counter (< 1 %) 
• Rule-based Row Splitter (< 1 %) Streamable
• Data Explorer (< 1 %) 
• CASE Switch Data (End) (< 1 %) 
• Extract Table Spec (< 1 %) 
• Data Generator (< 1 %) Streamable
• Crosstab (local) (< 1 %) 
• SDF Reader (< 1 %) 
• Java Snippet (simple) (< 1 %) 
• Integer Input (< 1 %) 
• Parameter Optimization Loop Start (< 1 %) 
• Python Script (2⇒1) (< 1 %) 
• R Source (Table) (< 1 %) 
• Date&Time to String (< 1 %) Streamable
• Time Difference (legacy) (< 1 %) 
• Extract Time Window (legacy) (< 1 %) 
• Moving Aggregation (< 1 %) 
• RDKit Interactive Table (< 1 %) 
• Show all 101 recommendations

Best Friends (Outgoing)

• Concatenate (14 %) Streamable
• Rule Engine (8 %) Streamable
• Normalizer (5 %) 
• Column Filter (4 %) Streamable
• Box Plot (local) (4 %) 
• GroupBy (3 %) 
• Partitioning (3 %) 
• Missing Value (3 %) 
• Statistics (2 %) 
• Row Filter (2 %) Streamable
• Independent groups t-test (2 %) 
• CSV Writer (1 %) Streamable
• Conditional Box Plot (local) (1 %) 
• Color Manager (1 %) 
• Outlier Removal (1 %) 
• Linear Regression Learner (1 %) 
• Constant Value Column (1 %) Streamable
• Row Splitter (1 %) Streamable
• Sorter (1 %) 
• Scatter Plot (local) (1 %) 
• Loop End (< 1 %) 
• X-Partitioner (< 1 %) 
• k-Means (< 1 %) 
• Cell Splitter (< 1 %) Deprecated
• Linear Correlation (< 1 %) Deprecated
• Joiner (< 1 %) 
• Math Formula (< 1 %) Streamable
• Scatter Plot (JFreeChart) (< 1 %) 
• Decision Tree Learner (< 1 %) 
• Concatenate (Optional in) (< 1 %) StreamableDeprecated
• Number To String (< 1 %) Deprecated
• Reference Row Filter (< 1 %) 
• Value Counter (< 1 %) 
• Histogram (local) (< 1 %) 
• Interactive Table (local) (< 1 %) 
• Histogram Chart (JFreeChart) (< 1 %) 
• Column Filter (< 1 %) 
• RapidMiner Viewer (< 1 %) 
• Normalize Plates (Z-Score) (< 1 %) 
• Group Mutual Information (< 1 %) 
• Z-Primes (PC x NC) (< 1 %) 
• Plate Heatmap Viewer (< 1 %) 
• Matlab Plot (< 1 %) 
• R Plot (< 1 %) 
• 2D/3D Scatterplot (< 1 %) 
• ARIMA Learner (< 1 %) 
• ARIMA Predictor (< 1 %) 
• ARIMA Visualization (< 1 %) 
• Variable to Table Column (< 1 %) StreamableDeprecated
• Database Writer (legacy) (< 1 %) Streamable
• Java Snippet (< 1 %) Streamable
• Loop End (2 ports) (< 1 %) 
• Generic Loop Start (< 1 %) 
• Naive Bayes Learner (< 1 %) Deprecated
• Fuzzy Rule Predictor (< 1 %) Streamable
• Fuzzy c-Means (< 1 %) 
• Hierarchical Clustering (< 1 %) 
• Hierarchical Clustering (DistMatrix) (< 1 %) 
• k-Means (< 1 %) Deprecated
• Decision Tree Predictor (< 1 %) 
• RProp MLP Learner (< 1 %) 
• PCA Compute (< 1 %) Deprecated
• PCA (< 1 %) Deprecated
• Polynomial Regression Learner (< 1 %) 
• Regression Predictor (< 1 %) Deprecated
• SMOTE (< 1 %) 
• SVM Learner (< 1 %) 
• SVM Predictor (< 1 %) Streamable
• Tree Ensemble Learner (< 1 %) Deprecated
• Random Forest Learner (< 1 %) Deprecated
• Auto-Binner (< 1 %) 
• Cell Replacer (< 1 %) Streamable
• Column Combiner (< 1 %) Streamable
• Category To Number (< 1 %) Streamable
• String To Number (< 1 %) StreamableDeprecated
• Column Appender (< 1 %) Streamable
• One to Many (< 1 %) 
• Correlation Filter (< 1 %) 
• Domain Calculator (< 1 %) 
• Equal Size Sampling (< 1 %) 
• Reference Column Filter (< 1 %) Streamable
• HiLite Row Splitter (< 1 %) 
• Missing Value Column Filter (< 1 %) 
• Nominal Value Row Filter (< 1 %) Streamable
• Denormalizer (< 1 %) Streamable
• Normalizer (< 1 %) 
• Pivoting (< 1 %) 
• Normalizer (PMML) (< 1 %) 
• String To Number (PMML) (< 1 %) Deprecated
• Column Rename (< 1 %) Streamable
• Round Double (< 1 %) Streamable
• Row Sampling (< 1 %) 
• String Manipulation (< 1 %) Streamable
• String Replacer (< 1 %) Streamable
• Transpose (< 1 %) 
• Rule-based Row Filter (< 1 %) Streamable
• Rank Correlation (< 1 %) Deprecated
• One-way ANOVA (< 1 %) 
• End IF (< 1 %) 
• Extract Table Dimension (< 1 %) 
• Interactive Histogram (local) (< 1 %) 
• Line Plot (local) (< 1 %) 
• Scatter Matrix (local) (< 1 %) 
• Color Appender (< 1 %) 
• WrappedNode Output (< 1 %) 
• Numeric Distances (< 1 %) 
• Similarity Search (< 1 %) 
• JavaScript Conditional Box Plot (< 1 %) 
• Conditional Box Plot (JavaScript) (< 1 %) 
• Bar Chart (< 1 %) 
• GroupBy Bar Chart (JFreeChart) (< 1 %) 
• Line Chart (JFreeChart) (< 1 %) 
• OSM Map View (< 1 %) 
• XLS Writer (< 1 %) Deprecated
• Excel Writer (XLS) (< 1 %) Deprecated
• Document vector (< 1 %) Deprecated
• Weka Predictor (3.7) (< 1 %) 
• ROC Curve (< 1 %) 
• Scatter Plot (< 1 %) 
• String to JSON (< 1 %) Streamable
• Image Viewer (< 1 %) 
• Python View (< 1 %) 
• R Snippet (< 1 %) 
• R View (Table) (< 1 %) 
• String to Date&Time (< 1 %) Streamable
• Moving Average (< 1 %) 
• String to Date/Time (legacy) (< 1 %) Streamable
• RDKit Interactive Table (< 1 %) 
• Map Viewer (< 1 %) 
• Show all 129 recommendations

Workflows

• 03_​Normalization_​of_​screening_​data

Installation

To use this node in KNIME, install KNIME HCS Tools from the following update site:

Developers

You want to see the source code for this node? Click the following button and we’ll use our super-powers to find it for you.