Icon

Ex1

Random Forest - solution

Introduction to Machine Learning Algorithms course - Session 2
Solution to exercise 3
- Train a random forest model
- Apply the model to the test set
- Evaluate the model performance with the Scorer node
- Perform Pparameter optimization

URL: Description of the Ames Iowa Housing Data https://rdrr.io/cran/AmesHousing/man/ames_raw.html
URL: Ames Housing Dataset on kaggle https://www.kaggle.com/prevek18/ames-housing-dataset
URL: Random Forest https://www.youtube.com/watch?v=X4H7w6LDgYM
URL: Slides (Introduction to ML Algorithms course) https://www.knime.com/form/material-download-registration

Ensemble Models

Random Forest - Gradient Boosted Decision Trees

Learning objective: Σε αυτήν την άσκηση θα μάθετε πώς να προβλέπετε την τιμή ενός σπιτιού στην Ames (Iowa, USA) βάσει ενός αριθμού χαρακτηριστικών: size, neighborhood, heating…


Workflow description: Σε αυτό το workflow χρησιμοποιείται ένα dataset που περιγράφει τις πωλήσεις μεμονωμένων residential properties στην Ames, Iowa από το 2006 έως το 2010. Μία από τις columns είναι το overall condition ranking, με τιμές μεταξύ 1 και 10.

  1. Εκπαιδεύστε ένα μοντέλο Random Forest (Random Forest Learner) για να προβλέψετε το overall condition ενός σπιτιού (high/low), με τις εξής ρυθμίσεις:

  • Περιορίστε το tree depth σε 15

  • Περιορίστε το minimum node size σε 10

  • Ορίστε τον αριθμό των trees (δηλαδή των models) σε 100


  • Εξετάστε τον πίνακα εξόδου “Attribute Statistics” που παράγεται από τον learner node. Αναγράφει ποιες features επιλέχθηκαν για τα πρώτα 3 splits σε διαφορετικά tree models. Οι features που επιλέγονται πρώτες είναι πιθανόν informative στην classification. Ποια από τα features σε αυτό το dataset είναι πολύ informative; Δικαιολογήστε την απάντησή σας.

Χρησιμοποιήστε το εκπαιδευμένο μοντέλο για να προβλέψετε (Random Forest Predictor) το rank των houses στο test set, και αξιολογήστε την accuracy του decision tree model (Scorer JavaScript). Ποια είναι η accuracy του μοντέλου;

  1. Εκπαιδεύστε ένα μοντέλο gradient boosted trees για να προβλέψετε το overall condition ενός σπιτιού (high/low), με τις εξής ρυθμίσεις:

  • Περιορίστε το tree depth σε 4

  • Ορίστε τον αριθμό των models σε 100


  • Χρησιμοποιήστε το εκπαιδευμένο μοντέλο για να προβλέψετε το rank των houses στο test set, και αξιολογήστε την accuracy του μοντέλου. Ποια είναι η accuracy του μοντέλου;

(Προαιρετικά) Χρησιμοποιήστε ένα parameter optimization loop για να βρείτε το optimum tree depth που μεγιστοποιεί την accuracy (χρησιμοποιήστε Scorer node, όχι Scorer JavaScript). Εξετάστε το tree depth από 1 έως 10, με βήμα 1. Ποιο tree depth παράγει το optimal αποτέλεσμα;



Βημα 2. Random Forest Predictor

Χρησιμοποιήστε το εκπαιδευμένο μοντέλο για να προβλέψετε το rank των houses στο test set (Random Forest Predictor node)


Data Preparation


Βημα 3. Model evaluation

Αξιολογήστε την accuracy του μοντέλου Random Forest (Scorer node)

  • Επιλέξτε τη στήλη rank ως actual column και την Prediction (rank) ως predicted column

  • Ποια είναι η accuracy του μοντέλου;


Βημα 4. Parameter Optimization Loop Start (Optional)

Χρησιμοποιήστε τον Parameter Optimization Loop Start node για να ορίσετε τις πιθανές τιμές για το tree depth και τον αριθμό των models

Συνδέστε το variable port του loop με το Random Forest Learner node

Χρησιμοποιήστε τα δημιουργημένα flow variables για να υπερκαλύψετε (overwrite) την αντίστοιχη ρύθμιση Tree depth και Number of Trees μέσα στο Random Forest Learner node



Βημα 5. Parameter Optimization Loop End (Optional)

Χρησιμοποιήστε τον Parameter Optimization Loop End node για να ορίσετε την accuracy ως objective function

Ποιες ρυθμίσεις οδηγούν στο μοντέλο με την υψηλότερη accuracy;



Βημα 1. Gradient Boosted Trees Learner

  • Εκπαιδεύστε ένα μοντέλο Gradient Boosted Trees για να προβλέψετε το overall condition ενός σπιτιού (high/low) (Gradient Boosted Trees Learner node)

  • Επιλέξτε τη στήλη rank ως target column

  • Αφήστε τις υπόλοιπες ρυθμίσεις στις default τιμές τους


Βημα 2: Gradient Boosted Trees Predictor

Χρησιμοποιήστε το εκπαιδευμένο μοντέλο για να προβλέψετε το rank των houses στο test set (Gradient Boosted Trees Predictor node)


Βημα 3. Model evaluation

Αξιολογήστε την accuracy του μοντέλου Random Forest (Scorer node)

  • Επιλέξτε τη στήλη rank ως actual column και την Prediction (rank) ως predicted column

  • Ποια είναι η accuracy του μοντέλου;


Βημα 4. Parameter Optimization Loop Start (Optional)

Χρησιμοποιήστε τον Parameter Optimization Loop Start node για να ορίσετε τις πιθανές τιμές για το tree depth

Συνδέστε το variable port του loop με το Random Forest Learner node

Χρησιμοποιήστε τα δημιουργημένα flow variables για να υπερκαλύψετε (overwrite) την αντίστοιχη ρύθμιση Tree depth μέσα στο Gradient Boosted Trees Learner node



Βημα 5. Parameter Optimization Loop End (Optional)

Χρησιμοποιήστε τον Parameter Optimization Loop End node για να ορίσετε την accuracy ως objective function

Ποιες ρυθμίσεις οδηγούν στο μοντέλο με την υψηλότερη accuracy;



A. Random Forest

B. Gradient Boosted Decision Trees

Βημα 1. Random Forest Learner

  • Εκπαιδεύστε ένα μοντέλο Random Forest για να προβλέψετε το overall condition ενός σπιτιού (high/low) (Random Forest Learner node)

  • Επιλέξτε τη στήλη rank ως target column

  • Αφήστε τις υπόλοιπες ρυθμίσεις στις default τιμές τους


Read AmesHousing.csv
CSV Reader
Preprocessing

Nodes

Extensions

Links