Workshop Module 1 - Inferentiële statistiek

Taak 1: Variabelen inlezen

Run beide nodes om de variabelen in te lezen.

Informatie

Alsayahani et al. (2025) onderzoeken hoe nudging-technieken de bruikbaarheid van visual-analytics-dashboards beïnvloeden. Dashboards bieden veel mogelijkheden om data te filteren en te visualiseren, maar gebruikers maken daar niet altijd effectief gebruik van. Met nudges — subtiele ontwerpkeuzes in de interface — kan het gedrag van gebruikers worden gestuurd, zonder hen iets te verplichten.

In een experiment voerden 50 deelnemers 6 informatiezoekende taken uit met een weer-dashboard. Per taak werd een andere nudge-conditie toegepast (of geen nudge). Tijdens en na elke taak zijn zowel objectieve prestatiemaatstaven (zoals tijd en correctheid) als subjectieve gebruikservaringen (zoals ervaren gemak) vastgelegd.

In deze workflow analyseren we een gedeelte van de data die het experiment opleverde met behulp van inferentiële statistiek. We bekijken daarbij taak 1 bij zes verschillende condities:

1. Control Group, waarbij geen nudging-techniek is toegepast en gebruikers het dashboard zonder extra sturing gebruiken

2. Positioning, waarbij belangrijke customisatie-opties prominent (bijv. linksboven) worden geplaatst om de aandacht van gebruikers te sturen richting deze functies

3. Hiding, waarbij minder relevante of minder effectieve opties worden verborgen om gebruikers impliciet te sturen naar de meest bruikbare customisaties

4. Confrontation, waarbij gebruikers actief worden gewezen op mogelijke nadelen van het niet aanpassen van het dashboard (bijv. via waarschuwingen), om hen aan te zetten tot customisatie

5. Just-in-Time Prompts, waarbij gebruikers op het juiste moment (bijv. wanneer ze vastlopen) suggesties krijgen voor alternatieve of efficiëntere customisaties

6. Social comparison, waarbij gebruikers voorbeelden zien van dashboard-instellingen van anderen, zodat zij hun eigen keuzes daarop kunnen baseren

Het gaat om de volgende variabelen:

• Participant ID: Unieke code die een deelnemer identificeert

• Task Number: Nummer van de taak die is uitgevoerd (Task 1)

• Nudge Type: Nudging-techniek die actief was tijdens de taak

• Task Duration: Tijd die de deelnemer nodig had om de taak uit te voeren (in minuten)

Alsayahani, H., Alhamadi, M., Harper, S., & Vigo, M. (2025). The effect of nudging techniques on the customisation and usability of visual analytics dashboards. In Proceedings of the 33rd ACM Conference on User Modeling, Adaptation and Personalization (UMAP ’25)(pp. 1–10). Association for Computing Machinery. https://doi.org/10.1145/3699682.3728352

Taak 2: Independent groups t-test

In de workshop over beschrijvende statistiek vergeleken we Task Duration voor Social Comparison en Control Group. We zagen daar dat de controlegroep gemiddeld sneller was.

Stel de Independent groups t-test node zo in dat er getoetst wordt of er een significant verschil is in Task Duration voor de Nudge Types Social Comparison en Control Group.

Klik na het runnen van de node op het vergrootglas rechtsbovenaan bij de node om een rapport van de toets te zien.

Run de Pivot node en Math Formula node om Cohen's d te berekenen.

Vraag 1: Interpretatie independent groups t-test

Motiveer waarom je in deze situatie een independent groups t-test uitvoert i.p.v. een paired t-test?

Antwoord:

Wat is het gemiddelde verschil (ongestandaardiseerde effectgrootte)? Wat vertelt dit?

Antwoord:

Wat is de gestandaardiseerde effectgrootte (Cohen's d)? Wat vertelt dit?

Antwoord:

Ligt de waarde 0 in het 95%-betrouwbaarheidsinterval voor het gemiddelde verschil? (Gebruik de uitkomsten bij de rij Equal variances not assumed)

Antwoord:

Formuleer de nulhypothese en alternatieve hypothese (tweezijdige toets).

Antwoord:

Wat is de waarde van de toetsingsgrootheid? (Gebruik de uitkomsten bij de rij Equal variances not assumed)

Antwoord:

Wat is de p-waarde? Wat betekent dit?

Antwoord:

We toetsen met een significantieniveau van 0,05. Wat is je conclusie?

Antwoord:

Taak 2: Histogrammen en Shapiro-Wilk Test

Stel de Row Splitter node zo in dat de dataset gesplitst wordt op basis van Nudge Type.

Stel de Histogram nodes zo in dat er per Nudge Type een histogram van Task Duration wordt gemaakt. Gebruik 4 bins.

Taak 3: One-way ANOVA en Boxplot

In totaal worden de effecten van zes nudgetypen vergeleken, inclusief de controlegroep.

Stel de One-way ANOVA node zo in dat er getoetst wordt of er een significant verschil is in Task Duration voor de verschillende Nudge Types.

Klik na het runnen van de node op het vergrootglas rechts bovenaan bij de node om een rapport van de toets te zien.

Stel de Boxplot node zo in dat deze Task Duration toont voor de verschillende nudgetypen.

Vraag 2: Beoordeling van normaliteit

Een aanname van de independent groups t-test is dat de toetsingsgrootheid onder de nulhypothese een t-verdeling volgt. Bij kleine steekproeven kan de centrale limietstelling dit niet garanderen, waardoor het belangrijker is dat de data in beide groepen ongeveer normaal verdeeld is. De t-test is echter redelijk robuust tegen beperkte afwijkingen van normaliteit, vooral wanneer de groepsgroottes gelijk zijn.

Beoordeel de histogrammen van Task Duration voor beide groepen. Zie je duidelijke afwijkingen van normaliteit, zoals sterke scheefheid of uitschieters?

Antwoord:

De Shapiro-Wilk toets is een formele toets op normaliteit. Wat zijn bij deze toets de nulhypothese en de alternatieve hypothese?

Antwoord:

Wat vertellen de uitkomsten van de Shapiro-Wilk toetsen voor beide groepen? In hoeverre komen deze overeen met je beoordeling van de histogrammen?

Antwoord:

Vraag 3: Interpretatie One-way ANOVA en Boxplot

Het 95%-betrouwbaarheidsinterval voor de gemiddelde Task Duration is het breedst voor Just-in-Time Prompts. Waardoor komt dit?

Antwoord:

De one-way ANOVA toets wordt een omnibus toets genoemd. Zoek op wat dit betekent.

Antwoord:

Formuleer de nulhypothese en alternatieve hypothese bij de one-way ANOVA toets.

Antwoord:

Zoek op hoe de toetsingsgrootheid berekend wordt. Herken je hier ook een signal-to-noise ratio in?

Antwoord:

Wat is de waarde van de toetsingsgrootheid?

Antwoord:

Wat is de p-waarde? Wat betekent dit?

Antwoord:

Wat is de conclusie bij een significantieniveau van 0,05?

Antwoord:

Een belangrijke aanname bij de one-way ANOVA toets is dat de varianties in de verschillende populaties gelijk zijn Beoordeel op basis van het boxplot of hieraan voldaan wordt.

Antwoord:

Net als bij de independent groups t-test dienen er bij kleine steekproven geen grote afwijkingen te zijn van normaliteit. Beoordeel op basis van het boxplot of hieraan voldaan wordt.

Antwoord: