Oorspronkelijk gepubliceerd op 2 januari 2020
Wat is het Studentsucces Systeem (S3)?
- Student Success System is een systeem voor vroege interventie dat instellingen in staat stelt voorspellende analyses te gebruiken om het succes, de retentie, de voltooiing en de slagingspercentages van studenten te verbeteren.
- Student Success System kan de prestaties van studenten meten vanaf de eerste weken van het semester.
- Student Success System biedt docenten vroege indicatoren en voorspellingen van het succes en de risiconiveaus van studenten.
Hoe werkt S3?
- S3 genereert voorspellingen van eindcijfers op basis van voorspellende modellen die worden gemaakt door machine learning-algoritmen toe te passen op historische cursusgegevens (eerdere aanbiedingen van dezelfde cursus).
- De voorspellende modellen zijn aanpasbaar en aanpasbaar aan de instructieaanpak van elke cursus, evenals aan de verwachtingen van betrokkenheid en prestaties.
- Het systeem biedt wekelijkse voorspellingen van het succesniveau van studenten binnen hun cursussen in de vorm van een succesindex.
S3 Visualisaties
- S3 biedt interactieve visualisaties om patronen en indicatoren over de student en zijn positie ten opzichte van de cursusverwachtingen en andere studenten in de klas te markeren.
- Deze visualisaties geven instructeurs toegang tot nieuwe en krachtige informatie.
- S3 is ontworpen om de instructeurs de belangrijkste factoren te laten visualiseren en vergelijken om zich voor te bereiden op interventies.
Op de hoofdpagina van het studentsuccessysteem kunnen instructeurs de status van elke student volgen in termen van hun voorspelde succes zoals weergegeven.
Afbeelding: Voorbeeldafbeelding van een klaslijst van een studentsuccessysteem.
Succes Index
- Voor elke student wordt een Success Index weergegeven voor de huidige week. De succesindex wordt uitgedrukt als een categorie, een bijbehorende score op een schaal van 0-10 en een trendteken zoals weergegeven.
- Er zijn drie niveaus van succes die worden aangegeven door de kleur en vorm van een bijbehorend symbool: In gevaar (rode driehoek), Potentieel risico (gele diamant) en Succesvol (groene cirkel). De niveaus worden bepaald op basis van drempels op het voorspelde cijfer.
- De standaardwaarden zijn: 0%-60% voor risico, 60%-80% voor potentieel risico en 80%-100% voor succesvol.
- Deze door de instructeur opgegeven drempelwaarden kunnen voor elke cursus worden geconfigureerd tijdens het instellen van het voorspellende model. De waarde van de succesindex wordt bepaald op basis van het voorspelde cijfer.
- De trendpijl geeft aan of de voorspellingen naar boven of naar beneden veranderen ten opzichte van de vorige week.
Studenten e-mailen
Vanuit het Instructor Dashboard kan een instructor via e-mail een groepsinterventie starten op basis van de succescategorie. Er verschijnt een e-maildialoogvenster met alle studentenadressen in het veld Bcc, zoals weergegeven
Figuur: Een nieuw bericht opstellen.
- Cursusleiders kunnen ervoor kiezen om een individuele student te selecteren om de voorspellingsinformatie te bekijken die nodig is voor deze student, zodat de instructeur een gepersonaliseerde interventie kan ontwerpen.
- De studentenpagina brengt informatie over de student samen door middel van interactieve visualisaties.
- Het doel is om patronen en indicatoren over de student en zijn positie ten opzichte van de cursusverwachtingen en andere studenten in de klas te belichten.
Profiel van de student
- In de linkerbovenhoek staat de basisprofielinformatie over de voorgestelde student. Dit omvat de foto van de student, de naam en de campus-ID. Als de instelling toegang verleent tot aanvullende gegevenselementen uit het Studenten Informatie Systeem (SIS), wordt dit gepresenteerd.
Tijdlijn van de cursus
- Rechtsboven toont een tijdlijngrafiek de wekelijkse succesindex, aangegeven door de waarde op de y-as en kleur. Het geeft in één oogopslag een overzicht van de trendlijn van studenten.
Figuur: Grafiekgegevens van het Student Success System.
Winst-Verlies Grafiek
- Zoals te zien is, laat een winst-verliesgrafiek zien hoe de succesindex is ontworpen als een combinatie van voorspellers.
- De grafiek toont het succes van studenten op basis van elk van deze voorspellers en hoe deze zich verhouden tot de verwachtingen in het middensegment.
- De verticale referentielijn in het midden van de grafiek komt overeen met het middelpunt binnen het bereik van potentieel succes (als het bereik 60%-80% is, is het middelpunt 70%, wat overeenkomt met de waarde 7 voor de succesindex).
- De succesindicator voor de student langs elk van deze indicatoren wordt vergeleken met dit referentiepunt, wat leidt tot een "overwinning" waarbij de balk aan de rechterkant van de lijn valt of een "verlies" waarbij de balk zich aan de linkerkant van de lijn bevindt.
- De "verlies"-indicatoren wijzen op hiaten in de verwachtingen waar verbetering mogelijk is.
Figuur: Student Success Index.
Voorspellingsdomeinen worden als volgt beschreven:
- Cursustoegang: Dit domein bestaat uit een reeks gerelateerde maatregelen die de betrokkenheid van studenten beschrijven in termen van inloggen op de leeromgeving en toegang krijgen tot de cursuspagina.
- Toegang tot inhoud: Dit domein bestaat uit een reeks gerelateerde maatregelen die de betrokkenheid van studenten bij inhoudsmateriaal voor de cursus beschrijven
- Sociaal leren: Dit domein bestaat uit een reeks gerelateerde maatregelen die de betrokkenheid van studenten in discussieforums binnen de cursus beschrijven.
- Cijfers: Dit domein bestaat uit een reeks gerelateerde metingen die de prestaties van studenten op beoordelingen beschrijven.
- Paraatheid: Dit domein bestaat uit een reeks gegevenselementen uit het studenteninformatiesysteem, waaronder toelatingsscores, algemene universiteitsprestaties en demografie.
Risico kwadrant
- Risicokwadrant positioneert de student binnen de klas op basis van de succesindex en het huidige cijfer zoals weergegeven.
- De succesindex biedt het algemene voorspelde resultaat dat voornamelijk is gebaseerd op betrokkenheid (volgens de bovengenoemde domeinen).
- Het huidige cijfer biedt een algemene maatstaf voor de prestaties op basis van het tot nu toe berekende cijfer. Elke stip op de grafiek is een student. De huidige student wordt gemarkeerd.
- Kwadranten zijn als volgt.
- Het risico op terugtrekking/uitval is waar de student lijkt te worstelen in termen van zowel betrokkenheid als prestaties. In dit geval loopt de student het risico om uit te vallen.
- Het risico van academische prestaties en is waar de student betrokken lijkt te zijn, maar worstelt op het gebied van prestaties.
- Het risico op onderbetrokkenheid is wanneer de student niet betrokken lijkt te zijn, maar toch hoge cijfers behaalt. In dit geval kan de student te weinig worden uitgedaagd.
- Het kwadrant dat op schema ligt en geen risico loopt, is waar de student betrokken is en hoge cijfers behaalt.
Figuur: Een voorbeeld van gegevens in het Risico Kwadrant.
Cijfers Domein
- Door in te zoomen op het domein Cijfers, wordt een visualisatie van de cijfers van de student weergegeven, zoals weergegeven.
- Het doel van deze grafiek is om een compacte visualisatie te geven van de prestaties van de student in alle beoordelingen, rekening houdend met hoe de student presteert ten opzichte van klasgenoten en de impact van verschillende beoordelingen op de algehele prestaties van de student.
- De grafiek is een variant van een cirkeldiagram waarbij meer informatie wordt weergegeven.
- Elk segment komt overeen met een cijferitem of een categorie cijferitems (bijvoorbeeld Opdrachten, Quizzen).
- De grootte van elke plak komt overeen met het gewicht van het cijferitem.
- Het cijfer van de student wordt weergegeven als een boog met een diamantsymbool binnen elk plakje op een schaal van 0-100 die wordt weergegeven op een bovenste straal.
- Een band binnen elke schijf toont het klassebereik als het onderste en bovenste kwartiel voor het bijbehorende cijferitem, zoals weergegeven.
- De grafiek is ook interactief om verder onderzoek naar de prestaties van de student mogelijk te maken. Als een bepaald cijfer overeenkomt met een categorie met meer items erin, geeft een buitenrand het aantal items aan.
- Door op dit deel van de grafiek te klikken, kunt u met dezelfde visuele techniek inzoomen op een weergave van de cijferitems in de grafiek. U kunt ook weer omhoog rollen door in het midden te klikken om terug te gaan naar de algemene geaggregeerde weergave.
Afbeelding: Gegevens over de cijferverdeling.
Domein Sociaal Leren
- Door in te zoomen op het domein Sociaal Leren, wordt een visualisatie van het netwerk van de student weergegeven zoals weergegeven.
- Het sociogram is een netwerkdiagram waarbij elke student wordt weergegeven als een knooppunt (cirkel) en elke verbinding tussen twee studenten geeft aan dat ze communicatie hebben uitgewisseld via discussieforums in de klas, waar de ene student op de andere heeft geantwoord.
- De relatieve grootte van de knooppunten is evenredig met de hoeveelheid communicatie die studenten hebben verzonden en ontvangen via discussies.
- De lay-out voor het sociogram is gebaseerd op sociale connecties waarbij studenten dichter bij elkaar staan als ze verbonden zijn en verder uit elkaar staan als ze niet verbonden zijn.
- Sommige studenten kunnen meer verbonden zijn dan anderen en zouden dus centrale posities innemen, terwijl anderen minder verbonden kunnen zijn en posities kunnen innemen in de buurt van de grenzen van het netwerk of de clusters binnen het netwerk.
- Sommige studenten kunnen volledig geïsoleerd zijn en verschijnen als niet-verbonden kleinere knooppunten.
Figuur: Een voorbeeld van het sociogram van een student.
Modelbouw
- Het administratieve deel van het systeem waar de configuratie van het voorspellende model door de S3-beheerder aan elke cursus kan worden aangepast, zoals weergegeven.
- Het toont de selectie van "Domeinen" (de voorspellende componenten van het model), het bereik voor de succesniveaus en het historische aanbod van de cursus die kunnen worden gebruikt als representatief voor het huidige aanbod van de cursus waarvoor de voorspellingen worden gegenereerd.
Afbeelding: Het maken van een voorspellend model voor een cursus.
Evaluatie van voorspellende modellering
- MSE = Gemiddelde kwadratische fout
- Verschil tussen voorspeld cijfer en werkelijk cijfer
- Hoe lager hoe beter