Dit dashboard biedt visualisaties om gebruikers te helpen de kwaliteit van beoordelingen te begrijpen met behulp van test- en vraagstatistieken zoals betrouwbaarheid, gemiddelde beoordeling en correlatie voor alle test- en vraagtypen.
Het dashboard Beoordelingskwaliteit is beschikbaar voor alle klanten die het Performance+-pakket hebben aangeschaft of die Brightspace® Insights™ hebben aangeschaft in het vorige pakket.
Om het dashboard Beoordelingskwaliteit te kunnen zien, moet uw rol beschikken over de machtiging Kan het dashboard Beoordelingskwaliteit zien, en moet u zijn ingeschreven voor de cursusedities waarvan u de beoordelingen wilt zien. Tests vereisen ten minste één poging om in het dashboard te worden opgenomen.
Het dashboard Beoordelingskwaliteit weergeven en hierop reageren
Het dashboard heeft 3 weergaven: de landingspagina, het gedeelte Analyse testitem en het gedeelte Voorbeeldweergave vraag. Het dashboard bevat de volgende functies:
In het algemeen is het belangrijk om bij het gebruik van test- en vraagstatistieken rekening te houden met de steekproefomvang voor de gegeven test of vraag. Statistieken zullen in statistische relevantie toenemen naarmate de steekproefomvang toeneemt.
De landingspagina
Op de landingspagina ziet u visualisaties waarin de gegevens worden gecombineerd van alle tests die u beheert. Met de gegevens op deze pagina kunt u tests analyseren en bepalen welke tests onderpresteren wat betreft testscores en betrouwbaarheid.
Afbeelding: landingspagina van het dashboard Beoordelingskwaliteit.
Onder Samenvatting vindt u kaarten voor Resultaten (het aantal tests dat u beheert en dat voldoet aan de criteria die op het dashboard zijn toegepast), Gemiddelde score, Gemarkeerde vraag (het aantal tests met één of meer vragen die buiten de ingestelde drempel voor geldige waarden vallen) en Betrouwbaarheid test. U kunt deze kaarten in- en uitschakelen en de drempels wijzigen in Instellingen.
Het gedeelte Testdetails bevat een dynamische tabel met tests die voldoen aan de criteria die zijn toegepast op het dashboard. Een "!"-pictogram wordt weergegeven naast tests met één of meer gemarkeerde vragen. Klik op een van de tests in deze tabel om naar de pagina Analyse testitem van die test te gaan.
Als u meerdere exemplaren van dezelfde test wilt vergelijken om te zien hoe de statistieken variëren, voert u de naam van de test in het zoekinvoerveld boven de testtabel in. Hiermee wordt een filter toegepast op het gehele dashboard. Tests worden alleen weergegeven als hun naam overeenkomt met uw zoekopdracht, en organisatie-eenheden worden alleen weergegeven als ze een test bevatten waarvan de naam overeenkomt met uw zoekopdracht. Het zoekinvoerveld heeft afkappingslimieten van 5000 organisatie-eenheden en 50.000 tests. Als u dus toegang hebt tot een zeer groot aantal organisatie-eenheden, raden we u aan te filteren op organisatie-eenheid voordat u filtert op de testnaam voor de beste resultaten.
De tabel Testdetails bevat het volgende:
| Kolomnaam |
Kolombeschrijving |
|---|
| Test |
Naam van de test, ingekort tot 160 tekens, en unieke id. Bevat ook de naam en id van de cursuseditie waarvan deze deel uitmaakt. |
| Gemiddelde score |
Berekend als een percentage op basis van de score voor de eerste testpoging van elke gebruiker. |
| Betrouwbaarheidscoëfficiënt |
De betrouwbaarheid wordt berekend voor alle vragen of de testvragen allemaal al dan niet tweeledig zijn. De betrouwbaarheid zal gewoonlijk variëren van 0 tot 1, maar negatieve waarden zijn mogelijk.
Opmerking: raadpleeg Betrouwbaarheid berekenen hieronder voor meer informatie over hoe de betrouwbaarheidscoëfficiënt wordt berekend.
|
| Aantal testitems |
Totaal aantal vragen in de test. |
| Gemarkeerde testitems |
Aantal vragen dat buiten de ingestelde drempel voor geldige waarden in de test valt. |
| Aantal antwoorden van cursisten |
Aantal afzonderlijke gebruikers dat de test heeft geprobeerd. |
In het dashboard Beoordelingskwaliteit is er voor elke cursus een betrouwbaarheidscoëfficiënt voor elke test waarvoor één poging is gedaan. De betrouwbaarheid wordt berekend voor alle vragen, of de testvragen nu twee mogelijke antwoorden (zoals waar of onwaar) of niet hebben. De betrouwbaarheid varieert van 0-1; negatieve waarden zijn echter mogelijk.
De betrouwbaarheid wordt als volgt berekend:
Waarbij:
k = het totaal aantal vragen in de test.
(σ_(vraag i) )2 = het verschil voor een bepaalde vraagscore i
(σ_(test,alle) )2 = de variantie van de testscores (gebaseerd op alle cursisten)
Het gedeelte Analyse testitem
Klik op een test om naar het gedeelte Analyse testitem te gaan, waarin elke vraag in een test wordt uitgesplitst.
Afbeelding: het gedeelte Analyse testitem.
Klik op Ga naar test onder de naam van de test, en de pagina Test bewerken wordt geopend in een nieuw venster.
Onder Samenvatting vindt u kaarten voor Testdetails met de gegevens van de vorige pagina, Laag gemiddelde waarbij het aantal testitems wordt geteld met een lager gemiddelde dan uw drempel, Hoge afwijking waarbij het aantal testitems wordt geteld met een afwijking die groter is dan uw drempel, Zwakke correlatie waarbij het aantal testitems wordt geteld met een correlatie die lager is dan uw drempel, en Hoge discriminatie waarbij het aantal testitems wordt geteld met een groot verschil tussen lage en hoge prestaties. U kunt deze kaarten in- en uitschakelen en de drempels wijzigen in Instellingen.
Het gedeelte Testitems bevat een dynamische tabel met testitems die voldoen aan de criteria die op het dashboard zijn toegepast. Er wordt een "!"-pictogram weergegeven naast tests met een of meer statistieken die buiten het bereik van de ingestelde drempel vallen. Klik op een van de testitems in deze tabel om naar de pagina Voorbeeldweergave vraag van dat testitem te gaan.
In de tabel Testitems worden statistieken en details over elke vraag in de test weergegeven, waaronder:
| Kolomnaam |
Kolombeschrijving |
|---|
| Vraag |
Vraagtekst, ingekort tot 70 tekens en een unieke id. |
| Gemiddelde |
Berekend als een percentage met twee decimalen op basis van de score voor de eerste vraagpoging van elke gebruiker. |
| Meest gekozen onjuiste antwoord |
Meest gemelde onjuiste antwoord. Alleen ingevuld voor meerkeuzevragen en waar/onwaar-vragen. |
| Percentage meest gekozen onjuiste antwoord |
Reactiepercentage tussen 0 en 1 voor degenen die het meest voorkomende onjuiste antwoord hebben geselecteerd. Alleen ingevuld voor meerkeuzevragen en waar/onwaar-vragen. |
| In vragenpool |
Geeft aan of de vraag deel uitmaakt van een vragenpool (ja of nee). |
| Standaardafwijking |
De standaardafwijking van de vraagscore op basis van de eerste poging van elke gebruiker. |
| Correlatie |
Hiermee wordt de mogelijke correlatie tussen de vraagscore en de totale testscore berekend. Toont N.V.T. wanneer alle gebruikers de vraag correct beantwoorden.
Opmerking: zie Correlatie berekenen hieronder voor meer informatie.
|
| Discriminatie-index |
Dit berekent eventuele discriminatie in de vraag tussen de hoger en lager presterende cursisten door de onderste 27% van de bovenste 27% van de vraag af te trekken. Hoe groter het verschil, hoe beter de vraag onderscheid maakt tussen cursisten met een hoog en een laag niveau. Een negatieve waarde geeft aan dat meer cursisten met een lagere leerkwaliteit de vraag juist beantwoorden dan cursisten met een hoge leerkwaliteit. Dit zou zeer waarschijnlijk duiden op een gebrekkige testvraag. |
| Bovenste 27% |
Gemiddelde vraagscore van de gebruikers met testscores in de bovenste 27%.
Opmerking: wanneer er niet meer dan 10 vraagpogingen zijn, wordt de bovenste en onderste 50% in aanmerking genomen in plaats van 27%. Dit maakt de statistiek relevant bij kleinere steekproefgroottes.
|
| Onderste 27% |
Gemiddelde vraagscore van de gebruikers met testscores in de onderste 27%. |
Correlatiewaarden in het dashboard Beoordeling tonen de correlatie tussen de score van de vraag en de totale score van de test. Het meet de kracht van de correlatie tussen de twee waarden en toont ofwel een positieve of een negatieve relatie variërend van -1,00 tot +1,00.
Als de vraag slechts twee mogelijke antwoorden heeft (tweeledige vragen), zoals waar of onwaar, gebruikt het dashboard punt-biseriële correlatie. Als de vragen niet tweeledig zijn, zoals vragen met een kort antwoord, zijn de berekeningen van het dashboard gebaseerd op Pearson-correlatie.
Punt-biseriële correlatie wordt als volgt berekend:
Waarbij:
y1 = aantal juiste antwoorden
y1 = aantal onjuiste antwoorden
M1 = gemiddelde testscore voor degenen met het juiste antwoord
M0= gemiddelde testscore voor degenen met het onjuiste antwoord
n = aantal unieke pogingen van gebruikers voor de vraag
Pearson-correlatie wordt als volgt berekend:
Waarbij:
n = aantal unieke pogingen van gebruikers voor de vraag
A = vraagscore
b = testscore
ai = scores voor individuele vragen geïndexeerd met i
bi = individuele testscores geïndexeerd met i
Het gedeelte Voorbeeldweergave vraag
Klik op een testvraag om naar het gedeelte Voorbeeldweergave vraag te gaan, waar u een voorbeeld van testvragen, opmerkingen en tips kunt bekijken.
Afbeelding: het gedeelte Voorbeeldweergave vraag.
Info over afronden
Voor alle statistieken op het dashboard Beoordelingskwaliteit wordt de afronding slechts eenmaal uitgevoerd, aan het einde van de berekening. Verschillende statistieken hebben een verschillend aantal einddecimalen. Als het cijfer in de einddecimaal wordt gevolgd door een cijfer groter dan of gelijk aan 5, wordt het naar boven afgerond. Als het cijfer wordt gevolgd door een cijfer kleiner dan 5, blijft het ongewijzigd.
1,2356 afgerond op 2 decimalen wordt bijvoorbeeld 1,24, terwijl 1,2345 1,23 wordt.