Adviesdocument Toetsen en Examineren
Eigenschappen
Relaties met andere elementen
Versiegeschiedenis[bewerken]
| Versie | Datum | Auteur | Omschrijving |
|---|---|---|---|
| 0.1 | 17-06-2024 | Morcel el Quahbi (ArchiXL) | Eerste werkversie |
| 0.2 | 25-06-2024 | Joeri van Es | Redactieslag werkversie |
| 0.5 | 05-11-2024 | Joeri van Es | Versie ter externe afstemming |
Inleiding[bewerken]
De focussessie op het onderwerp: “toetsen en examineren” van 14 mei 2024 is een vervolg op het verkennende gesprek van de bijeenkomst van de AG Samenhang in maart. De bijeenkomst wordt afgetrapt met een terugblik op de conclusies van dit gesprek. De onderwerpen die destijds aan bod zijn gekomen zijn: proctoringsystemen, de granulariteit van referentiecomponenten en compatibiliteit van referentiecomponenten en applicaties in het onderwijsdomein.
Een proctoringssysteem is een systeem om digitaal toezicht te houden bij de afname van toetsen. Wat betreft de referentiecomponent proctoringsystemen is de conclusie getrokken dat deze zowel zelfstandig als aanvullend kunnen functioneren op bestaande toetssystemen. Door deze eigenschap is het gerechtvaardigd om zo’n systeem logisch gezien aan te merken als een separaat referentiecomponent. Wat betreft de behoefte aan de juiste mate van granulariteit van referentiecomponenten is de adviesgroep tot inzicht gekomen dat deze zo goed mogelijk moeten kunnen aansluiten op applicaties in de echte wereld. Hierbij zoeken we naar een situatie waar iedere in de markt beschikbare applicatie kan worden geplot op één of meerdere referentiecomponenten, inclusief alle services die hier onderdeel van uitmaken. Wanneer de ene leverancier een bepaalde service niet levert, maar een andere wel als onderdeel van een applicatie, kan dit een reden zijn om twee verschillende referentiecomponenten te definiëren.
Het doel van de focussessie en tevens de invulling van dit document bestaat uit drie pijlers:
- Bespreken van verschillen tussen onderwerpen voor afstemming uit de vorige sessie.
- Het beoordelen of extra referentiecomponenten nodig zijn binnen de ROSA, HORA en FORA. En hoe deze zich vervolgens verhouden ten opzichte van de MORA.
- Het onderscheid verhelderen tussen toetssystemen en examensystemen.
- Heldere definitie en onderscheid tussen toets, tentamen en examen.
- Ophelderen van de verhouding tussen toetsen en examenplanning ten opzichte van een systeem voor de logistiek van examens. Het is duidelijk dat deze twee waarschijnlijk sterk met elkaar verbonden zijn.
Harmoniseren van referentiecomponent waar mogelijk en nuttig.
Valideren van de algemene spelregels van de referentiecomponenten die eerder zijn opgesteld.
- Referentiecomponenten hebben bij voorkeur geen overlappende/gemeenschappelijke applicatiefuncties of -services met andere referentiecomponenten.
- Gangbare producten in de markt kunnen eenduidig op een referentiecomponent (of meerdere) worden gemapt.
- Het moet duidelijk zijn, welke bedrijfs- of ketenprocessen door een referentiecomponent worden ondersteund.
In onderstaande Figuur 1 is het ketenprocesmodel van toetsen en examinering opgenomen. Dit model vormt de scope van waarbinnen de focussessie heeft plaatsgevonden. Het ketenprocesmodel "Toetsen en Examineren" geeft een overzicht van de verschillende ketenprocesstappen en hun onderlinge relaties binnen het onderwijsdomein. Het model toont hoe het examenproces begint met het vaststellen van examen- en toetskaders en het organiseren van examens, gevolgd door de uitvoering van examenonderdelen en het bepalen van de uitslag. Parallel hieraan wordt het toetsproces beschreven, waarbij toetsen worden georganiseerd, afgenomen, beoordeeld en geformaliseerd. Beide processen zijn met elkaar verbonden door informatieobjecten zoals examendeelnemers, toetsdeelnemers, examenresultaten en toetsresultaten. Het model illustreert ook de rol van vrijstellingen, afname- en beoordelingsplanning, en de invloed die formele examenreglementen en aanmeldingsprocedures hebben op het organiseren van een examen.
ERROR: Invalid value Id-2ec9ba9afcc34ca09d65df64cc140de6 for parameter
Figuur 1 ROSA ketenproces toetsen en examineren
Verschillenanalyse[bewerken]
In dit hoofdstuk worden vier onderwerpen behandelt. Te weten:
- Het beoordelen of extra referentiecomponenten nodig zijn binnen de ROSA, HORA en FORA. En hoe deze zich vervolgens verhoudt ten opzichte van de MORA.
- Het onderscheid verhelderen tussen toetssystemen en examensystemen.
- Heldere definitie en onderscheid tussen toets, tentamen en examen.
- Ophelderen van de verhouding tussen toetsen en examenplanning ten opzichte van een systeem voor de logistiek van examens. Het is duidelijk dat deze twee waarschijnlijk sterk met elkaar verbonden zijn.
Beoordeling noodzaak extra referentiecomponenten binnen ROSA, HORA en FORA M.b.v. MORA[bewerken]
Het ketenproces toetsen en examineren zoals afgebeeld in Figuur 1 bevat op dit moment nog geen koppeling met referentiecomponenten. Wel zijn er binnen de ROSA twee referentiecomponenten aanwezig voor het onderwerp toetsing en examinering te weten een toetssysteem en een planning- en roostersysteem. Op basis van deze referentiecomponenten in de ROSA is er vergeleken welke soortgelijke referentiecomponenten aanwezig zijn binnen de FORA, MORA en HORA. Voor een overzicht zie Figuur 2.
Notitie: In Figuur 2 staat bij de ROSA nog “digitaal toetssysteem”. Dit is ondertussen in de ROSA opgenomen als toetssysteem. Een toetssysteem kan namelijk digitaal zijn, maar dat hoeft niet[1].
Figuur 2 Referentiecomponenten in relatie tot Toetsen
Allereerst is er gekeken naar het toetssysteem. Wat direct opvalt is een verschil in granulariteit tussen de verschillende architecturen. De huidige architecturen identificeren alle componenten gerelateerd aan toetssystemen:
- ROSA: Toetssysteem;
- FORA: Toetssysteem en Proctoringsysteem;
- MORA: Toets-, examenafnamesysteem, Proctoringsysteem, Toets- en examen(materiaal) beheersysteem en een Toets en examen inlever- & beoordelingsysteem;
- HORA: Digitaal toetssysteem.
Daarnaast lijkt het toetssysteem van de FORA deels op die van het Toets- en examen (materiaal) beheer systeem van de MORA. Het Toets en exameninlever- & beoordeling systeem van de MORA is echter niet direct te linken aan een systeem binnen de FORA. De HORA en ROSA hebben het enkel over toetssystemen. Aangrenzende referentiecomponenten, zoals een plagiaatsysteem, zijn niet meegenomen in de vergelijking.
Verhouding ten opzichte van de MORA[bewerken]
De MORA heeft de hoogste mate van granulariteit binnen haar architectuur. Doordat de MORA verder is uitgewerkt dan de overige onderwijsarchitecturen is gedurende de sessie continu expliciet de vergelijking gemaakt tussen de MORA en de overige onderwijsarchitecturen. Er is gesproken over Proctoringsystemen, Wat toetssystemen en leerlingvolgsystemen doen, en de aansluiting bij de overige architecturen.
- Proctoringsystemen zoals AB Tutor, veilige browsers of operating systems dienen als technische bescherming tijdens examens waardoor de adviesgroep deze zien als specialisatie op het referentiecomponent 'veilige omgeving'.
- Services van toetssystemen: Daarnaast biedt een toetssysteem in de praktijk vaak meerdere verschillende services (diensten). Dit kan bijvoorbeeld een dienst zijn voor: het afnemen van de toets, het beoordelen van de toets, het rapporteren van de toets en in sommige gevallen ook een examenplanning component. Het uit elkaar trekken van referentiecomponenten wordt gezien als waardevol binnen de ROSA, FORA, MORA en HORA.
- Voortgangsmonitoringssysteem: Een voortgangsmonitoringssysteem is een systeem waarin de resultaten van onderwijsdeelnemers worden bijgehouden om hun voortgang gedurende hun onderwijsperiode te volgen. Conform wet- en regelgeving hoeft dit niet per definitie een digitaal systeem te zijn, maar het kan ook worden ingevuld door een menselijk systeem (een bedrijfsproces).
De exacte invulling en terminologie verschilt per onderwijssector:
- In het primair en voortgezet onderwijs wordt vaak de term 'leerlingvolgsysteem' (LVS) gebruikt. Dit systeem bevat zowel genormeerde als niet-genormeerde toetsresultaten.
- In het middelbaar beroepsonderwijs spreekt men van een 'studentvolgsysteem', waarin ook genormeerde voortgangstoetsen zijn opgenomen.
- Het hoger onderwijs kent geen gestandaardiseerde term voor dit concept.
Het voortgangsmonitoringssysteem is een zelfstandig referentiecomponent dat verschillende applicatieservices kan bevatten, zoals het registreren van resultaten, het genereren van voortgangsoverzichten en het signaleren van aandachtspunten in de ontwikkeling van deelnemers. Dit systeem staat los van, maar heeft wel relaties met, andere referentiecomponenten zoals toetsafnamesystemen en beoordelingssystemen.
Papieren toetsen: Er kunnen uiteraard ook papieren toetsen worden gegeven. In het geval van een papieren toets concluderen de experts dat er een referentiecomponent genaamd 'Scansysteem' nodig in plaats van een 'Toets- en examenafnamesysteem'. De toets wordt na het maken ingescand, zodat het vervolgens met een 'Toets- en exameninlever- & beoordelingsysteem' kan worden beoordeeld. Tot slot kan het worden toegevoegd aan een LVS. Daarnaast ondersteunt het 'Toets- en exameninlever- & beoordelingsysteem' het automatisch nakijken van toetsen en examens. Er zijn echter ook systemen die het handmatig nakijken van toetsen en examens ondersteunen. De beschrijving van het referentiecomponent ‘Toets- examen en beoordelingsysteem’ moet daarop worden aangepast.
Op basis van bovenstaande is het advies als volgt:
Proctoringsystemen: Erken proctoringsystemen zoals AB Tutor, veilige browsers of operating systems als specialisaties op het referentiecomponent 'veilige omgeving'.
Applicatieservices van toetssystemen: Splits de services van toetssystemen (afnemen, beoordelen, rapporteren, examenplanning) op in afzonderlijke referentiecomponenten.
(Onderwijs)voortgangsmonitoringssysteem : Definieer een voortgangsmonitoringssysteem duidelijk als een referentiecomponent dat genormeerde toetsen omvat. Maak daarnaast een duidelijk onderscheid tussen applicatieservices die nodig zijn om te voldoen aan wettelijke vereisten.
Papieren toetsen: Voor de verwerking van papieren toetsen maken we gebruik van bestaande referentiecomponenten. Het scannen van papieren toetsen wordt gezien als een applicatieservice binnen het 'Toets- en exameninlever- & beoordelingssysteem'. Dit systeem ondersteunt zowel het automatisch als het handmatig nakijken van toetsen en examens.
Granulariteit van referentiecomponenten:
Verhoog de granulariteit binnen de ROSA waar nodig om koppelingen tussen verschillende sectoren mogelijk te maken. Dit stelt de ROSA in staat om als verbindende factor te fungeren tussen de verschillende sectorale referentiearchitecturen.
SRA's behouden de flexibiliteit om hun eigen niveau van granulariteit te kiezen, passend bij de behoeften van hun specifieke sector. Ze kunnen ervoor kiezen om bepaalde componenten gedetailleerder uit te werken of juist op een hoger abstractieniveau te blijven. Op deze manier kan beter worden aangesloten bij het applicatielandschap binnen een onderwijssector.
Zorg voor duidelijke mapping tussen de ROSA-referentiecomponenten en de componenten in de SRA's. Dit maakt het mogelijk om de relaties tussen verschillende granulariteitsniveaus inzichtelijk te maken zonder dat alle architecturen exact hetzelfde detailniveau moeten hanteren.
Documenteer de keuzes in granulariteit en de mapping tussen ROSA en SRA's om de samenhang en traceerbaarheid te waarborgen.
Onderscheid tussen Referentiecomponenten toetssysteem en examensysteem[bewerken]
In de huidige situatie worden de termen toets, examen en examenonderdeel binnen de referentiearchitecturen veel door elkaar gebruikt, wat leidt tot verwarring. Binnen de HORA wordt bijvoorbeeld een toets gezien als een specialisatie van een examen, dat op zijn beurt weer als een examenonderdeel wordt beschouwd. Er bestaan sectorale verschillen in het gebruik van de termen 'toets' en 'examen':
- In het mbo: Een toets is formatief en wordt gebruikt om de voortgang en ontwikkeling te volgen en te meten. Een examen is summatief en wordt uitsluitend gebruikt voor diplomering.
- In andere onderwijssectoren: Het onderscheid tussen toets en examen kan minder scherp zijn. Beide termen kunnen zowel formatief als summatief worden gebruikt.
Dit verschil in gehanteerde terminologie kan leiden tot misverstanden waardoor de communicatie stroever verloopt en onnodige frustratie ondervindt. Dit belemmert de coherentie en compatibiliteit. De adviesgroep is daarom tot de conclusie gekomen om een eenduidige terminologie te hanteren door de term “Toets” voor alle referentiecomponenten te gebruiken. Hierdoor zal het referentiecomponent “Toets- en examensysteem” te komen vervallen door de term “Toetssysteem”. Dit zal verdere verwarring voorkomen en zorgen voor een uniforme en duidelijke communicatie binnen en tussen verschillende onderwijsinstellingen. Wat betreft informatieobjecten is het belangrijk om het onderscheid tussen toets, examen en examenonderdeel te behouden, zodat de functionele verschillen duidelijk blijven en goed beheerd kunnen worden.
Eenduidige terminologie:
Gebruik de term “Toets” voor alle referentiecomponenten om verwarring te voorkomen. Hierdoor vervalt het referentiecomponent “Toets- en examensysteem” en wordt vervangen door de term “Toetssysteem”.
Behouden van functionele onderscheidingen:
Behoud het onderscheid tussen toets, examen en examenonderdeel wat betreft informatieobjecten, zodat de functionele verschillen duidelijk blijven en goed beheerd kunnen worden.
Uniforme communicatie:
Zorg voor een uniforme en duidelijke communicatie binnen en tussen verschillende onderwijsinstellingen door het hanteren van de eenduidige terminologie.
Verbetering van coherentie en compatibiliteit:
Vermijd misverstanden en frustratie door een consistente terminologie te gebruiken, wat de coherentie en compatibiliteit tussen de verschillende referentiearchitecturen zal verbeteren.
Definitie en onderscheid tussen toets, examen en tentamen[bewerken]
De afbakening omtrent de verschillende definities van toets is cruciaal om verwarring te voorkomen en eenduidigheid te waarborgen. Binnen de onderwijsarchitecturen is er verwarring over de exacte betekenis en toepassing van verschillend gebruik omtrent de term toets over de verschillende architecturen heen. Verschillende referentiearchitecturen maken gebruik van verschillende definities en toepassingen van deze term, wat de samenhang en compatibiliteit belemmert.
Het advies is om duidelijke, eenduidige definities voor termen zoals bijvoorbeeld toets, tentamen, examen, examenonderdeel en LVS-toets te ontwikkelen en te implementeren binnen het begrippenkader. Hierbij moet worden onderzocht of elke term als een aparte definitie moet worden opgenomen of dat bepaalde termen als synoniemen kunnen worden beschouwd. Het is ook belangrijk om ervoor te zorgen dat alle betrokken partijen binnen de onderwijsarchitecturen op de hoogte zijn van deze definities en deze consistent gebruiken in hun communicatie en processen.
De vertegenwoordiger van FORA, als lid van het ROSA redactieteam begrippen, zal deze taak op zich nemen en ervoor zorgen dat de verschillende termen duidelijk worden gedefinieerd en opgenomen zijn in het begrippenkader. Hierbij zal hij nagaan welke termen synoniem kunnen zijn en welke als aparte definities moeten worden gehandhaafd. De volgende termen zijn benoemd tijdens de sessie en vereisen verdere opheldering:
- Proefwerk
- Overhoring
- Volgtoets
- LVS-toets
- Proeven van bekwaamheid
- Praktijkexamen
- Schoolexamen
- Tentamen
- Centraal examen
- Examenonderdeel
- Eindexamen
- Instellingsexamen
Verhouding tussen toets en examenplanning t.o.v. logistiek examensysteem.[bewerken]
Binnen de MORA bestaat een referentiecomponent genaamd “Examen logistiek systeem,” dat veel overlap heeft met een “Afname planning systeem.” Examenlogistieksystemen onderscheiden zich door taken zoals het creëren van examengroepen, het toekennen van examenmateriaal en surveillanten, die niet altijd in plannings- of toetssystemen voorkomen. Er is echter overlap met het RC afnameplanningssystemen, die ook dergelijke logistieke informatie verwerken om ervoor te zorgen dat examens goed verlopen. De MORA hanteert naast het Toets- en examenplanning- en inschrijfsysteem in haar referentiearchitectuur ook een planning- en roostersysteem. Leveranciers bewegen zich in de richting van het integreren van zowel planning- en roostersysteemfunctionaliteit als toets- en examenplanning- en inschrijfsysteemfunctionaliteit in hun pakketten, waardoor het opsplitsen van deze referentiecomponenten als waardevol wordt beschouwd.
De knelpunten die hierbij spelen, zijn onder andere de verwarring in terminologie: de termen planning en roostering worden vaak door elkaar gebruikt, wat leidt tot misverstanden in het beheer van toets- en examenprocessen. Daarnaast is er overlap tussen examenlogistieksystemen en afnameplanningssystemen, wat kan leiden tot inefficiënties en redundantie in de functionaliteit. De verschillende use cases voor planning en roostering op verschillende onderwijsniveaus en in verschillende contexten, zoals centraal georganiseerde examens versus klassikale toetsen, kunnen leiden tot inconsistenties in de toepassing van referentiecomponenten.
Het advies is daarom om duidelijke definities en een scheiding van functionaliteit te implementeren. Het verschil tussen planning en roostering om moet duidelijk zijn. Planning verwijst expliciet naar capaciteitsbeheer vooraf (locatie, tijd, toets, surveillant), terwijl roostering het gedetailleerde schema daarna betreft. Zorg voor een duidelijke scheiding tussen examenlogistieksystemen en afnameplanningssystemen, en beschrijf hun specifieke taken en verantwoordelijkheden om overlap en inefficiënties te vermijden.
Samenvatting adviezen[bewerken]
Dit hoofdstuk vat de belangrijkste adviezen samen die zijn gegeven in dit document. Per thema wordt aangegeven aan wie het advies gericht is.
Voor beheerders van de ROSA
- Voeg meer detail toe aan ROSA-referentiecomponenten om betere aansluiting tussen sectoren mogelijk te maken
- Leg in een mappingdocument vast hoe ROSA-referentiecomponenten zich verhouden tot componenten in de SRA's
- Voeg proctoringsystemen toe als specialisatie van het referentiecomponent 'veilige omgeving'
- Splits het huidige toetssysteem op in aparte referentiecomponenten voor toetsafname, toetsbeoordeling en toetsrapportage
- Voeg voortgangsmonitoringssysteem toe als zelfstandig referentiecomponent voor het volgen van toetsresultaten
- Vervang in alle ROSA-documentatie de term "Toets- en examensysteem" door "Toetssysteem"
- Neem in het ROSA begrippenkader eenduidige definities op voor proefwerk, overhoring, volgtoets, LVS-toets, praktijkexamen en andere toets-gerelateerde termen
- Maak in architectuurdocumentatie duidelijk dat planning gaat over capaciteitsbeheer vooraf en roostering over het gedetailleerde schema
- Handhaaf in referentiearchitecturen een scheiding tussen systemen voor examenlogistiek (examengroepen, materiaal, surveillanten) en systemen voor afnameplanning (roostering)
- Beschrijf per referentiecomponent voor examenlogistiek en afnameplanning de specifieke taken om functieoverlap te voorkomen
Voor beheerders van sectorale referentiearchitecturen
- Bepaal op basis van sectorale behoeften welk detailniveau nodig is in referentiecomponenten
- Documenteer hoe eigen referentiecomponenten mappen op ROSA-referentiecomponenten
- Gebruik in alle documentatie de term "Toets" in plaats van "Examen" voor referentiecomponenten
- Neem de ROSA-definities voor toets-gerelateerde termen over in eigen begrippenlijst
- Gebruik voor papieren toetsen de bestaande referentiecomponenten toetsinlever- en beoordelingssysteem
Conclusie en evaluatie[bewerken]
De focussessie toetsen en examineren heeft geleid tot concrete adviezen. De belangrijkste resultaten zijn:
- Een duidelijke structuur voor granulariteit van referentiecomponenten, waarbij de ROSA op een hoger detailniveau wordt gebracht terwijl SRA's flexibiliteit behouden
- Eenduidige terminologie rond toetsen en examens, waarbij "Toets" als overkoepelende term voor referentiecomponenten wordt gebruikt
- Heldere scheiding tussen systemen voor planning, roostering en logistiek
- Validatie en aanscherping van de spelregels voor referentiecomponenten
De adviezen zijn direct toepasbaar voor de beheerders van de ROSA en sectorale referentiearchitecturen. Hiermee wordt een belangrijke stap gezet in het harmoniseren van architecturen binnen het onderwijsdomein.
Vervolgstappen zijn:
- Het uitwerken van de definities voor toets-gerelateerde termen in het ROSA begrippenkader
- Het documenteren van de mappings tussen ROSA en SRA componenten
- Het doorvoeren van de geadviseerde wijzigingen in referentiecomponenten
De adviesgroep zal de implementatie van deze adviezen monitoren en waar nodig bijsturen om de samenhang tussen onderwijsarchitecturen verder te versterken.
Evaluatie van spelregels[bewerken]
Tot slot zijn de spelregels geëvalueerd om te komen tot referentiecomponenten.
Spelregel 1 stelt dat referentiecomponenten bij voorkeur geen overlappende of gemeenschappelijke applicatieservices met andere referentiecomponenten mogen hebben. De experts zijn het erover eens dat dit vermeden moet worden. Hierbij moet echter niet enkel naar het referentiecomponent worden gekeken, maar ook naar de service die het realiseert. Het kan zo zijn dat referentiecomponenten een functionele overlap hebben, maar in de gedetailleerde uitwerking zal blijken dat het een ander doel dient binnen het proces.
Spelregel 2 stelt dat gangbare producten in de markt eenduidig op een referentiecomponent (of meerdere) moeten kunnen worden gemapt. Tijdens de discussie over deze spelregel werd de vraag opgeworpen of de spelregel omgedraaid zou moeten worden. De verwarring zat in het feit of dit impliceert dat een product precies moet passen op een referentiecomponent, of dat ook een deel mag passen. Het is van belang dat referentiecomponenten specifiek worden beschreven, inclusief hun bijbehorende services. De conclusie was om de regel als volgt aan te passen: gangbare producten in de markt kunnen eenduidig op een referentiecomponent (of meerdere) inclusief al haar applicatieservices worden gemapt.
Spelregel 3 stelt dat het duidelijk moet zijn welke processen door een referentiecomponent moeten worden ondersteund. Dit wordt weergegeven op basis van de services zoals dat op dit moment ook in de ROSA plaatsvindt. Hier is de consensus dat de spelregel nog valide is.
Gedurende het reviewproces werd voorgesteld om de regels stelliger en bondiger te formuleren. Dat resulteerde in de volgende spelregels:
- Unieke functionaliteit: Referentiecomponenten hebben geen overlappende of gemeenschappelijke applicatiefuncties of -services met andere referentiecomponenten.
- Marktrelevantie: Gangbare producten in de markt zijn eenduidig te mappen op een of meerdere referentiecomponenten, inclusief alle bijbehorende applicatieservices.
- Proceskoppeling: Voor elk referentiecomponent is duidelijk welke processen het ondersteunt.