Brontekst bekijken van Adviesdocument Toetsen en Examineren

= Verschillenanalyse =

In dit hoofdstuk worden vier onderwerpen behandelt. Te weten:

# Het beoordelen of extra referentiecomponenten nodig zijn binnen de ROSA, HORA en FORA. En hoe deze zich vervolgens verhoudt ten opzichte van de MORA.
# Het onderscheid verhelderen tussen toetssystemen en examensystemen.
# Heldere definitie en onderscheid tussen toets, tentamen en examen.
# Ophelderen van de verhouding tussen toetsen en examenplanning ten opzichte van een systeem voor de logistiek van examens. Het is duidelijk dat deze twee waarschijnlijk sterk met elkaar verbonden zijn.

<span id="beoordeling-noodzaak-extra-referentiecomponenten-binnen-rosa-hosa-en-fora-m.b.v.-mora"></span>
== Beoordeling noodzaak extra referentiecomponenten binnen ROSA, HORA en FORA M.b.v. MORA ==

Het ketenproces toetsen en examineren zoals afgebeeld in Figuur 1 bevat op dit moment nog geen koppeling met referentiecomponenten. Wel zijn er binnen de ROSA twee referentiecomponenten aanwezig voor het onderwerp toetsing en examinering te weten een ''toetssysteem'' en een ''planning- en roostersysteem''. Op basis van deze referentiecomponenten in de ROSA is er vergeleken welke soortgelijke referentiecomponenten aanwezig zijn binnen de FORA, MORA en HORA. Voor een overzicht zie Figuur 2.

''Notitie: In Figuur 2 staat bij de ROSA nog “digitaal toetssysteem”. Dit is ondertussen in de ROSA opgenomen als toetssysteem. Een toetssysteem kan namelijk digitaal zijn, maar dat hoeft niet''<ref>https://rosa.wikixl.nl/index.php/Id-ded9e8d9-4034-48f0-abbc-b5a5aeaff9f4</ref>''.''

[[Bestand:Referentiecomponenten in relatie tot Toetsten.png|601x274px|Afbeelding met tekst, schermopname, Lettertype, nummer Automatisch gegenereerde beschrijving]]

'''Figuur 2 Referentiecomponenten in relatie tot Toetsen'''

Allereerst is er gekeken naar het ''toetssysteem.'' Wat direct opvalt is een verschil in granulariteit tussen de verschillende architecturen. De huidige architecturen identificeren alle componenten gerelateerd aan toetssystemen:

* ROSA: Toetssysteem;
* FORA: Toetssysteem en Proctoringsysteem;
* MORA: Toets-, examenafnamesysteem, Proctoringsysteem, Toets- en examen(materiaal) beheersysteem en een Toets en examen inlever- &amp; beoordelingsysteem;
* HORA: Digitaal toetssysteem.

Daarnaast lijkt het ''toetssysteem'' van de FORA deels op die van het ''Toets- en examen (materiaal) beheer systeem'' van de MORA. Het ''Toets en exameninlever- &amp; beoordeling systeem'' van de MORA is echter niet direct te linken aan een systeem binnen de FORA. De HORA en ROSA hebben het enkel over ''toetssystemen.'' Aangrenzende referentiecomponenten, zoals een plagiaatsysteem, zijn niet meegenomen in de vergelijking.

<span id="verhouding-ten-opzichte-van-de-mora"></span>
=== Verhouding ten opzichte van de MORA ===

De MORA heeft de hoogste mate van granulariteit binnen haar architectuur. Doordat de MORA verder is uitgewerkt dan de overige onderwijsarchitecturen is gedurende de sessie continu expliciet de vergelijking gemaakt tussen de MORA en de overige onderwijsarchitecturen. Er is gesproken over Proctoringsystemen, Wat toetssystemen en leerlingvolgsystemen doen, en de aansluiting bij de overige architecturen.

# '''Proctoringsystemen''' zoals AB Tutor, veilige browsers of operating systems dienen als technische bescherming tijdens examens waardoor de adviesgroep deze zien als specialisatie op het referentiecomponent 'veilige omgeving'.
# '''Services van toetssystemen''': Daarnaast biedt een toetssysteem in de praktijk vaak meerdere verschillende services (diensten). Dit kan bijvoorbeeld een dienst zijn voor: het afnemen van de toets, het beoordelen van de toets, het rapporteren van de toets en in sommige gevallen ook een examenplanning component. Het uit elkaar trekken van referentiecomponenten wordt gezien als waardevol binnen de ROSA, FORA, MORA en HORA.
# '''Voortgangsmonitoringssysteem:''' Een voortgangsmonitoringssysteem is een systeem waarin de resultaten van onderwijsdeelnemers worden bijgehouden om hun voortgang gedurende hun onderwijsperiode te volgen. Conform wet- en regelgeving hoeft dit niet per definitie een digitaal systeem te zijn, maar het kan ook worden ingevuld door een menselijk systeem (een bedrijfsproces).<br />
<br />
De exacte invulling en terminologie verschilt per onderwijssector:

* In het primair en voortgezet onderwijs wordt vaak de term 'leerlingvolgsysteem' (LVS) gebruikt. Dit systeem bevat zowel genormeerde als niet-genormeerde toetsresultaten.
* In het middelbaar beroepsonderwijs spreekt men van een 'studentvolgsysteem', waarin ook genormeerde voortgangstoetsen zijn opgenomen.
* Het hoger onderwijs kent geen gestandaardiseerde term voor dit concept.

Het voortgangsmonitoringssysteem is een zelfstandig referentiecomponent dat verschillende applicatieservices kan bevatten, zoals het registreren van resultaten, het genereren van voortgangsoverzichten en het signaleren van aandachtspunten in de ontwikkeling van deelnemers. Dit systeem staat los van, maar heeft wel relaties met, andere referentiecomponenten zoals toetsafnamesystemen en beoordelingssystemen.

<ol start="4" style="list-style-type: decimal;">
<li><p>'''Papieren toetsen''': Er kunnen uiteraard ook papieren toetsen worden gegeven. In het geval van een papieren toets concluderen de experts dat er een referentiecomponent genaamd 'Scansysteem' nodig in plaats van een 'Toets- en examenafnamesysteem'. De toets wordt na het maken ingescand, zodat het vervolgens met een 'Toets- en exameninlever- &amp; beoordelingsysteem' kan worden beoordeeld. Tot slot kan het worden toegevoegd aan een LVS. Daarnaast ondersteunt het 'Toets- en exameninlever- &amp; beoordelingsysteem' het automatisch nakijken van toetsen en examens. Er zijn echter ook systemen die het handmatig nakijken van toetsen en examens ondersteunen. De beschrijving van het referentiecomponent ‘Toets- examen en beoordelingsysteem’ moet daarop worden aangepast.</p></li></ol>

''Op basis van bovenstaande is het advies als volgt:''

<ol style="list-style-type: decimal;">
<li><p>'''Proctoringsystemen:''' Erken proctoringsystemen zoals AB Tutor, veilige browsers of operating systems als specialisaties op het referentiecomponent 'veilige omgeving'.</p></li>
<li><p>'''Applicatieservices van toetssystemen:''' Splits de services van toetssystemen (afnemen, beoordelen, rapporteren, examenplanning) op in afzonderlijke referentiecomponenten.</p></li>
<li><p>'''(Onderwijs)voortgangsmonitoringssysteem :''' Definieer een voortgangsmonitoringssysteem duidelijk als een referentiecomponent dat genormeerde toetsen omvat. Maak daarnaast een duidelijk onderscheid tussen applicatieservices die nodig zijn om te voldoen aan wettelijke vereisten.</p></li>
<li><p>'''Papieren toetsen:''' Voor de verwerking van papieren toetsen maken we gebruik van bestaande referentiecomponenten. Het scannen van papieren toetsen wordt gezien als een applicatieservice binnen het 'Toets- en exameninlever- &amp; beoordelingssysteem'. Dit systeem ondersteunt zowel het automatisch als het handmatig nakijken van toetsen en examens.</p></li>
<li><p>'''Granulariteit van referentiecomponenten:'''</p>
<ol style="list-style-type: lower-alpha;">
<li><p>Verhoog de granulariteit binnen de ROSA waar nodig om koppelingen tussen verschillende sectoren mogelijk te maken. Dit stelt de ROSA in staat om als verbindende factor te fungeren tussen de verschillende sectorale referentiearchitecturen.</p></li>
<li><p>SRA's behouden de flexibiliteit om hun eigen niveau van granulariteit te kiezen, passend bij de behoeften van hun specifieke sector. Ze kunnen ervoor kiezen om bepaalde componenten gedetailleerder uit te werken of juist op een hoger abstractieniveau te blijven. Op deze manier kan beter worden aangesloten bij het applicatielandschap binnen een onderwijssector.</p></li>
<li><p>Zorg voor duidelijke mapping tussen de ROSA-referentiecomponenten en de componenten in de SRA's. Dit maakt het mogelijk om de relaties tussen verschillende granulariteitsniveaus inzichtelijk te maken zonder dat alle architecturen exact hetzelfde detailniveau moeten hanteren.</p></li>
<li><p>Documenteer de keuzes in granulariteit en de mapping tussen ROSA en SRA's om de samenhang en traceerbaarheid te waarborgen.</p></li></ol>
</li></ol>

<span id="onderscheid-tussen-referentiecomponenten-toetssysteem-en-examensysteem"></span>

== Onderscheid tussen Referentiecomponenten toetssysteem en examensysteem ==

In de huidige situatie worden de termen toets, examen en examenonderdeel binnen de referentiearchitecturen veel door elkaar gebruikt, wat leidt tot verwarring. Binnen de HORA wordt bijvoorbeeld een toets gezien als een specialisatie van een examen, dat op zijn beurt weer als een examenonderdeel wordt beschouwd. Er bestaan sectorale verschillen in het gebruik van de termen 'toets' en 'examen':

# '''In het mbo''': Een toets is formatief en wordt gebruikt om de voortgang en ontwikkeling te volgen en te meten. Een examen is summatief en wordt uitsluitend gebruikt voor diplomering.
# '''In andere onderwijssectoren''': Het onderscheid tussen toets en examen kan minder scherp zijn. Beide termen kunnen zowel formatief als summatief worden gebruikt.

Dit verschil in gehanteerde terminologie kan leiden tot misverstanden waardoor de communicatie stroever verloopt en onnodige frustratie ondervindt. Dit belemmert de coherentie en compatibiliteit. De adviesgroep is daarom tot de conclusie gekomen om een eenduidige terminologie te hanteren door de term “Toets” voor alle referentiecomponenten te gebruiken. Hierdoor zal het referentiecomponent “Toets- en examensysteem” te komen vervallen door de term “Toetssysteem”. Dit zal verdere verwarring voorkomen en zorgen voor een uniforme en duidelijke communicatie binnen en tussen verschillende onderwijsinstellingen. Wat betreft informatieobjecten is het belangrijk om het onderscheid tussen toets, examen en examenonderdeel te behouden, zodat de functionele verschillen duidelijk blijven en goed beheerd kunnen worden.

<ol style="list-style-type: decimal;">
<li><p>'''Eenduidige terminologie:'''</p>
<ol style="list-style-type: lower-alpha;">
<li><p>Gebruik de term “Toets” voor alle referentiecomponenten om verwarring te voorkomen. Hierdoor vervalt het referentiecomponent “Toets- en examensysteem” en wordt vervangen door de term “Toetssysteem”.</p></li></ol>
</li>
<li><p>'''Behouden van functionele onderscheidingen:'''</p>
<ol style="list-style-type: lower-alpha;">
<li><p>Behoud het onderscheid tussen toets, examen en examenonderdeel wat betreft informatieobjecten, zodat de functionele verschillen duidelijk blijven en goed beheerd kunnen worden.</p></li></ol>
</li>
<li><p>'''Uniforme communicatie:'''</p>
<ol style="list-style-type: lower-alpha;">
<li><p>Zorg voor een uniforme en duidelijke communicatie binnen en tussen verschillende onderwijsinstellingen door het hanteren van de eenduidige terminologie.</p></li></ol>
</li>
<li><p>'''Verbetering van coherentie en compatibiliteit:'''</p>
<ol style="list-style-type: lower-alpha;">
<li><p>Vermijd misverstanden en frustratie door een consistente terminologie te gebruiken, wat de coherentie en compatibiliteit tussen de verschillende referentiearchitecturen zal verbeteren.</p></li></ol>
</li></ol>

<span id="definitie-en-onderscheid-tussen-toets-examen-en-tentamen"></span>
== Definitie en onderscheid tussen toets, examen en tentamen ==

De afbakening omtrent de verschillende definities van toets is cruciaal om verwarring te voorkomen en eenduidigheid te waarborgen. Binnen de onderwijsarchitecturen is er verwarring over de exacte betekenis en toepassing van verschillend gebruik omtrent de term toets over de verschillende architecturen heen. Verschillende referentiearchitecturen maken gebruik van verschillende definities en toepassingen van deze term, wat de samenhang en compatibiliteit belemmert.

Het advies is om duidelijke, eenduidige definities voor termen zoals bijvoorbeeld toets, tentamen, examen, examenonderdeel en LVS-toets te ontwikkelen en te implementeren binnen het begrippenkader. Hierbij moet worden onderzocht of elke term als een aparte definitie moet worden opgenomen of dat bepaalde termen als synoniemen kunnen worden beschouwd. Het is ook belangrijk om ervoor te zorgen dat alle betrokken partijen binnen de onderwijsarchitecturen op de hoogte zijn van deze definities en deze consistent gebruiken in hun communicatie en processen.

De vertegenwoordiger van FORA, als lid van het ROSA redactieteam begrippen, zal deze taak op zich nemen en ervoor zorgen dat de verschillende termen duidelijk worden gedefinieerd en opgenomen zijn in het begrippenkader. Hierbij zal hij nagaan welke termen synoniem kunnen zijn en welke als aparte definities moeten worden gehandhaafd. De volgende termen zijn benoemd tijdens de sessie en vereisen verdere opheldering:

* Proefwerk 
* Overhoring 
* Volgtoets 
* LVS-toets 
* Proeven van bekwaamheid 
* Praktijkexamen 
* Schoolexamen 
* Tentamen 
* Centraal examen 
* Examenonderdeel 
* Eindexamen 
* Instellingsexamen

<span id="verhouding-tussen-toets-en-examenplanning-t.o.v.-logistiek-examensysteem."></span>
== Verhouding tussen toets en examenplanning t.o.v. logistiek examensysteem. ==

Binnen de MORA bestaat een referentiecomponent genaamd “Examen logistiek systeem,” dat veel overlap heeft met een “Afname planning systeem.” Examenlogistieksystemen onderscheiden zich door taken zoals het creëren van examengroepen, het toekennen van examenmateriaal en surveillanten, die niet altijd in plannings- of toetssystemen voorkomen. Er is echter overlap met het RC afnameplanningssystemen, die ook dergelijke logistieke informatie verwerken om ervoor te zorgen dat examens goed verlopen. De MORA hanteert naast het Toets- en examenplanning- en inschrijfsysteem in haar referentiearchitectuur ook een planning- en roostersysteem. Leveranciers bewegen zich in de richting van het integreren van zowel planning- en roostersysteemfunctionaliteit als toets- en examenplanning- en inschrijfsysteemfunctionaliteit in hun pakketten, waardoor het opsplitsen van deze referentiecomponenten als waardevol wordt beschouwd.

De knelpunten die hierbij spelen, zijn onder andere de verwarring in terminologie: de termen planning en roostering worden vaak door elkaar gebruikt, wat leidt tot misverstanden in het beheer van toets- en examenprocessen. Daarnaast is er overlap tussen examenlogistieksystemen en afnameplanningssystemen, wat kan leiden tot inefficiënties en redundantie in de functionaliteit. De verschillende use cases voor planning en roostering op verschillende onderwijsniveaus en in verschillende contexten, zoals centraal georganiseerde examens versus klassikale toetsen, kunnen leiden tot inconsistenties in de toepassing van referentiecomponenten.

Het advies is daarom om duidelijke definities en een scheiding van functionaliteit te implementeren. Het verschil tussen planning en roostering om moet duidelijk zijn. Planning verwijst expliciet naar capaciteitsbeheer vooraf (locatie, tijd, toets, surveillant), terwijl roostering het gedetailleerde schema daarna betreft. Zorg voor een duidelijke scheiding tussen examenlogistieksystemen en afnameplanningssystemen, en beschrijf hun specifieke taken en verantwoordelijkheden om overlap en inefficiënties te vermijden.

<span id="section"></span>

<span id="samenvatting-adviezen"></span>