Omhoog

Dialang en Phonepass, twee programma’s voor het toetsen van taalvaardigheid

Waarom alle leerlingen in de examenklassen tegelijk de traditionele cito toetsen voorleggen? Het antwoord op deze vraag zal ongetwijfeld zijn dat dit nu eenmaal zo is gegroeid en dat er geen andere mogelijkheden voorhanden zijn. Er zijn echter redenen genoeg te bedenken om af te stappen van deze jaarlijks terugkerende examens, die de schoolorganisatie ontwrichten. Eén daarvan is dat het voor de moderne vreemde talen nu technisch mogelijk is om leerlingen individueel te toetsen op het moment dat ze daar de kennis en vaardigheden voor hebben. Met Dialang toets je lees- luister- spreek- en schrijfvaardigheid van de talen van de Europese Gemeenschap. Met Phonepass alleen spreek- en luistervaardigheid Engels. Dialang is gratis, aan Phonepass hangt een prijskaartje. Maar dat is niet de enige reden waarom beide programma’s niet met elkaar zijn te vergelijken.

Dialang, diagnostisch testprogramma van de Europese Commissie  

Dialang, begonnen in 1999, is nu in de derde fase met betaversie 1. Die versie kun je gratis downloaden vanaf http://www.dialang.org. De coördinatie van het project is in handen van de Vrije universiteit in Berlijn, de toetsen worden uitgevoerd en gecoördineerd door ons eigen cito en het Finse Jyväskylän yliopisto. De universiteit van Lancaster zorgt voor de ontwikkeling van de informatietechnologie. 

Installatie
Je kunt de taal kiezen waarin je de downloadinstructies wilt lezen. Daarbij is ook Nederlands. De installatie van het programma van 3 MB is eenvoudig en kost slechts enkele minuten. Je wordt uitgenodigd om ook de benodigde Java Run Environment van 16.2 MB te downloaden. Deze is nodig om alle gebruikte navigatiesymbooltjes van Dialang te kunnen gebruiken. Na de volledige installatie krijg je automatisch het Dialang-pictogram op je bureaublad en met één klik daarop kun je aan het werk. 

Welkom
De gebruiker, die zich niet hoeft te registreren, wordt met u aangesproken in een welkomstwoordje: ‘welkom bij het on-line Dialang diagnostisch taaltoetssysteem. Hiermee kunt u onderzoeken hoe goed u bent in lezen, luisteren, woordenschat of grammatica en hoe u deze kunt verbeteren’.
Dialang kent zes vaardigheidsniveaus, die lopen van beginners tot zeer gevorderd. Je krijgt het advies om op een laag niveau te beginnen omdat je dan sneller vorderingen maakt dan vanuit een hoger niveau. Welk niveau je hebt, kun je eerst laten meten met een plaatsingstoets. Deze is niet verplicht. Daarna kun je een vaardigheid kiezen. Alvorens te beginnen aan een toets, kun je klikken op de ook niet verplichte zelfbeoordelingtest. Je beantwoordt daarin vragen met ja of nee over wat je denkt wel of niet te kunnen. Deze test behoort volgens de makers echter wel bij de essentie van dit programma. Afhankelijk van de resultaten van beide, krijg je een bij je niveau passende toets voorgezet. Heb je die gemaakt, dan volgt de feedback waarbij je ook te zien krijgt welke vragen je goed of fout hebt beantwoord. Bovendien verstrekt Dialang informatie over je taalkennis en geeft je advies voor verdere studie.  

Plaatsingstoets
Als je één van de 14 in Europa gesproken talen hebt gekozen, krijg je het advies eerst een plaatsingtoets te maken, want ‘ het is mogelijk dat u uw vaardigheden overschat. Als dat zo blijkt te zijn, zal Dialang dat signaleren’. De plaatsingstoets wordt gebruikt om de omvang van je woordenschat in de toetstaal te beoordelen. Daarmee denken de toetsdeskundigen het taalniveau te meten.
Ik wilde niet kinderachtig zijn en kiezen voor Frans, maar gaf Dialang opdracht mijn kennis te controleren van Engels. Dat kon met de volgende toets: ‘u krijgt een lijst met Engelse werkwoorden te zien en moet beslissen of dit onzinwoorden zijn of niet. Het is minder gemakkelijk dan het lijkt’.
Na het maken van de toets kreeg ik niet te zien welke antwoorden goed of fout waren, maar wel op verzoek de volgende feedback: ‘degenen die op dit niveau scoren, zijn bij uitstek gevorderde leerders van een vreemde taal met een zeer aanzienlijke woordenschat. Leerders op dit niveau zijn meestal volledig functioneel en hebben weinig moeilijkheden met het leren in de vreemde taal, ook al zijn ze misschien minder goed in het luisteren’.   

Zelfbeoordeling luisteren
Hierna gaf Dialang keurig gehoor aan mijn verzoek om een beoordeling van mijn luistervaardigheid Engels. Je krijgt een aantal beweringen te zien waarop je met ja of nee kunt aangeven of die voor jou van toepassing zijn of niet. Ik heb mezelf niet beter beoordeeld dan ik denk te zijn. De resultaten van de zelftoets worden voor twee doelen gebruikt. Ten eerste om het niveau te bepalen van de luistertoets die je krijgt te maken. Ten tweede om daarna aan de resultaten af te meten of je een realistische inschatting hebt gemaakt van je eigen niveau. Nou, dat had ik dus kennelijk niet. Ik bakte weinig van de mij voorgelegde luistertoets en gaf het na een paar vragen op. Zou ik dat niet hebben gedaan, dan zou ik zeker na correctie van mijn antwoorden verwezen worden naar een lager luisterniveau.  

Conclusie
Ik heb me slechts overgegeven aan de plaatsingstoets, de beoordelingstoets luistervaardigheid en de daarop voor mij te moeilijke luistertoets. Ik ga er vanuit dat de andere vaardigheden op dezelfde wijze worden beoordeeld. Ik kan de toetstechnische kwaliteiten van dit programma niet beoordelen, maar de uitvoering is van een hoog niveau en de navigatie loopt gesmeerd. Ik denk dat je alleen al door je in alle vaardigheden van een taal te laten toetsen door Dialang, je zeer veel te weten kunt komen over je taalvaardigheidniveau. Dat is volgens de makers ook de bedoeling. Dialang is niet bestemd voor gebruik in het reguliere onderwijs, maar moet volgens de makers de Europeanen inzicht verschaffen in hun kennis van de 14 in Europa gebruikte talen.
Toch zie ik wel mogelijkheden voor het gebruik van Dialang in bijvoorbeeld het voortgezet onderwijs. Waarom zou een kind niet op eigen initiatief, op dat van een taaldocent of van zijn ouders informatie kunnen krijgen over het niveau van zijn taalvaardigheid? Als er dan ook nog didactici voor elk niveau oefeningen op internet zouden aanwijzen waarmee hij op een hoger niveau kan komen, dan ben je aardig op weg om het taalonderwijs te individualiseren. Is een leerling voor één of meer van de vaardigheden op het hoogst mogelijke niveau aangeland, dan vraagt de school bij het cito een examen voor hem aan. Bij een voldoende resultaat kan zo’n leerling dit onderdeel afsluiten en zich aan andere onderwijstaken wijden.
Technisch is dat al mogelijk zoals blijkt uit het door de citogroep ontwikkelde ‘flexibel toetssysteem’. ‘Hiermee kan de school het moment, de plaats en de inhoud van de toets flexibel invullen. Volgens eigen zeggen op de cito-website kan de Citogroep de gevraagde toetsen vanuit itembanken (en toetsenbanken) aanbieden. Op basis van offerte-afspraken kan de school via Internet (ToetsNet®) toegang krijgen tot bepaalde onderdelen van een itembank. De scholen kunnen m.b.v. ToetsNet® nagaan welke toetsen beschikbaar zijn en kunnen vervolgens de toets naar keuze downloaden. Bij CBT (Computer based toetsen) wordt de toets via het beeldscherm afgenomen. Met deze computer based test is individuele- en groepsafname mogelijk en de toets wordt direct gescoord. Door de mogelijkheden van CBT zoals multimedia, adaptief toetsen en feedback kunnen kennis en vaardigheden vaak meer valide getoetst worden’.
Dat Dialang dan ook op alle scholen een vaste plaats kan krijgen in de cyclus van niveaubepalingen – daarop gebaseerd onderwijs – voortgangstoetsen, lijkt me, evenals CBT van het cito, een logische ontwikkeling. 

De SET (Spoken English Test)
De SET-10 is een test van tien minuten, de SET-5 van vijf minuten, beide voor volwassenen, terwijl er ook een junior SET is bestemd voor kinderen tussen 9 en 14 jaar.
De tests zijn gebaseerd op de technologie van spraakherkenning, zoals die ook is ontwikkeld door het failliete Belgische bedrijf Lernout & Hauspie.
Volgens de makers van Phonepass hebben onafhankelijke studies aangetoond dat de door de computer gescoorde SET-tests objectiever en betrouwbaarder zijn dan de beste door mensen beoordeelde tests van nu, zoals de één op één mondeling afgenomen interviews.

Take a SET-10 Demo Test

1. Get the instructions for the SET-10 Demo Test.
2. Get the test paper.
3. Find a quiet place with a good telephone.
4. With the test paper in hand, call the PhonePass access number:
   From the United States or Canada, call 1-800-444-7277
   From outside of North America, call +1-650-328-0336
5. Enter your Test Identification Number when instructed and follow the instructions you hear. To ensure that your test is scored, do not hang up until you are instructed.
6. Retrieve your Score Report after completing the entire test.

SET-10 Demo Test Instructions
De instructies die je hebt moeten printen, zijn duidelijk. Daarin staat onder andere dat de test bestaat uit de volgende vijf onderdelen:

A het van papier af lezen van een aantal zinnen.
B het herhalen van door de computer voorgelezen zinnen.
C het beantwoorden van vragen met één enkel woord of een korte zin.
D het in de goede volgorde zetten van opgegeven woorden.
E het in 20 seconden geven van je mening naar aanleiding van een gestelde vraag.

Als je een opdracht niet kunt uitvoeren dan mag je of zwijgen of zeggen “I don’t know”.
Alleen bij onderdeel A kun je van te voren oefenen of zelfs een (near) native speaker raadplegen, omdat je de te lezen zinnen al op papier hebt staan. De ontwerpers van de test houden hier ook rekening mee: If there are words or sentences that you don't understand, you may use a dictionary or ask a friend or a teacher for help. Dan kun je natuurlijk ook hulp vragen voor de goede uitspraak van de gegeven zinnen. Dit zal dan ongetwijfeld de testresultaten beïnvloeden. Hieronder het geprinte formulier dat je naast de telefoon nodig hebt:

1. Traffic is a huge problem in Southern California.
2. The endless city has no coherent mass transit system.
3. Sharing rides was going to be the solution to rush-hour traffic.
4. Most people still want to drive their own cars, though.
    
5. Larry's next door neighbors are awful.
6. They play loud music all night when he's trying to sleep.
7. If he tells them to stop, they just turn it up louder.
8. He wants to move out of that neighborhood.
    
9. My aunt recently rescued a dog that was sick.
10. She brought her home and named her Margaret.
11. They weren't sure she was going to live, but now she's healthy.
12. I just wish she could get along better with their cat.

De test 
De Europese vertegenwoordiger van Ordinate heeft me het servicenummer 0800-0249589 opgegeven. Dat kon ik vanuit Nederland bereiken zonder de gebruikelijke 00 en het landennummer. Na het toetsen van mijn identificatienummer, kon ik beginnen.
Eerst onderdeel A, het oplezen van de afgedrukte zinnen, weliswaar in een andere volgorde dan op papier. Moet je in ieder geval de Engelse telwoorden kunnen verstaan! Onderdeel B, het nazeggen van gegeven zinnen, was al moeilijker. De zinnen waren veel langer dan de voorbeeldzinnen en ik was aan het eind van de zin het begin gewoon kwijt. Onderdeel C, het beantwoorden van vragen ging nog wel, maar onderdeel D, zinsdelen in de goede volgorde zetten, lukte ook niet best, omdat ik een deel van de woorden niet verstond. Als excuus voer ik aan dat de samenhang, die je in een normaal gesprek wel hebt, ontbreekt. Ook hier was de voorbeeldzin een stuk makkelijker dan die van de demotest. Bij onderdeel E waren mijn antwoorden op de open vragen zeker onvoldoende. Een van de vragen luidde: u heeft de keus uit het gaan wonen in een grote drukke stad of in een dorp, wat kiest u en waarom. Als je geen tijd krijgt om over je keus en de reden daarvoor na te denken, dan betekent dat 20 seconden gestamel.  

Op de website van Ordinate kun je na enkele minuten al je score zien.  

	Test Identification Number: 78615983
	Administration Date: November 25, 2003 1:05 PM (PST)

Ik haalde een gemiddelde van 42 op de schaal van 20-80 en dat is natuurlijk geen goede prestatie. Onder deze tabel wordt bij elke behaalde subscore uitgelegd hoe vaardig je bent in het spreken en luisteren. Bij mijn gemiddelde score van 42 hoort de volgende omschrijving: Test-taker can handle short utterances using common words and simple structures, but has difficulty following a native-paced conversation. Pronunciation may sometimes not be intelligible; test-taker speaks slowly and pauses, but can convey basic information to a cooperative listener.
Dit lezende, denk ik: dit klopt als een bus. Mijn slechte score roept de vraag op of leerlingen met zo’n vier of vijf jaar onderwijs Engels het beter zullen doen. Om dat te weten te komen, zou je leerlingen van verschillend niveau de demotest moeten laten doen. Dat kan gewoon thuis. Hun docent, die ter vergelijking zelf ook even de test doet, kan de resultaten van zijn leerlingen vergelijken met de cijfers die hij ze pleegt te geven voor hun spreek- en luistervaardigheid. Dit is een voorbeeld van zo'n testoverzicht:

Scorekeeper
Als je klikt op scorekeeper, dan kun je een account aanmaken. Met je username en wachtwoord kun je dan inloggen. Je kunt de lijst bekijken van diegenen die ook een test hebben afgelegd. Zoals te zien op de afbeelding kunnen docenten dus heel eenvoudig de scores van hun leerlingen bekijken. Bij een te lage score laat je leerlingen opnieuw contact leggen met Phonepass. Zij krijgen een nieuw identificatienummer en nieuwe opdrachten. Dit maakt volgens mij dit programma geschikt voor het onderwijs. Het is de eerste stap op weg naar individuele toetsing.
In de lijst van academische en commerciële instellingen, die bijgedragen hebben aan de ontwikkeling van Phonepass, trof ik ook het cito aan. Reden om dit instituut om commentaar te vragen.
Ik kreeg te horen dat ‘de citogroep zeer gecharmeerd was van het concept van Phonepass en wel als voorbeeld van snel, efficiënt en flexibel toetsen. Men vond dit programma echter meer geschikt voor de zakelijke markt dan voor het onderwijs waarvoor het uiteindelijk veel te duur was. De Citogroep is gestopt met Phonepass toen bleek, dat het taalniveau van de meeste Nederlandse kandidaten te hoog was. Bovendien bleek dat grote concerns de scholing en toetsing van hun personeel liever op hun eigen manier regelen’. 
Ik hoop dat met deze uitspraak Phonepass niet definitief verloren is voor het onderwijs. Er zijn voldoende instituten en onderwijskundige centra, die de draad kunnen oppakken en een project kunnen aanvragen om Phonepass geschikt te maken voor het onderwijs. Dan heb je niet alleen kans dat door de grote deelname de prijs van Phonepass naar beneden kan, maar ook dat Ordinate werk gaat maken van het toetsen van andere talen waaronder Frans. Kan ik ook eens een goede score halen.

↑

© John Daniëls