LTM-1-2004

Phonepass, telefonische toetsing van spreek- en luistervaardigheid

Het telefonisch toetsen van spreek- en luistervaardigheid is niets bijzonders als je aan de ene kant van de lijn een docent hebt zitten en aan de andere kant een leerling, die in een gesprek laat blijken beide vaardigheden voldoende of niet te beheersen. Opmerkelijker wordt het als die leerling telefonisch verbonden is met een computer, die zijn luister- en spreekvaardigheid beoordeelt. Dat kan sinds kort met het programma Phonepass.

Phonepass is ontwikkeld door Ordinate http://www.ordinate.com/, volgens eigen zeggen de eerste firma die een geheel geautomatiseerde methode heeft ontwikkeld voor het testen van gesproken Engels. De op de telefoon aangesloten computer is dag en nacht bereid je een toets af te nemen en kan ook na enkele minuten op de website van Ordinate melden hoe goed of slecht je het hebt gedaan.

De SET (Spoken English Test)
De SET-10 is een test van tien minuten, de SET-5 van vijf minuten, beide voor volwassenen, terwijl er ook een junior SET is bestemd voor kinderen tussen 9 en 14 jaar. De tests zijn gebaseerd op de technologie van spraakherkenning, zoals die ook is ontwikkeld door het failliete Belgische bedrijf Lernout & Hauspie.
Volgens de makers van Phonepass hebben onafhankelijke studies aangetoond dat de door de computer gescoorde SET-tests objectiever en betrouwbaarder zijn dan de beste door mensen beoordeelde tests van nu, zoals de één op één mondeling afgenomen interviews.

Take a SET-10 Demo Test
Iedere belangstellende kan de demotoets doen. Hoe dat in zijn werk gaat, wordt op de website degelijk uitgelegd. De onderstreepte zinsdelen zijn de hyperlinks waar je naartoe gestuurd wordt.

Get the instructions for the SET-10 Demo Test.
Get the test paper.
Find a quiet place with a good telephone.
With the test paper in hand, call the PhonePass access number:
From the United States or Canada, call 1-800-444-7277
From outside of North America, call +1-650-328-0336
Enter your Test Identification Number when instructed and follow the instructions you hear. To ensure that your test is scored, do not hang up until you are instructed.
Retrieve your Score Report after completing the entire test.

SET-10 Demo Test Instructions
De instructies die je hebt moeten printen, zijn duidelijk. Daarin staat onder andere dat de test bestaat uit de volgende vijf onderdelen:

A het van papier af lezen van een aantal zinnen.
B het herhalen van door de computer voorgelezen zinnen.
C het beantwoorden van vragen met één enkel woord of een korte zin.
D het in de goede volgorde zetten van opgegeven woorden.
E het in 20 seconden geven van je mening naar aanleiding van een gestelde vraag.

Als je een opdracht niet kunt uitvoeren dan mag je of zwijgen of zeggen “I don’t know”.
Alleen bij onderdeel A kun je van te voren oefenen of zelfs een (near) native speaker raadplegen, omdat je de te lezen zinnen al op papier hebt staan. De ontwerpers van de test houden hier ook rekening mee: If there are words or sentences that you don't understand, you may use a dictionary or ask a friend or a teacher for help. Dan kun je natuurlijk ook hulp vragen voor de goede uitspraak van de gegeven zinnen. Dit zal dan ongetwijfeld de testresultaten beïnvloeden. Hieronder het geprinte formulier dat je naast de telefoon nodig hebt

Part A: Reading. Please read the sentences as you are instructed.

Traffic is a huge problem in Southern California.
The endless city has no coherent mass transit system.
Sharing rides was going to be the solution to rush-hour traffic.
Most people still want to drive their own cars, though.
Larry's next door neighbors are awful.
They play loud music all night when he's trying to sleep.
If he tells them to stop, they just turn it up louder.
He wants to move out of that neighborhood.
My aunt recently rescued a dog that was sick.
She brought her home and named her Margaret.
They weren't sure she was going to live, but now she's healthy.
I just wish she could get along better with their cat.

Bij de andere onderdelen staan ook weer de opdrachten met voorbeelden, zodat je weet wat je te wachten staat.

Part B: Repeat. Please repeat each sentence that you hear.
Example: a voice says, "Leave town on the next train", and you say, "Leave town on the next train."
Part C: Questions. Now, please just give a simple answer to the questions.
Example: a voice says, "Would you get water from a bottle or a newspaper?" and you say, "a bottle." or "from a bottle."
Part D: Sentence Builds. Now, please rearrange the word groups into a sentence.
Example: a voice says, "was reading" ... "my mother" ... "her favorite magazine" and you say, "My mother was reading her favorite magazine."
Part E: Open Questions. You will have 20 seconds to answer each of three questions. The questions will be about family life or personal choices. Each question will be spoken twice, followed by a beep. When you hear the beep, you will have 20 seconds to answer the question. At the end of the 20 seconds, another beep will signal the end of the time you have to answer.

De test
De Europese vertegenwoordiger van Ordinate heeft me het servicenummer 0800-0249589 opgegeven. Dat kon ik vanuit Nederland bereiken zonder de gebruikelijke 00 en het landennummer. Na het toetsen van mijn identificatienummer, kon ik beginnen.
Eerst onderdeel A, het oplezen van de afgedrukte zinnen, weliswaar in een andere volgorde dan op papier. Moet je in ieder geval de Engelse telwoorden kunnen verstaan! Onderdeel B, het nazeggen van gegeven zinnen, was al moeilijker. De zinnen waren veel langer dan de voorbeeldzinnen en ik was aan het eind van de zin het begin gewoon kwijt. Onderdeel C, het beantwoorden van vragen ging nog wel, maar onderdeel D, zinsdelen in de goede volgorde zetten, lukte ook niet best, omdat ik een deel van de woorden niet verstond. Als excuus voer ik aan dat de samenhang, die je in een normaal gesprek wel hebt, ontbreekt. Ook hier was de voorbeeldzin een stuk makkelijker dan die van de demotest. Bij onderdeel E waren mijn antwoorden op de open vragen zeker onvoldoende. Een van de vragen luidde: u heeft de keus uit het gaan wonen in een grote drukke stad of in een dorp, wat kiest u en waarom. Als je geen tijd krijgt om over je keus en de reden daarvoor na te denken, dan betekent dat 20 seconden gestamel.

Mijn score
Op de website van Ordinate kun je na enkele minuten al je score zien.


	Test Identification Number: 78615983
	Administration Date: November 25, 2003 1:05 PM (PST)

Ik haalde een gemiddelde van 42 op de schaal van 20-80 en dat is natuurlijk geen goede prestatie. Onder deze tabel wordt bij elke behaalde subscore uitgelegd hoe vaardig je bent in het spreken en luisteren. Bij mijn gemiddelde score van 42 hoort de volgende omschrijving: Test-taker can handle short utterances using common words and simple structures, but has difficulty following a native-paced conversation. Pronunciation may sometimes not be intelligible; test-taker speaks slowly and pauses, but can convey basic information to a cooperative listener.
Dit lezende, denk ik: dit klopt als een bus. Mijn slechte score roept de vraag op of leerlingen met zo’n vier of vijf jaar onderwijs Engels het beter zullen doen. Om dat te weten te komen, zou je leerlingen van verschillend niveau de demotest moeten laten doen. Dat kan gewoon thuis. Hun docent, die ter vergelijking zelf ook even de test doet, kan de resultaten van zijn leerlingen vergelijken met de cijfers die hij ze pleegt te geven voor hun spreek- en luistervaardigheid.

Index Sort	Test Identification Number Sort	Status Sort	Date Sort	Name	Open Questions	Overall	Repeat Accuracy	Listening Vocabulary	Pronunciation	Reading Fluency	Repeat Fluency
1	50176135 Score Report	Completed	25-okt-2000 14:54	-	Listen	5.5	4.6	5.7	5.9	6.3	5.5
2	62778396 Score Report	Completed	20-okt-2000 22:03	-	Listen	4.7	4.3	4.3	4.7	6.3	3.9
3	97935232 Score Report	Completed	17-okt-2000 18:02	-	Listen	5.6	6.2	5.7	5.1	5.4	5.5
4	49775485 Score Report	Completed	5-okt-2000 18:32	-	Listen	4.7	4.8	5.2	4.1	4.3	5.1
5	25308343 Score Report	Completed	18-sep-2000 6:40	-	Listen	5.8	4.9	5.8	6.3	6.7	6.5
6	29438796 Score Report	Completed	8-sep-2000 8:29	-	Listen	6.7	6.0	7.3	6.3	7.2	6.5
7	29219925 Score Report	Completed	3-sep-2000 15:45	-	Listen	6.0	6.1	7.2	5.7	4.0	5.5
8	98600931 Score Report	Completed	6-nov-2000 6:50	-	Listen	6.1	5.8	6.5	5.7	6.3	6.9

Scorekeeper
Als je klikt op scorekeeper, dan kun je een account aanmaken. Met je username en wachtwoord kun je dan inloggen. Je kunt de lijst bekijken van diegenen die ook een test hebben afgelegd. Zoals te zien op de afbeelding kunnen docenten dus heel eenvoudig de scores van hun leerlingen bekijken. Bij een te lage score laat je leerlingen opnieuw contact leggen met Phonepass. Zij krijgen een nieuw identificatienummer en nieuwe opdrachten. Dit maakt volgens mij dit programma geschikt voor het onderwijs. Het is de eerste stap op weg naar individuele toetsing.
In de lijst van academische en commerciële instellingen, die bijgedragen hebben aan de ontwikkeling van Phonepass, trof ik ook het cito aan. Reden om dit instituut om commentaar te vragen.
Ik kreeg te horen dat ‘de citogroep zeer gecharmeerd was van het concept van Phonepass en wel als voorbeeld van snel, efficiënt en flexibel toetsen. Men vond dit programma echter meer geschikt voor de zakelijke markt dan voor het onderwijs waarvoor het uiteindelijk veel te duur was. De Citogroep is gestopt met Phonepass toen bleek, dat het taalniveau van de meeste Nederlandse kandidaten te hoog was. Bovendien bleek dat grote concerns de scholing en toetsing van hun personeel liever op hun eigen manier regelden’.
Ik hoop dat met deze uitspraak Phonepass niet definitief verloren is voor het onderwijs. Er zijn voldoende instituten en onderwijskundige centra, die de draad kunnen oppakken en een project kunnen aanvragen om Phonepass geschikt te maken voor het onderwijs. Dan heb je niet alleen kans dat door de grote deelname de prijs van Phonepass naar beneden kan, maar ook dat Ordinate werk gaat maken van het toetsen van andere talen waaronder Frans. Kan ik ook eens een goede score halen.

↑