Observatietool: per indicator een toelichting

De tool is geschikt voor alle leerjaren en onderwijstypen.

Doelgroep

Naar schatting bedraagt de tijdsinvestering 7 tot 9 uur.
Bekijk <a href="https://www.voortgezetleren.nl/wat-is-de-tijdsinvestering-voor-de-verschillende-tools/" data-type="page" data-slug="wat-is-de-tijdsinvestering-voor-de-verschillende-tools">een voorbeeld van een tijdsinvesterin</a>g.

Tijdsinvestering onderzoek

Op <a href="https://www.voortgezetleren.nl/op-welke-bronnen-zijn-de-tools-gebaseerd/" data-type="page" data-slug="op-welke-bronnen-zijn-de-tools-gebaseerd">deze pagina</a> vind je een overzicht van de bronnen waarop de tools zijn gebaseerd.

Bronnen

Ik wil inzicht krijgen in het onderwijs op school aan de hand van lesobservaties.

Observatietool

Hoe bereid je het uitvoeren van de observatietool voor?

Stap 1. Bedenk wie de lesobservaties gaan uitvoeren. De keuze voor een observator kan effecten hebben op een geobserveerde docent, bijvoorbeeld als er een hi&euml;rarchische relatie is. Wees je bewust van deze mogelijke effecten.
Stap 2. Als de lesobservaties onder meerdere observatoren worden verdeeld, dan volgt er eerst een bijeenkomst om af te stemmen over het observatieschema. Het onderliggende observatieinstrument focust zich op een onderwijsvernieuwing met als doel onderwijs-op-maat, differentiatie en keuzevrijheid voor leerlingen te bereiken.
Het doel van deze afstemmingsbijeenkomst is om de interpretatie van de observatieindicatoren met alle observatoren te bespreken. Per indicator stem je met elkaar af wat je invult, zodat alle observatoren dit op dezelfde manier doen. Gebruik hiervoor <a href="https://backend.voortgezetleren.nl/wp-content/uploads/2021/03/Observatieschema_mettoelichting.docx">dit document</a>. Dit is belangrijk voor de betrouwbaarheid van het instrument. Tijdens de afstemmingsbijeenkomst testen de observatoren de observatietool uit bij een videoclip van een les en bespreken ze nadien elkaars antwoorden totdat ze overeenstemming bereiken over hoe ze met het instrument de lessen zullen interpreteren.
In principe pas je het invulschema niet aan, want de tool is wetenschappelijk getoetst. Mogelijke redenen om de tool toch aan te passen:
<ul>
<li>Bepaalde aspecten van jouw vernieuwing staan niet in de tool.</li>
<li>Bepaalde onderdelen of indicatoren sluiten niet aan bij het observatiedoel.</li>
<li>Over bepaalde onderdelen of indicatoren bereiken de observatoren geen overstemming.</li>
</ul>
Stap 3. Bedenk bij welke docenten de lesobservaties worden uitgevoerd. <a href="https://www.voortgezetleren.nl/aantal-observaties/" data-type="page" data-slug="aantal-observaties">Zie hiervoor de FAQ over het aantal observaties.</a>
Stap 4. Benader de (geselecteerde) docenten en vraag vooraf toestemming voor het observeren van hun les. Leg duidelijk uit wat de doelstelling van de observatie is (d.w.z. niet beoordelen van de docent, maar van de vernieuwing). Geef dan ook aan dat je vertrouwelijk om zult gaan met de gegevens en leg uit dat de lesobservatie vrijwillig is. <a href="https://www.voortgezetleren.nl/hoe-ga-ik-zorgvuldig-en-op-een-veilige-manier-om-met-onderzoeksgegevens/" data-type="page" data-slug="hoe-ga-ik-zorgvuldig-en-op-een-veilige-manier-om-met-onderzoeksgegevens">Bekijk hoe je veilig omgaat met privacy en veiligheid van gegevens</a>.
Stap 5. Na toestemming van de leraren kan er een lesobservatie ingepland worden. Let hierbij op de volgende zaken:
<ul>
<li>Representativiteit: wanneer bijvoorbeeld de vernieuwing in de gehele onderbouw plaatsvindt, observeer je niet enkel in de brugklas.</li>
<li>Observeerbaarheid: plan bijvoorbeeld geen observaties tijdens een toetsuur.</li>
</ul>
Stap 6. Zorg dat je alle benodigdheden voor de lesobservaties bij de hand hebt. Je kunt hiervoor de <a href="https://backend.voortgezetleren.nl/wp-content/uploads/2021/03/Observatieschema_zondertoelichting-1-1.docx">uitgeprinte observatieschema&rsquo;s</a> of een laptop gebruiken. Ook kun je vooraf de gang van zaken met de docent die je gaat observeren afstemmen.
Aantal observaties
Afhankelijk van de schaalgrootte van de onderwijsvernieuwing werken 1 tot alle docenten van de school aan de observaties mee. Bij een kleine groep docenten (&lt; 20 docenten) is het niet nodig om een selectie te maken; dan is het aanbevolen om alle docenten te benaderen voor een lesobservatie. Bij een grotere groep docenten (&gt; 40 docenten) is het wel handig om een selectie te maken (40 tot 50%). Zorg dan vooraf voor een representatieve afspiegeling van docenten wat betreft vak, leservaring en ervaring met de vernieuwing.
Voor een betrouwbaar beeld van de onderwijsvernieuwing zijn er ten minste 2 lesobservaties per docent nodig.

Voorbereiding

Hoe voer je de lesobservaties uit?

Stap 1. De observator zoekt een geschikte plek in het klaslokaal. Let hierbij op dat je zicht hebt op het hele klaslokaal en dat je docent en leerlingen niet afleidt.
Stap 2. Zorg dat de leerlingen een introductie krijgen over de lesobservatie (het doel van de observatie wordt verteld en, indien nodig, stelt de observator zich voor).
Stap 3. Pak de <a href="https://backend.voortgezetleren.nl/wp-content/uploads/2021/03/Observatieschema_zondertoelichting-1-1.docx">observatietool</a> erbij. Tijdens de les:
<ol>
<li>Start met een contextbeschrijving van de les in het open tekstvak (onderwerp, leerdoelen, sfeer in de klas, etc.).</li>
<li>Schrijf in steekwoorden per observatiecriterium wat je daarvan hebt geobserveerd.</li>
<li>Beschrijf bij het observeren zo veel mogelijk observeerbaar gedrag in plaats van eigen interpretaties van gedrag (gedrag = &lsquo;leerlingen kijken op hun device nadat de docent instructie over de taak heeft gegeven&rsquo;, interpretatie = &lsquo;leerlingen beginnen enthousiast aan de taak op hun device).</li>
<li>Als leerlingen zelfstandig aan het werk zijn, zorg dan dat je de schermen van leerlingen kunt zien. Beschrijf wat de leerlingen aan het doen zijn en welke rol de docent heeft tijdens het zelfstandig werken van leerlingen.</li>
<li>Wanneer de les voor 80% voorbij is zorg er dan voor dat het beoordelen van de bolletjes &lsquo;nauwelijks&rsquo;, &lsquo;een beetje&rsquo;, &lsquo;sterk&rsquo; voor alle criteria is gedaan en vul eventueel de steekwoorden aan per criterium om je oordeel te onderbouwen.</li>
</ol>
Stap 4. Na de les:
<ol>
<li>Bedank de docent en de leerlingen.</li>
<li>Wacht niet te lang met het verwerken van de lesobservatie in het Excel-format. Als je de observaties snel verwerkt, kun je meer noteren, omdat je beter weet wat er is gebeurd in de les. Zorg dat je de steekwoorden uitwerkt in zinnen. Een andere docent moet kunnen begrijpen wat jij hebt geobserveerd.</li>
</ol>
Stap 5. Sla de lesobservatie op een beveiligde plek op. Bekijk <a href="https://www.voortgezetleren.nl/hoe-ga-ik-zorgvuldig-en-op-een-veilige-manier-om-met-onderzoeksgegevens/" data-type="page" data-slug="hoe-ga-ik-zorgvuldig-en-op-een-veilige-manier-om-met-onderzoeksgegevens">hoe je veilig omgaat met privacy en veiligheid van gegevens.</a>

Uitvoering 

Hoe analyseer je de lesobservaties?

De analyses zijn gericht op het beschrijven van de onderwijsvernieuwing door iets te zeggen over de mate waarin leraren differenti&euml;ren en waarin er keuzevrijheid wordt geboden aan leerlingen. Daarnaast zegt de analyse iets over de verschillende manieren waarop de onderwijsvernieuwing wordt ingevuld door leraren.
Beschrijving van de mate waarin leraren differenti&euml;ren en keuzevrijheid bieden
Stap 1. Voer de observaties in het Excel-format in bij het tabblad &lsquo;Invoerblad&rsquo;. Neem hierbij de observaties (niet geobserveerd, nauwelijks, een beetje, sterk) over in het Excel-format.
<a href="https://backend.voortgezetleren.nl/wp-content/uploads/2021/03/Excel-format-observatietool.xlsx">Hier</a> kun je het Excel-format downloaden.
Stap 2. De observaties worden in het Excel-format automatisch geanalyseerd. Het Excel-format houdt er rekening mee dat sommige leraren vaker dan anderen zijn geobserveerd. Er wordt eerst een gemiddelde score per docent per observatie-indicator berekend in het tabblad &lsquo;Gemiddelde per docent&rsquo;. Op het tabblad &lsquo;Resultaten&rsquo; staat een overall gemiddelde per indicator (vb. positieve feedback) en een gemiddelde per observatieschaal (vb. feedback).
Indicatoren die samen &eacute;&eacute;n onderdeel meten (bijvoorbeeld positieve feedback) noemen we een schaal. In het Excel-format staat ook een gemiddelde per schaal. Verder zijn in het Excel-format de betrouwbaarheid en standaardafwijking van de schalen te bekijken.
Beschrijving van de verschillende manieren waarop leraren de onderwijsvernieuwing invullen.
Hiervoor gebruik je de contextbeschrijving per geobserveerde les (dit is de algemene lesbeschrijving) en de toelichting per observatie-indicator binnen een schaal.
Stap 3. Kopieer voor elke geobserveerde les de contextbeschrijving naar het format &lsquo;<a href="https://backend.voortgezetleren.nl/wp-content/uploads/2021/03/fomat-beschrijvingen-observatietool.docx">beschrijvingen observatietool</a>&rsquo;. Plak alle contextbeschrijvingen onder elkaar.
Stap 4. Doe hetzelfde voor de toelichtingen per observatie-schaal.
Stap 5. Lees alle contextbeschrijvingen door en arceer stukken tekst die je opvallen omdat het past bij de onderwijsdoelstellingen (differentiatie en keuzevrijheid).
Stap 6. Lees alle gearceerde stukken van de contextbeschrijvingen nog eens door: welke variaties vallen je op? Kun je er een indeling in maken? Probeer een indeling te maken met de volgende vraag in het achterhoofd: Op welke manieren hebben leraren invulling gegeven aan de onderwijsdoelstellingen?
Stap 7. Volg dezelfde procedure voor de toelichtingen per observatieschaal (m.n. de schalen individueel leren, activerende en gedifferentieerde instructie en keuzevrijheid).
Stap 8. Vul de gemaakte indeling op basis van de contextbeschrijvingen (stap 6) aan met de verschillende manieren waarop de docenten de onderwijsvernieuwing hebben gerealiseerd (stap 7). Oftewel zijn er overeenkomsten of verschillen tussen de uitkomsten van stap 6 en 7?

Analyse

Wat vertellen de resultaten jou?

Beschrijving van de mate waarin leraren differenti&euml;ren en keuzevrijheid bieden
Interpreteer het gemiddelde, de betrouwbaarheid en de standaardafwijking van de onderdelen, ook wel schalen genoemd. Hier staat een toelichting van wat de <a href="https://www.voortgezetleren.nl/waarom-is-de-betrouwbaarheid-belangrijk/" data-type="page" data-slug="waarom-is-de-betrouwbaarheid-belangrijk">betrouwbaarheid</a> en de <a href="https://www.voortgezetleren.nl/wat-zegt-de-standaardafwijking-mij/" data-type="page" data-slug="wat-zegt-de-standaardafwijking-mij">standaardafwijking</a> betekent. In het <a href="https://backend.voortgezetleren.nl/wp-content/uploads/2021/03/Excel-format-observatietool.xlsx">Excel-format</a> staat een uitleg wat je moet doen bij afwijkende betrouwbaarheid. De standaardafwijking gaat over de variatie: hoe hoger de standaardafwijking, hoe meer variatie tussen lessen is geobserveerd.
De gemiddelden per indicator kun je als volgt interpreteren: over het algemeen geldt dat een gemiddelde score boven de 3 erop duidt dat dit geobserveerd gedrag sterk aanwezig was tijdens de lesobservaties. Een score tussen 2 en 3 duidt op &lsquo;een beetje&rsquo; en een score onder 2 op niet tot nauwelijks. Aan de hand van de gemiddelde scores kun je antwoord geven op de vraag in welke mate bepaald gedrag (bijv. gedifferentieerde instructie) geobserveerd is in het onderwijs. Met de frequentie van de score 1 kun je beschrijven in hoeveel procent van de geobserveerde lessen bepaalde indicatoren niet geobserveerd zijn. Een voorbeeld: als er in 8 van de 12 geobserveerde lessen geen keuzevrijheid voor leerlingen werd geobserveerd dan zou je kunnen stellen dat in 66.7 % van de lessen van de school geen keuzevrijheid wordt geboden aan leerlingen.
Beschrijving van de verschillende manieren waarop leraren onderwijsvernieuwing invullen. 
De indeling in verschillende manieren waarop docenten de onderwijsvernieuwing invullen (zie stap 8 van de analyse) geeft inzicht in hoe de onderwijsvernieuwing vorm heeft gekregen. Het geeft het repertoire aan lesmogelijkheden weer om invulling te geven aan de onderwijsvernieuwing.

Interpretatie

Wat kun je vervolgens doen met de resultaten?

<ol>
<li>Bekijk in hoeverre de wijze van lesgeven van docenten overeenkomt met de beoogde onderwijsdoelstellingen.</li>
<li>Pas het onderwijs aan met het doel de onderwijsvernieuwing op te schalen of te verbeteren.</li>
<li>Positieve lesvoorbeelden die uit de observaties naar voren komen, kunnen worden gedeeld als &lsquo;good practices&rsquo; in de school.</li>
<li>Zoek naar onderliggende redenen voor indicatoren die weinig worden geobserveerd: wat belemmert het realiseren van deze doelstellingen?</li>
<li>Doe een nader onderzoek, met behulp van de <a href="https://www.voortgezetleren.nl/post/interview-tool-leraren/">interviewtool leraren</a>, in geval van een hoge standaardafwijking (ofwel veel variatie tussen lessen). Daarmee kun je wellicht achterhalen of bepaalde type lessen/lesonderwerpen/vakken zich meer/minder lenen voor de onderwijsvernieuwing.</li>
</ol>