Koordinátor: Vidákovich Tibor

A diagnosztikus értékelés koncepciója

A projekt keretében alkalmazott diagnosztikus értékelés koncepcióját, alapelveit, tárgyát a nemzetközi és hazai szakirodalmi előzmények alapján, de a projekt céljainak megfelelőn módosítva alakítottuk ki. Kiindulópontunk az volt, hogy a tudás és a készségek, képességek méréséhez a fejlesztést leghatékonyabban megalapozó diagnosztikus értékelési módszerekre van szükség. Az ilyen mérések mind az intézmények, mind a szakma, mind pedig az oktatáspolitika számára a szummatív méréseknél sokkal többféle, diagnosztikus információkat szolgáltathatnak.

A projekt keretei között a diagnosztikus értékelés funkciója a tanulók felkészültségi szintjének megállapítása és az esetleges elmaradás okainak meghatározása, ennek révén információk szolgáltatása a megoldási lehetőségek, a tennivalók meghatározásához.

A projekt diagnosztikus értékelési koncepciójának, a diagnosztikus értékelés tárgyának körülhatárolásához a legfontosabb, a korosztályban jól fejleszthető kulcskompetenciákat, műveltségi területeket, az olvasás-szövegértést, a matematikai eszköztudást és a természettudományi gondolkodást vettük alapul, a rendszert ezek a vizsgálandó korosztályokban mérhető és fejleszthető komponenseinek értékelésére készítettük fel.

A diagnosztikus feladat- és tesztrendszerek fejlesztése

A diagnosztikus értékelési rendszer kidolgozása során a szummatív mérések esetén alkalmazottaktól eltérő mérőeszköz-fejlesztési eljárásokra, ezen kívül jelentősen eltérő elemzési módszerekre van szükség. A diagnosztikus értékelés koncepciója alapján mindhárom területen és mindhárom dimenzióban diagnosztikus szempontrendszereket állítottunk össze, amelyek a feladatírás és a feladatbank építése során is meghatározó szerepet játszottak.

A feladatokat minden esetben három szempont, a tartalmi jellemzők, a vizsgált pszichikus struktúra és a feladatmegoldó tevékenység figyelembevételével írtuk, illetve rendszereztük és szerveztük tesztekké, majd építettük be a feladatbankba. A három terület (olvasás, matematika és természettudomány) és a három dimenzió (tantárgyi, alkalmazási és gondolkodási) diagnosztikus szempontrendszereinek alapjait a táblázat foglalja össze.

TerületDimenzióTartalomPszichikus struktúraFeladatmegoldó tevékenység
Olvasástantárgyi--választípus, módszer
alkalmazásiolvasási célműveletVálasztípus, módszer
gondolkodásiolvasási célműveletVálasztípus, módszer
Matematikatantárgyitémakörfeladattípusválasztípus, módszer
alkalmazásitémakörfeladattípusválasztípus, módszer
gondolkodástémakörműveletválasztípus, módszer
Természettudománytantárgyitémakörfeladattípusválasztípus, módszer
alkalmazásitémakörfeladattípusválasztípus, módszer
gondolkodástémakörműveletválasztípus, módszer

A feladatok írása mindhárom területen a kidolgozott diagnosztikus szempontrendszerek alapján, az egyes szempontok minél teljesebb lefedésével történt. A diagnosztikus mérőeszközök kidolgozása során törekedtünk arra, hogy lehetőség szerint új feladatokat írjunk, de felhasználtunk a projekt résztvevőinek korábbi kutatásai, fejlesztései során kidolgozott és a jelenlegi projekt céljainak megfelelő feladatokat is.

A feladatírást a projekt résztvevőinek korábbi kutatási-fejlesztési programjaiban már tapasztalatokat szerzett, a diagnosztikus feladatírásra megfelelő elméleti felkészültséggel és gyakorlati tapasztalatokkal rendelkező pedagógusok (tanítók, tanárok) és értékelési szakértők végezték. A feladatírók a munka során négy alkalommal (2009. szeptember, 2010. február, 2010. szeptember, 2011. február) vettek részt tájékoztatókon és ezekhez csatlakozó feladatíró tréningeken.

A feladatok és javítókulcsok írása, szerkesztése számítógépes szövegszerkesztővel, egységes sablonok felhasználásával történt, a feladatírók az elkészült feladatokat egy erre a célra kialakított internetes felületre töltötték fel. A feladatok lektorálása (a projekt szakmai vezetése, felkért szakértők és más feladatírók által) ugyancsak az erre a célra kialakított internetes felületen történt. A kétszeri szakmai lektorálás és a technikai szerkesztés során javasolt módosításokat, javításokat már ismét a feladatírók, az internetes felületen keresztül végezték el.

A munka során eredetileg területenként 500, összesen mintegy 1500 feladat előállítását terveztük, azonban a diagnosztikus szempontrendszerek minél részletesebb lefedése érdekében végül ennél lényegesen több feladatot készítettünk. A projekt keretei között a három területen (olvasás, matematika, természettudomány),

dimenziónként (tantárgyi, alkalmazási, gondolkodási) és évfolyamonként (1-6.) kb. 40-50, összesen kb. 2400 feladat készült.

Az összeállított feladatok további használatához, beméréséhez szükséges volt, hogy ezeket feladatsorokká, tesztekké szervezzük. A feladatírást követően, a feladatok bemérése érdekében az elkészült feladatokból összeállított tesztek alapját a feladatok tematikus szempontból összetartozó csoportjai, klaszterei képezték. Ezeket a klasztereket az általuk kidolgozott feladatok felhasználásával maguk a feladatírók állították össze.

A projekt céljainak megfelelő megvalósítása érdekében előre meghatároztuk az összeállítandó klaszterek tartalmi és formai jellemzőit. Célul tűztük ki, hogy a klaszterekben mindhárom területen megfelelő arányban legyenek autentikus tartalmakat, illetve ábrákat tartalmazó feladatok. A követelmények szerint az olvasás terület esetében a klaszterek 100%-ában, a matematika és a természettudomány terület esetén pedig a klaszterek 20-30%-ában kellett autentikus tartalomnak szerepelni. Hasonlóan, az olvasás klaszterek 20-30%-ában, a matematika és a természettudomány klaszterek 100%-ában követeltük meg ábra beillesztését.

A klaszterek formai jellemzőinek meghatározása során a fő szempont az volt, hogy a klaszterek formája is egységes legyen, és így bármelyik klaszter bármelyik másik klaszterrel, vagy bármely más klaszterekkel tesztté szerkeszthető legyen. Ennek érdekében minden klasztert teljes A/4-es oldalas formára szerkesztettünk, melyen 3-5 feladat, összesen kb. 15 item kapott helyet.

A projekt keretei között eredetileg tervezett feladatmennyiség területenként kb. 150, legfeljebb 200 klaszter készítését jelentette volna. A ténylegesen elkészült feladatmennyiségből azonban mindhárom területen (olvasás, matematika, természettudomány) jóval több, területenként és évfolyamonként (1-6.) kb. 40-50, összesen kb. 800 klasztert lehetett összeállítani.

A klasztereket úgy szerveztük tesztekbe, hogy általában minden klaszter három tesztben szerepeljen, és ezáltal a klaszterek eredményei összekapcsolhatókká (összeláncolhatókká), összehasonlíthatókká váljanak. A tesztek összeállításának, a klaszterek kapcsolódásának koncepcióját Molnár Gyöngyvér dolgozta ki, a rendszer a táblázatban tanulmányozható.

A tesztek összeállítása, a klaszterek kapcsolata (Molnár, 2010)

Teszt1. klaszter2. klaszter3. klaszter
1.C2C1C3
2.C1C2C4
3.C2C3C5
4.C3C4C6
5.C4C5C7
6.C5C6C8
7.C6C7C9
...
193.C192C193C195
194.C193C194C196
195.C194C195C197
196C195C196C198
197.C196C197C199
198.C197C198C200
199.C198C199C200

A klaszterek közötti kapcsolatokat az 5. táblázat mutatja. Látható, hogy a klaszterek többsége hat másik klaszterrel, néhány klaszter öt, négy, de mindegyik legalább három másik klaszterrel szerepel közös tesztben, tehát az eredményei ezekével közvetlenül összehasonlíthatók. Azonban a klaszterek ilyen összeláncolása mellett, megfelelő elemzési módszerekkel bármelyik klaszter eredményei bármelyik másikéval összehasonlíthatók lesznek, és ezáltal a feladatok közös skálán értékelhetővé tehetők.

A klaszterek összeláncolásának mátrixa (Molnár, 2010)

KlaszterKapcsolódó klaszterek
C1C1C2C3C4
C2C1C2C3C4C5
C3C1C2C3C4C5C6
C4C1C2C3C4C5C6C7
C5C2C3C4C5C6C7C8
C6C3C4C5C6C7C8C9
C7C4C5C6C7C8C9C10
...

Az elkészült feladatmennyiség bemérésére két lépésben, 2010. májusában-júniusában, valamint 2011. májusában-júniusában került sor. A 2010-es mérés adatainak rögzítése, feldolgozása és elemzése már megtörtént, a 2011-es mérés adatainak rögzítése, feldolgozása a végéhez közeledik.

A mérések fő célja a feladatok paraméterezése, emellett diagnosztikus elemzések végzése volt. Az eredmények alapján összeállíthatók a felmért tudásterületek, készségek, képességek országos diagnosztikus térképei, amelyek a készségek, képességek komponenseinek fejlettségét is mutatják. Emellett azonban a későbbiekben érdemes a legfontosabb tesztek ekvivalenciáját is kialakítani, mert ezáltal a rendszer szummatív vizsgálatokra is alkalmassá válik, azaz az összpontszámok alapján értékelhető lesz a tanulók fejlettsége, illetve nyomon követhető lesz a fejlődésük.

A diagnosztikus feladatbank kiépítése

A projekt fontos célja volt a feladatok rendszerbe szervezése, egy diagnosztikus értékelési rendszer hátterét biztosító feladatbank kiépítése. A feladatbank-fejlesztés lényeges lépése a feladatok paraméterezése, hiszen a feladatbank használatát a feladatokhoz rendelt paraméterek (kvalitatív és kvantitatív jellemzők) teszik lehetővé. A paraméterezés egyrészt szakértői munkát, másrészt a bemérések eredményeinek empirikus elemzését igényli. A meghatározott paraméterek alapján a feladatok bekapcsolhatók a feladatbank rendszerébe, és a továbbiakban különböző funkciójú és jellemzőkkel rendelkező tesztekbe illeszthetők.

A paraméterezés feladat- és itemszinten is zajlott, tehát minden feladatnak és azon belül minden itemnek vannak paraméterei. A paraméterek között a kész feladatbankban minden esetben kvalitatív és kvantitatív paraméterek is szerepelnek majd (a paraméterek rendszerét a táblázat foglalja össze).

A feladatbank kvalitatív és kvantitatív paramétereinek rendszere

TerületKvalitatív paraméterekKvantitatív paraméterek
Olvasásdimenzió olvasási cél, szövegtípus pszichikus struktúra feladatmegoldó tevékenységátlag szórás elemszám SNI átlag SNI szórás SNI elemszám
Matematikadimenzió tartalom pszichikus struktúra feladatmegoldó tevékenységátlag szórás elemszám SNI átlag SNI szórás SNI elemszám
Természet-tudománydimenzió tartalom pszichikus struktúra feladatmegoldó tevékenységátlag szórás elemszám SNI átlag SNI szórás SNI elemszám

A kvalitatív paramétereket a feladatírók állapították meg, a kvantitatív paramétereket pedig a feladatrendszer bemérései alapján számítottuk ki. A kvalitatív paraméterek között jelenleg a dimenzió (tantárgyi, alkalmazási, gondolkodási), a tartalom (olvasási cél, szövegtípus, illetve tantárgyi témakör), a pszichikus struktúra (készség, művelet, feladattípus) és a feladatmegoldó tevékenység (ráismerés, felidézés, átalakítás, kivitelezés, értelmezés) szerepel.

A kvantitatív paraméterek között egyelőre az alapvető klasszikus tesztelméleti paraméterek, azaz a feladat vagy item nehézségét jellemző átlag, a differenciáló erőt jellemző szórás és a paraméterek kiszámításához használt minta elemszáma szerepelnek. Azonban ezeket a paramétereket a feladatok egy része esetében két évfolyam, illetve sajátos nevelési igényű tanulók mintája alapján is meg tudtuk határozni.

A feladatok paraméterezése a feladatíráshoz és a lektoráláshoz hasonlóan egy erre a célra kifejlesztett internetes felületen történt. A kvalitatív paramétereket a feladatírók ezen a felületen rögzítették, a kvantitatív paramétereket pedig az adatfeldolgozás során készített eredményfájlokból ugyanerre a felületre másoltuk át. A projekt során készült, a feladatbankba került és paraméterezett kb. 2400 feladat területenkénti megoszlását a táblázat mutatja.

A kidolgozott és paraméterezett, a feladatbankba beillesztett feladatok száma

TerületTantárgyiAlkalmazásiGondolkodási2010-es bemérés2011-es bemérésÖsszes feladat
Olvasás-szövegértéskb. 200kb. 400kb. 200kb. 600kb. 400kb. 800
Matematikakb. 400kb. 200kb. 200kb. 600kb. 400kb. 800
Természettudománykb. 400kb. 200kb. 200kb. 600kb. 400kb. 800

A feladatbank jelenleg számítógépes adatbázis formájában létezik, melynek a szerkezete igazodik a három terület tartalmi keretrendszeréhez és az ezekre épülő diagnosztikus értékelési keretrendszerekhez. Ennek megfelelően alakítottuk ki az iskolai gyakorlatban is használható paraméterek rendszerét, illetve oldottuk meg azt, hogy a paraméterek alapján többféle célú mérés eszközei is előállíthatók legyenek. A feladatok nagyobb része kvalitatív és kvantitatív paraméterekkel is ellátott, kisebb részének egyelőre csak kvalitatív paraméterei vannak, a kvantitatív paraméterek a 2011-es mérés eredményei alapján határozhatók majd meg.

A feladatbank számítógépes adatbázisa jelenleg csak a feladatok listázására alkalmas, és a projektben részt vevő feladatírók számára érhető el. A feladatbank modelljének kidolgozása során lényeges szempont volt, hogy a feladatbankot úgy szervezzük, hogy az elektronikus (on-line használható) változatban is megvalósítható legyen, illetve a feladatbank vagy annak egyes részei a pedagógusok vagy más felhasználók számára is elérhetővé válhassanak.