Koordinátor: Vidákovich Tibor

A diagnosztikus értékelés koncepciója

A projekt keretében alkalmazott diagnosztikus értékelés koncepcióját, alapelveit, tárgyát a nemzetközi és hazai szakirodalmi előzmények alapján, de a projekt céljainak megfelelőn módosítva alakítottuk ki. Kiindulópontunk az volt, hogy a tudás és a készségek, képességek méréséhez a fejlesztést leghatékonyabban megalapozó diagnosztikus értékelési módszerekre van szükség. Az ilyen mérések mind az intézmények, mind a szakma, mind pedig az oktatáspolitika számára a szummatív méréseknél sokkal többféle, diagnosztikus információkat szolgáltathatnak.

A projekt keretei között a diagnosztikus értékelés funkciója a tanulók felkészültségi szintjének megállapítása és az esetleges elmaradás okainak meghatározása, ennek révén információk szolgáltatása a megoldási lehetőségek, a tennivalók meghatározásához.

A projekt diagnosztikus értékelési koncepciójának, a diagnosztikus értékelés tárgyának körülhatárolásához a legfontosabb, a korosztályban jól fejleszthető kulcskompetenciákat, műveltségi területeket, az olvasás-szövegértést, a matematikai eszköztudást és a természettudományi gondolkodást vettük alapul, a rendszert ezek a vizsgálandó korosztályokban mérhető és fejleszthető komponenseinek értékelésére készítettük fel.

A diagnosztikus feladat- és tesztrendszerek fejlesztése

A diagnosztikus értékelési rendszer kidolgozása során a szummatív mérések esetén alkalmazottaktól eltérő mérőeszköz-fejlesztési eljárásokra, ezen kívül jelentősen eltérő elemzési módszerekre van szükség. A diagnosztikus értékelés koncepciója alapján mindhárom területen és mindhárom dimenzióban diagnosztikus szempontrendszereket állítottunk össze, amelyek a feladatírás és a feladatbank építése során is meghatározó szerepet játszottak.

A feladatokat minden esetben három szempont, a tartalmi jellemzők, a vizsgált pszichikus struktúra és a feladatmegoldó tevékenység figyelembevételével írtuk, illetve rendszereztük és szerveztük tesztekké, majd építettük be a feladatbankba. A három terület (olvasás, matematika és természettudomány) és a három dimenzió (tantárgyi, alkalmazási és gondolkodási) diagnosztikus szempontrendszereinek alapjait a táblázat foglalja össze.

Terület	Dimenzió	Tartalom	Pszichikus struktúra	Feladatmegoldó tevékenység
Olvasás	tantárgyi	-	-	választípus, módszer
	alkalmazási	olvasási cél	művelet	Választípus, módszer
	gondolkodási	olvasási cél	művelet	Választípus, módszer
Matematika	tantárgyi	témakör	feladattípus	választípus, módszer
	alkalmazási	témakör	feladattípus	választípus, módszer
	gondolkodás	témakör	művelet	választípus, módszer
Természettudomány	tantárgyi	témakör	feladattípus	választípus, módszer
	alkalmazási	témakör	feladattípus	választípus, módszer
	gondolkodás	témakör	művelet	választípus, módszer

A feladatok írása mindhárom területen a kidolgozott diagnosztikus szempontrendszerek alapján, az egyes szempontok minél teljesebb lefedésével történt. A diagnosztikus mérőeszközök kidolgozása során törekedtünk arra, hogy lehetőség szerint új feladatokat írjunk, de felhasználtunk a projekt résztvevőinek korábbi kutatásai, fejlesztései során kidolgozott és a jelenlegi projekt céljainak megfelelő feladatokat is.

A feladatírást a projekt résztvevőinek korábbi kutatási-fejlesztési programjaiban már tapasztalatokat szerzett, a diagnosztikus feladatírásra megfelelő elméleti felkészültséggel és gyakorlati tapasztalatokkal rendelkező pedagógusok (tanítók, tanárok) és értékelési szakértők végezték. A feladatírók a munka során négy alkalommal (2009. szeptember, 2010. február, 2010. szeptember, 2011. február) vettek részt tájékoztatókon és ezekhez csatlakozó feladatíró tréningeken.

A feladatok és javítókulcsok írása, szerkesztése számítógépes szövegszerkesztővel, egységes sablonok felhasználásával történt, a feladatírók az elkészült feladatokat egy erre a célra kialakított internetes felületre töltötték fel. A feladatok lektorálása (a projekt szakmai vezetése, felkért szakértők és más feladatírók által) ugyancsak az erre a célra kialakított internetes felületen történt. A kétszeri szakmai lektorálás és a technikai szerkesztés során javasolt módosításokat, javításokat már ismét a feladatírók, az internetes felületen keresztül végezték el.

A munka során eredetileg területenként 500, összesen mintegy 1500 feladat előállítását terveztük, azonban a diagnosztikus szempontrendszerek minél részletesebb lefedése érdekében végül ennél lényegesen több feladatot készítettünk. A projekt keretei között a három területen (olvasás, matematika, természettudomány),

dimenziónként (tantárgyi, alkalmazási, gondolkodási) és évfolyamonként (1-6.) kb. 40-50, összesen kb. 2400 feladat készült.

Az összeállított feladatok további használatához, beméréséhez szükséges volt, hogy ezeket feladatsorokká, tesztekké szervezzük. A feladatírást követően, a feladatok bemérése érdekében az elkészült feladatokból összeállított tesztek alapját a feladatok tematikus szempontból összetartozó csoportjai, klaszterei képezték. Ezeket a klasztereket az általuk kidolgozott feladatok felhasználásával maguk a feladatírók állították össze.

A projekt céljainak megfelelő megvalósítása érdekében előre meghatároztuk az összeállítandó klaszterek tartalmi és formai jellemzőit. Célul tűztük ki, hogy a klaszterekben mindhárom területen megfelelő arányban legyenek autentikus tartalmakat, illetve ábrákat tartalmazó feladatok. A követelmények szerint az olvasás terület esetében a klaszterek 100%-ában, a matematika és a természettudomány terület esetén pedig a klaszterek 20-30%-ában kellett autentikus tartalomnak szerepelni. Hasonlóan, az olvasás klaszterek 20-30%-ában, a matematika és a természettudomány klaszterek 100%-ában követeltük meg ábra beillesztését.

A klaszterek formai jellemzőinek meghatározása során a fő szempont az volt, hogy a klaszterek formája is egységes legyen, és így bármelyik klaszter bármelyik másik klaszterrel, vagy bármely más klaszterekkel tesztté szerkeszthető legyen. Ennek érdekében minden klasztert teljes A/4-es oldalas formára szerkesztettünk, melyen 3-5 feladat, összesen kb. 15 item kapott helyet.

A projekt keretei között eredetileg tervezett feladatmennyiség területenként kb. 150, legfeljebb 200 klaszter készítését jelentette volna. A ténylegesen elkészült feladatmennyiségből azonban mindhárom területen (olvasás, matematika, természettudomány) jóval több, területenként és évfolyamonként (1-6.) kb. 40-50, összesen kb. 800 klasztert lehetett összeállítani.

A klasztereket úgy szerveztük tesztekbe, hogy általában minden klaszter három tesztben szerepeljen, és ezáltal a klaszterek eredményei összekapcsolhatókká (összeláncolhatókká), összehasonlíthatókká váljanak. A tesztek összeállításának, a klaszterek kapcsolódásának koncepcióját Molnár Gyöngyvér dolgozta ki, a rendszer a táblázatban tanulmányozható.

A tesztek összeállítása, a klaszterek kapcsolata (Molnár, 2010)

Teszt	1. klaszter	2. klaszter	3. klaszter
1.	C2	C1	C3
2.	C1	C2	C4
3.	C2	C3	C5
4.	C3	C4	C6
5.	C4	C5	C7
6.	C5	C6	C8
7.	C6	C7	C9
...
193.	C192	C193	C195
194.	C193	C194	C196
195.	C194	C195	C197
196	C195	C196	C198
197.	C196	C197	C199
198.	C197	C198	C200
199.	C198	C199	C200

A klaszterek közötti kapcsolatokat az 5. táblázat mutatja. Látható, hogy a klaszterek többsége hat másik klaszterrel, néhány klaszter öt, négy, de mindegyik legalább három másik klaszterrel szerepel közös tesztben, tehát az eredményei ezekével közvetlenül összehasonlíthatók. Azonban a klaszterek ilyen összeláncolása mellett, megfelelő elemzési módszerekkel bármelyik klaszter eredményei bármelyik másikéval összehasonlíthatók lesznek, és ezáltal a feladatok közös skálán értékelhetővé tehetők.

A klaszterek összeláncolásának mátrixa (Molnár, 2010)

Klaszter	Kapcsolódó klaszterek
C1	C1	C2	C3	C4
C2	C1	C2	C3	C4	C5
C3	C1	C2	C3	C4	C5	C6
C4	C1	C2	C3	C4	C5	C6	C7
C5		C2	C3	C4	C5	C6	C7	C8
C6			C3	C4	C5	C6	C7	C8	C9
C7				C4	C5	C6	C7	C8	C9	C10
...

Az elkészült feladatmennyiség bemérésére két lépésben, 2010. májusában-júniusában, valamint 2011. májusában-júniusában került sor. A 2010-es mérés adatainak rögzítése, feldolgozása és elemzése már megtörtént, a 2011-es mérés adatainak rögzítése, feldolgozása a végéhez közeledik.

A mérések fő célja a feladatok paraméterezése, emellett diagnosztikus elemzések végzése volt. Az eredmények alapján összeállíthatók a felmért tudásterületek, készségek, képességek országos diagnosztikus térképei, amelyek a készségek, képességek komponenseinek fejlettségét is mutatják. Emellett azonban a későbbiekben érdemes a legfontosabb tesztek ekvivalenciáját is kialakítani, mert ezáltal a rendszer szummatív vizsgálatokra is alkalmassá válik, azaz az összpontszámok alapján értékelhető lesz a tanulók fejlettsége, illetve nyomon követhető lesz a fejlődésük.

A diagnosztikus feladatbank kiépítése

A projekt fontos célja volt a feladatok rendszerbe szervezése, egy diagnosztikus értékelési rendszer hátterét biztosító feladatbank kiépítése. A feladatbank-fejlesztés lényeges lépése a feladatok paraméterezése, hiszen a feladatbank használatát a feladatokhoz rendelt paraméterek (kvalitatív és kvantitatív jellemzők) teszik lehetővé. A paraméterezés egyrészt szakértői munkát, másrészt a bemérések eredményeinek empirikus elemzését igényli. A meghatározott paraméterek alapján a feladatok bekapcsolhatók a feladatbank rendszerébe, és a továbbiakban különböző funkciójú és jellemzőkkel rendelkező tesztekbe illeszthetők.

A paraméterezés feladat- és itemszinten is zajlott, tehát minden feladatnak és azon belül minden itemnek vannak paraméterei. A paraméterek között a kész feladatbankban minden esetben kvalitatív és kvantitatív paraméterek is szerepelnek majd (a paraméterek rendszerét a táblázat foglalja össze).

A feladatbank kvalitatív és kvantitatív paramétereinek rendszere

Terület	Kvalitatív paraméterek	Kvantitatív paraméterek
Olvasás	dimenzió olvasási cél, szövegtípus pszichikus struktúra feladatmegoldó tevékenység	átlag szórás elemszám SNI átlag SNI szórás SNI elemszám
Matematika	dimenzió tartalom pszichikus struktúra feladatmegoldó tevékenység	átlag szórás elemszám SNI átlag SNI szórás SNI elemszám
Természet-tudomány	dimenzió tartalom pszichikus struktúra feladatmegoldó tevékenység	átlag szórás elemszám SNI átlag SNI szórás SNI elemszám

A kvalitatív paramétereket a feladatírók állapították meg, a kvantitatív paramétereket pedig a feladatrendszer bemérései alapján számítottuk ki. A kvalitatív paraméterek között jelenleg a dimenzió (tantárgyi, alkalmazási, gondolkodási), a tartalom (olvasási cél, szövegtípus, illetve tantárgyi témakör), a pszichikus struktúra (készség, művelet, feladattípus) és a feladatmegoldó tevékenység (ráismerés, felidézés, átalakítás, kivitelezés, értelmezés) szerepel.

A kvantitatív paraméterek között egyelőre az alapvető klasszikus tesztelméleti paraméterek, azaz a feladat vagy item nehézségét jellemző átlag, a differenciáló erőt jellemző szórás és a paraméterek kiszámításához használt minta elemszáma szerepelnek. Azonban ezeket a paramétereket a feladatok egy része esetében két évfolyam, illetve sajátos nevelési igényű tanulók mintája alapján is meg tudtuk határozni.

A feladatok paraméterezése a feladatíráshoz és a lektoráláshoz hasonlóan egy erre a célra kifejlesztett internetes felületen történt. A kvalitatív paramétereket a feladatírók ezen a felületen rögzítették, a kvantitatív paramétereket pedig az adatfeldolgozás során készített eredményfájlokból ugyanerre a felületre másoltuk át. A projekt során készült, a feladatbankba került és paraméterezett kb. 2400 feladat területenkénti megoszlását a táblázat mutatja.

A kidolgozott és paraméterezett, a feladatbankba beillesztett feladatok száma

Terület	Tantárgyi	Alkalmazási	Gondolkodási	2010-es bemérés	2011-es bemérés	Összes feladat
Olvasás-szövegértés	kb. 200	kb. 400	kb. 200	kb. 600	kb. 400	kb. 800
Matematika	kb. 400	kb. 200	kb. 200	kb. 600	kb. 400	kb. 800
Természettudomány	kb. 400	kb. 200	kb. 200	kb. 600	kb. 400	kb. 800

A feladatbank jelenleg számítógépes adatbázis formájában létezik, melynek a szerkezete igazodik a három terület tartalmi keretrendszeréhez és az ezekre épülő diagnosztikus értékelési keretrendszerekhez. Ennek megfelelően alakítottuk ki az iskolai gyakorlatban is használható paraméterek rendszerét, illetve oldottuk meg azt, hogy a paraméterek alapján többféle célú mérés eszközei is előállíthatók legyenek. A feladatok nagyobb része kvalitatív és kvantitatív paraméterekkel is ellátott, kisebb részének egyelőre csak kvalitatív paraméterei vannak, a kvantitatív paraméterek a 2011-es mérés eredményei alapján határozhatók majd meg.

A feladatbank számítógépes adatbázisa jelenleg csak a feladatok listázására alkalmas, és a projektben részt vevő feladatírók számára érhető el. A feladatbank modelljének kidolgozása során lényeges szempont volt, hogy a feladatbankot úgy szervezzük, hogy az elektronikus (on-line használható) változatban is megvalósítható legyen, illetve a feladatbank vagy annak egyes részei a pedagógusok vagy más felhasználók számára is elérhetővé válhassanak.