Cynhaliwyd cyfarfod Tachwedd eleni yn Bochum, Yr Almaen. Roedd dydd Llun a dydd Mawrth yn hyfforddiant i sefydliadau er mwyn cael awdit, sef proses gwarantu ansawdd ALTE. Bydd yr arholiadau Cymraeg i oedolion yn derbyn awdit eto yn 2012. Gellir cael hyd i wybodaeth am weithdrefnau’r awdit, a’r 17 o safonau y seilir yr awdit arnynt, ar wefan ALTE. Aethpwyd i ddiwrnod hyfforddi i’r rhai sy’n derbyn yr awdit a’r rhai sy’n cynnal yr awdit.
Neilltuwyd dydd Mercher ar gyfer cyfarfodydd pwyllgor gwaith a chyfarfodydd grwpiau diddordeb arbennig. Ymhlith y materion gweinyddol a drafodwyd yn y pwyllgor gwaith oedd y syniad o ddyfarnu gradd ‘Q’ i arholiadau sydd wedi mynd drwy’r broses awdit yn llwyddiannus a chwrdd â phob un o’r safonau. Hefyd, trafodwyd cyfansoddiad ALTE a statudau’r pwyllgor gwaith a’r pwyllgor awdit yn fanwl a bydd y rhain i’w gweld ar y wefan y flwyddyn nesaf.
Grwpiau diddordeb penodol
Cyfarfu grŵp y Cod Ymarfer ar y prynhawn dydd Mercher. Roedd hyn yn gyfle i drafod gweithdrefnau ar gyfer asesu awditwyr. Cafwyd cryn drafodaeth ar ddulliau asesu gwahanol: adborth gan sefydliadau, adborth gan y Pwyllgor Gweithredol, hunan-werthusiad, asesiad cymheiriaid. Cytunwyd bod y rhain i gyd yn werthfawr, ac nad oedd y pwll o awditwyr yn ddigon mawr i ystyried sefydlu cymhwyster penodol. Bu trafod pellach ar y ddogfen ‘Principles of Good Practice’ sydd gan ALTE, chwaer gyfrol i’r ddogfen Manual for Language Test Development and Examining.
Gweithdy
Cynhaliwyd gweithdy ar brofi sgiliau integredig gan yr Athro Gillian Wigglesworth o Melbourne, Awstralia. Nod y gweithdy hwn oedd dadansoddi un enghraifft o dasg integredig Gwrando-Siarad yn fanwl. Roedd y dasg wedi ei sgriptio a’i recordio’n benodol (nid o raglen ddilys), ac yn gosod sefyllfa rhaglen radio lle roedd cyfranwyr yn rhoi safbwyntiau gwahanol. Testun y sgwrs oedd sefydlu ardal lleihau traffig ynghanol dinas. Y dasg i’r rhai yn y gweithdy oedd gweithredu’r cynllun marcio ar ôl gwrando ar chwe ymgeisydd yn ‘cynhoi’r drafodaeth i ffrind’. Er bod disgrifyddion i raddio ansawdd yr iaith ar gael (cywirdeb, ystod ac ati), canolbwyntiwyd ar asesu’r cynnwys. A oedd yr ymgeiswyr wedi crynhoi’r pwyntiau pwysig ac eilaidd i gyd? Gwnaed nifer o sylwadau gan y grŵp: roedd 16 o bwyntiau cynnwys yn ormod; roedd yr ymgeiswyr (a’r aseswyr) yn ystyried pob pwynt a godwyd yn rhan o’r cynnwys, felly nid crynhoi roedd ei angen; roedd y dasg yn gofyn am nifer o sgiliau gwybyddol, anieithyddol, e.e. y gallu i gofio, i ddethol, i gasglu beth oedd prif destun y sgwrs ac yn y blaen. Roedd rhai o’r farn nad oedd y dasg yn un ddilys iawn, hynny yw, nid oedd y dasg yn adlewyrchu’r hyn sy’n debygol o godi yn y byd real. Bu llawer o feirniadu, ond cafwyd trafodaeth fuddiol yn ei sgil.
Diwrnod y Gynhadledd
Mae dydd Gwener cyfarfodydd ALTE fel arfer yn ddiwrnod cynadleddoedd agored, ac roedd nifer o athrawon ac eraill o’r Almaen a oedd â diddordeb mewn asesu wedi dod yn benodol i hwn. Fe’i cynhaliwyd ym Mhrifysgol y Ruhr, Bochum. Dyma grynhoi rhai o sylwadau tri o’r prif siaradwyr.
Cyril Weir: Criterial contextual parameters within a socio-cognitive framework for language test development and validation.
Roedd Cyril yn siarad am y fframwaith cymdeithasol-gwybyddol, gan ganolbwyntio ar sut mae mesur cymhlethdod testun darllen. Mae nifer o fynegeion yn gallu bod yn arwydd o ba mor anodd yw’r darn: nifer cyfartalog y sillafau mewn gair (h.y. geiriau hirach = testun anos), nifer y geiriau unigryw, dwyster (nifer y geiriau concrid yn erbyn nifer y geiriau haniaethol), amlder y geiriau, nifer y geiriau concrid ac wrth gwrs, hyd y darn. Mae geiriau cyffredin yn cael eu prosesu’n gynt na geiriau anghyffredin. Mae’r paramedrau hyn i gyd yn gallu effeithio ar y ‘llwyth gwybydddol’, sef yr hyn y mae’n rhaid i’r meddwl ei wneud y tu hwnt i’r gofynion ieithyddol. Un o’r rhagwelyddion gorau ar gyfer hyn yw nifer y geiriau academaidd; po fwyaf y geiriau academaidd, yna’r mwyaf anodd y bydd y testun. Mae’n llawer mwy anodd defnyddio paramedrau fel ‘cydlynedd’ (cohesion) ar gyfer mesur cymhlethdod testun, a gwahaniaethu rhwng lefelau. Mae modd defnyddio rhaglen Microsoft Word i fesur rhai o’r nodweddion hyn mewn testun electronig - nifer y geiriau, cymedr nifer y geiriau mewn brawddeg ac ati - ac roedd Cyril yn argymell y dylai llunwyr eitemau wneud hynny’n rheolaidd.
Byddai’n ddiddorol edrych ar nodweddion ieithoedd eraill fel arwydd o gymhlethdod, e.e. ydy ffurfiau treigledig yn fwy anodd na ffurfiau cysefin yn Gymraeg? I ddysgwyr yr Almaeneg, ydy morffoleg cymhleth yr iaith honno (geiriau hirfaith) yn effeithio ar ddealltwriaeth?
Evelina Galaczi: Investigating the context validity of speaking tests: What insights can a socio-cognitive framework provide?
Roedd y siaradwr hwn yn sôn am brofion siarad yng nghyd-destun dilysrwydd. Beth mae’n rhaid ei wneud i sicrhau bod y profion siarad yn ddilys (valid)?
- Dylid sicrhau bod amrywiaeth o fformatau ymateb ar gael, gan fod pobl yn ymateb yn well i rai na’i gilydd.
- Mae dewis y fformatau’n dibynnu ar bwrpas cyffredinol y prawf.
- Dylai’r pwrpas fod yn glir ac yn ddiamwys, ac yn addas i’r lefel.
- Dylid rhoi amser priodol i gyflawni’r dasg.
Ydy amser paratoi/cynllunio’n effeithio ar berfformiad yr ymgeisydd? Yn ôl yr ymchwil, mae paratoi’n helpu rhuglder, ond nid yw’n effeithio ar gywirdeb na chymhlethdod y testun a gynhyrchir. Os oes tasg sy’n gymhleth o’r safbwynt gwybyddol, mae angen amser paratoi. Yn arholiadau Saesneg Caergrawnt, nid yw’r ymgeisydd yn cael amser paratoi o gwbl, dim ond ychydig eiliadau i ddarllen neu ymgyfarwyddo â’r sbardun. Mae ystyriaethau eraill: ydy’r gofynion yn haniaethol/concrid? Ydy’r dasg yn gofyn am wybodaeth bersonol neu bethau amhersonol? Rhaid bod yn ofalus wrth osod testunau siarad: (a) sy’n addas i bob diwylliant; (b) sydd ddim yn mynd i achosi cynnen na gofid i ymgeiswyr; (c) sydd ddim yn mynd i ddyddio’n gyflym; (ch) sydd yn debygol o sbarduno digon o iaith. Mae modd addasu testunau i lefelau gwahanol, e.e. gall ymgeiswyr lefel A2 drafod eu hoff bwnc yn yr ysgol, ond gellir disgwyl i ymgeiswyr C2 allu trafod polisi addysg. Codwyd nifer gwestiynau y dylid eu hystyried wrth gynllunio’r profion siarad.
Thomas Eckes: Facets of Context Validity: Examining Rater Effects in Writing and Speaking Performance Assessments
Testun Thomas Eckes, sy’n gweithio i TestDaf, oedd rater effects, neu’r ffactorau sy’n debygol o effeithio ar farcwyr y profion siarad neu ysgrifennu:
- llymder/haelioni - dyma’r mwyaf cyffredin
- y duedd i farcio’n ganolog (canol y raddfa, heb ddefnyddio’r ystod lawn)
- yr halo effect - bod un maen prawf yn rheoli’r lleill
- rhagfarn - barn benodol am un o’r meini prawf, neu ragfarn yn erbyn grŵp o ymgeiswyr
Sut mae delio â’r broblem hon felly? Yr atebion arferol yw hyfforddi’r marcwyr, mesur dibynadwyedd rhwng y marcwyr neu o fewn marciwr unigol, cyfnewid marcwyr, cyfarwyddo â’r broses, ymarfer marcio, defnyddio meincnodi (enghreifftiau parod), adborth a thrafod. Mae cyfuniad o’r rhain yn gallu helpu, eto mae tuedd gan farcwyr i ganfod ‘beth sy’n dderbyniol’ yn eu ffordd eu hunain. Gellir ceisio atebion mwy radical, e.e. defnyddio parau o ymgeiswyr a gofyn i farcwyr ddweud pa un sydd orau, neu ddefnyddio marcwyr cyfrifiadurol. Mae’r ddwy ffordd yn gostus, ac mae amheuon am allu cyfrifiadur i fesur siarad mewn ffordd ddilys, hyd yn oed yn Saesneg.
Roedd Eckes yn awgrymu ffyrdd traddodiadol, e.e. amcangyfrif pa mor hael/llym yw’r marciwr, addasu marciau’r ymgeisydd, adnabod effeithiau eraill ar y marcwyr, gweithdrefnau manwl ar gyfer monitro ansawdd, a rhoi adborth. Mae marcwyr yn amrywio, e.e. mae ganddynt strategaethau gwahanol ar gyfer dod i benderfyniad, ac maen nhw’n hoffi canolbwyntio ar feini prawf gwahanol. Ei gasgliadau oedd:
- y bydd marcio gan fodau dynol yn para!
- bod effeithiau’r marcwyr yn fater allweddol
- bod angen dadansoddi manwl ar y prosesau sy’n digwydd
- bod marcwyr yn arbenigwyr annibynnol, nid yn beiriannau
- bod angen sicrhau cysondeb o fewn marciwr dros amser, yn fwy na rhwng marcwyr a’i gilydd
Cynhelir cyfarfod nesaf ALTE ym mis Ebrill 2012.
Emyr Davies
Swyddog Arholiadau Cymraeg i Oedolion
