Y Pam, Sut a Beth o Fesur Effaith

Awdur: Dr Lucy; Amser Darllen: 10 munud
Mae hwn yn adnodd agored. Mae croeso i chi ei gopïo a'i addasu. Darllenwch y telerau.
Os hoffech gymorth pellach gyda'ch her ddigidol, trefnwch sesiwn am ddim gyda DigiCymru

Mae’r blog yma yn ail flog o ddau yn dilyn cyfres o weithdai mesur effaith a gynhaliwyd ar gyfer y rhai a dderbyniodd grant Ymateb Digidol COVID-19 Catalyst a Chronfa Gymunedol y Loteri Genedlaethol.

Roedd gweithdy a blog cyntaf Bobi Robson yn agor ein meddwl am ‘pam’ y dylem fesur effaith. Mae’r blog yma yn trafod yn fanwl y ‘sut’ a’r ‘beth’: mae’n crynhoi gweithdy Lucy ac yn llawn adnoddau defnyddiol i gychwyn ar y daith o fesur effaith.

Y pam-sut-beth (Cylch Aur)

Mae’r rhan fwyaf o bobl a sefydliadau rydw i wedi’u cefnogi i ddeall eu heffaith yn dechrau efo’r ‘beth’. Y cwestiwn a ofynnir amlaf fel arfer yw rhywbeth tebyg i ‘pa adnodd ydw i’n ei ddefnyddio i fesur hyn ar gyfer cyllidwyr?’ Rwyf bob tro’n ymateb gyda ‘wel, mae’n dibynnu ar yr hyn rydych chi eisiau ei wybod a pham rydych chi eisiau ei wybod?’ Fodd bynnag, os mai adnoddau ydych chi eu hangen ar hyn o bryd (mae gen i brofiad o hyn, a dwi’n deall!), yna dyma ddolen a all eich rhoi ar ben ffordd gyda sawl adnodd i helpu. Ond cyn i chi fynd, beth am ddarllen ymlaen a chael mwy o gyd-destun – rwy’n addo rhoi’r ddolen i chi eto isod i chi glicio wedyn.

Mae’n amlwg ein bod yn mabwysiadu dull Simon Sinek, sydd bellach yn boblogaidd iawn, sef cychwyn gyda ‘pam’. Mae ei ffocws ar arweinyddiaeth yr un mor berthnasol yma yn ein dull ni o ymdrin ag effaith, gan fod hyn yn ymwneud â chreu diwylliant effaith a dysgu sy’n rhagweithiol ac yn strategol, yn hytrach nag ymatebol i, er enghraifft, adroddiadau ariannu neu gomisiynu. Fel arall, mae yna ormod o’r pethau bach yn rheoli’r cyfan yn digwydd i mi!

Mae cyllidwyr yn rhanddeiliad a dylanwadwr pwysig, ond mae yna rhanddeiliaid a dylanwadwyr eraill a all ddod at ei gilydd i arwain diwylliant o ganolbwyntio ar effaith – ac nid mewn ffordd gorfforaethol! Bod ein hystyriaeth dda i’n gwasanaethau, wedi’u cyfiawnhau a’u tystiolaethu o theori ac ymarfer, ac yn mynegi’n glir pam yr ydym yn gwneud yr hyn a wnawn, sut yr ydym yn mynd ati a’r hyn yr ydym yn ei wneud mewn gwirionedd.

Mae hwn yn ddull pwrpasol ac ystyrlon o ymdrin ag effaith sydd ddim yn ôl-ystyriaeth nac yn ffurflen adborth sydyn a rhuthro i gasglu data, i dawelu cyllidwr (rwy’n credu bod llawer ohonom wedi llithro i mewn i hyn, gan ein bod mor brysur ar lawr gwlad gyda chymhlethdodau ein gwasanaethau a’n prosiectau a’n brwydr barhaus gydag adnoddau). Dyma’n union pam ei fod yn flaenoriaeth arweinyddiaeth a pham yn union ei fod yn ymwneud â chreu diwylliant effaith – wedi’i blethu drwy lywodraethu, arweinyddiaeth ac ymarfer.

Roedd gweithdy a blog Bobi yn gofyn i ni gamu yn ôl a meddwl am ein cwestiynau (h.y. beth ydym ni eisiau ei wybod a pham rydyn ni eisiau ei wybod?). Credaf fod llawer ohonom yn casglu data am ein bod wedi gwneud hynny erioed, neu am fod rhywun yn dweud bod rhaid i ni, heb fod yn bwrpasol nac yn ystyriol amdano – dull a fyddai’n arwain at ddata mwy ystyrlon y gallwn ni wneud rhywbeth ag ef.

O ‘PAM canolbwyntio ar effaith’ i ‘SUT i fynd ati’

Dyma ble gellir herio ein rhesymau a’n rhethreg ymhellach! Beth os ydym ni’n newid ‘mesur’ gyda therm fel ‘ymchwilio’ neu ‘archwilio’? I mi, mae’r rhain yn teimlo ychydig yn fwy cynhwysol, croesawgar ac efallai hyd yn oed yn ddeniadol, yn hytrach na rhywbeth a wneir gan yr elît ymchwil, neu yn wir y tôn o reolaeth y mae rhai wedi dod i’w hofni. Fy ymgais yma yw dad-ddirgelu effaith o dan y paramedrau yma a’i gwneud yn rhan o’n diwylliant. Tynnu allan yr iaith academaidd ac weithiau anhygyrch, a’i disodli â rhywbeth mwy deniadol ac ystyrlon.

Rwy’n galw hyn yn broses Ymwybyddiaeth-Dewis-Gweithredu (ACA) sy’n cefnogi pobl i ddod yn fwy ymwybodol o’u hunain a’u cyd-destun, sylweddoli mwy o ddewis, a chymryd camau gweithredu. Mae’r broses hon, sy’n fwy grymusol, yn galluogi pobl a sefydliadau i gael asiantaeth ac felly i wneud penderfyniadau a chamau gweithredu mwy ystyrlon wrth archwilio eu heffaith.

Mae’r newid mewn dull yma yn agor y drws i ddealltwriaeth, gwybodaeth a datblygiad (h.y. gwella yn ogystal â phrofi). Mae hyn yn arbennig o bwysig yn y byd arloesi a datblygu y gallai darllenwyr fod wedi bod yn ymwneud ag ef trwy eu perthynas â Catalyst. Mae’n ein hannog i ystyried effaith mewn cylchoedd ailadroddus o ymchwilio i’r cyd-destun a’r anghenion, arloesi a datblygu i ddiwallu’r anghenion hyn, a gwerthuso cyfraniad ein datblygiad at yr anghenion hyn. Mae hyn yn cyd-fynd â’r fethodoleg meddwl cynllunio y mae Catalyst yn ei hyrwyddo, ac sydd wedi’i manylu gan rai meddylwyr gwych yn y maes hwn, fel yn Lean Impact gan Ann Mei Chang.

Rwy’n dod o gefndir datblygu ieuenctid ac roedd gwaith y Ganolfan ar gyfer Effaith Ieuenctid (CYI) wedi newid tirwedd y ffordd yr ydym yn ymdrin ag effaith. Roedd eu fframwaith ‘Gofyn Cwestiynau Da’ yn darparu dull sy’n llawer mwy defnyddiol na gofyn ‘a yw’n gweithio?’

Maent yn datgan, “…mae’n fwy grymus na dweud ‘rydym yn gwybod ei fod yn gweithio; dim ond ei ddangos sydd ei angen arnom”. Maent yn cymhwyso ymhellach, “Mewn gwirionedd, mae ‘Ydy o’n gweithio?’ yn gasgliad o gwestiynau eraill, wedi’u bwndelu at ei gilydd, a phob un yn bwysig am wahanol resymau”. Mae’r ddau gwestiwn cyntaf yn ymwneud â deall cyd-destun, a chynllunio ‘cynnig’ o ansawdd uchel sy’n ymateb i’r cyd-destun hwn; mae cwestiynau tri a phedwar yn ymwneud â monitro’r broses o gyflwyno gweithgareddau; ac mae cwestiynau pump a chwech yn ymwneud â gwrando ac ymateb i adborth.

Damcaniaeth newid wrth wraidd effaith

Wrth wraidd unrhyw drafodaeth effaith mae eich Damcaniaeth Newid. O safbwynt sector cymdeithasol ehangach, NPC (Cyfalaf Dyngarwch Newydd) yw’r felin drafod a’r adnodd ar gyfer unrhyw beth sy’n ymwneud ag effaith gymdeithasol. Maent yn diffinio damcaniaeth newid fel proses sy’n ein hannog i fyfyrio ar ein hamcanion a’n cynlluniau, i’w trafod ag eraill ac i’w gwneud yn eglur, a gweld y broses hon fel sylfaen strategaeth, gwerthuso a chyfathrebu.

Gallwn rannu’r damcaniaeth newid i’r meysydd canlynol yn seiliedig ar waith CYI a NPC:

CYD-DESTUN – yr anghenion, materion, asedau, rhanddeiliaid, polisi, cyllid, ac ati.
EFFAITH – y cyfraniad y mae ein sefydliad/gwasanaeth/prosiect yn ei wneud i’r cyd-destun hwn
CANLYNIADAU – dadansoddiad o ddangosyddion effaith y mae cyfranogwyr yn eu cyflawni
DULLIAU NEWID – yr amodau a’r profiad a grëwn i alluogi cyfranogwyr i gyflawni canlyniadau
ANSAWDD – sut rydym yn sicrhau ansawdd a chysondeb ar draws ein cynnig fel y gall cyfranogwyr elwa o ddulliau newid.

Y cwestiynau ehangaf efallai sydd gennym yn ymwneud â hyn yw:

A ydym yn gweithio gyda’r cyfranogwyr targed a nodwyd yn y cyd-destun?
A ydym yn cyflawni’r effaith a fwriadwyd?
A yw cyfranogwyr yn cyflawni’r canlyniadau a fwriadwyd?
A allwn briodoli’r canlyniadau hyn i’n rhaglen? Pa ddulliau?
A wnaethom gyflawni hyn yn dda yn gyson?

Felly, gallwn ystyried y Ddamcaniaeth Newid fel fframwaith ar gyfer sut rydym yn mynd ati i ymchwilio i effaith. Mae’n helpu i fframio ein cwestiynau fel y gallwn gynllunio sut rydym yn ymchwilio i’r rhain yn ymarferol. Cynllun effaith yw’r bont rhwng ‘sut’ a ‘beth’ rydym yn ei wneud mewn gwirionedd – h.y. casglu data.

O SUT i BETH: o ddamcaniaeth newid i gasglu data

Unwaith eto, mae angen i ni herio’r rhethreg o amgylch y term ‘casglu data’ fel ei fod yn ddiddorol ac yn ystyrlon. Mae hyn yn cychwyn gyda dealltwriaeth bod llawer o fathau o ddata a bod dull cyfannol sy’n gwerthfawrogi mathau a ffynonellau lluosog o ddata yn ddefnyddiol. Yn ei ffurf symlaf, byddwn bob amser yn dweud ‘dim ystadegau heb straeon a dim straeon heb ystadegau’. Mae academyddion yn galw hyn yn ‘driongli’ ac mae rhai yn ei alw’n ‘grisialu’ (yn dibynnu ar eich dull), ond yn y pen draw yr hyn yr ydym yn sôn amdano yma yw peidio â meddwl y gallwn ddefnyddio un ffynhonnell ddata i ddeall (profi/gwella) ein heffaith.

Mae NPC unwaith eto yn darparu adnodd gwych i ni ei ddefnyddio gan eu bod yn disgrifio 5 math o ddata mewn perthynas â Damcaniaeth Newid:

1. Data defnyddwyr:

Yn gofyn a yw eich [gwasanaeth] yn effeithiol wrth gyrraedd y grŵp targed bwriedir?
Yn sefydlu nodweddion defnyddwyr eich gwasanaeth.

2. Data ymgysylltu:

Yn gofyn pa mor effeithiol yw eich gwasanaeth wrth barhau i ymgysylltu â defnyddwyr eich gwasanaeth targed?
Yn sefydlu i ba raddau y mae pobl yn defnyddio eich gwasanaeth a sut maen nhw’n ei ddefnyddio.

3. Data adborth:

Yn gofyn beth yw barn pobl am y mecanwaith newid o fewn eich gwasanaeth?
Yn sefydlu pa fecanweithiau sy’n helpu pobl i gyflawni canlyniadau a sut.

4. Data canlyniadau:

Yn gofyn sut mae pobl wedi cael eu dylanwadu neu eu helpu gan eich gwasanaeth yn y tymor byr?
Yn sefydlu’r adnoddau, y manteision neu’r asedau uniongyrchol y mae eich defnyddwyr yn eu cael o’r gwasanaeth.

5. Data effaith:

Yn gofyn a yw’r canlyniadau a gyflawnwyd (uchod) wedi helpu pobl i newid eu bywydau er gwell?
Yn sefydlu’r gwahaniaeth hirdymor a gyflawnwyd ar gyfer unigolion, teuluoedd, a/neu gymunedau.

Creu cynllun effaith

Gall y 5 math o ddata yma ffurfio adrannau cynllun effaith. Dyma fy hoff enghraifft rwy’n defnyddio (gan dybio bod caniatâd, preifatrwydd a diogelu data ar waith):

*Pum math o ddata (gweler y paragraff isod am ddolenni hyper)*

Na wir, BETH ydw i’n ei wneud mewn gwirionedd?

Fel addewais ar y cychwyn, dyma ddolen i wefan sy’n gysylltiedig â llyfr a ysgrifennais ar y cyd ar ddulliau ymchwil creadigol ar gyfer ymarfer. Mae yna ddolenni i dempledi ac offer casglu data defnyddiol (ynghyd â’r dolenni yn y tabl uchod, gweler mapiau taith yma a’r templed astudiaeth achos yma) – pob un i’w lawrlwytho gyda throsolwg, disgrifiad o’r hyn y bydd ei angen arnoch, proses gam wrth gam, sut i ddadansoddi eich data, a chryfderau a gwendidau’r adnodd.

Beth am enillion ar fuddsoddiad?

Yn olaf, cwestiwn a ofynnir i mi’n aml yw beth am ddadansoddi cost a budd ac enillion ar fuddsoddiad? Rhybudd: Mae hwn yn faes cymhleth a dadleuol! Mae Enillion Cymdeithasol ar Fuddsoddiad (SROI) wedi gwneud cynnydd wrth ddatblygu’r maes hwn ac mae NEF (New Economics Foundation) yn un o nifer o arbenigwyr. Maent yn datgan bod SROI yn offeryn mesur sy’n seiliedig ar ganlyniadau sy’n helpu sefydliadau i ddeall a meintioli’r gwerth cymdeithasol, amgylcheddol ac economaidd y maent yn ei greu. Mae hon yn broses gyfranogol y maent yn ei disgrifio fel cipio gwerth ystod eang o ganlyniadau ar ffurf ariannol, boed gan y rhain werth ariannol eisoes ai peidio. Mae dadansoddiad SROI yn cynhyrchu naratif o sut mae sefydliad yn creu ac yn dinistrio gwerth wrth wneud newid yn y byd, a chymhareb sy’n nodi faint o werth cymdeithasol (mewn £) sy’n cael ei greu am bob £1 o fuddsoddiad.

Rhybuddiais i chi ei fod yn gymhleth! Fodd bynnag, un peth a allai helpu hyn yw beth yw’r man cychwyn… ie, dyna chi – damcaniaeth newid!

Felly beth nesaf?

Dyma rai camau nesaf y gallech eu cymryd:

Drafftiwch eich Damcaniaeth Newid a’i brofi gyda rhanddeiliaid cynrychioliadol (cyd-greu)
Darparwch dystiolaeth o’ch Damcaniaeth Newid – sicrhewch fod y rheswm pam rydych chi’n gwneud yr hyn rydych chi’n ei wneud wedi’i gyfiawnhau a’i dystiolaethu
Creu cwestiynau am eich Damcaniaeth Newid
Creu cynllun effaith – ystyried sbrintiau i ganolbwyntio adnoddau
Penderfynu ar gasglu data – adnoddau a dadansoddiad
Sicrhewch fod hyn yn cysylltu ag unrhyw systemau a phrosesau monitro cyfredol‍

Mae gan Lucy PhD mewn datblygu lles ac yn ymgynghorydd a hyfforddwr llawrydd sy’n cefnogi pobl a sefydliadau â phwrpas cymdeithasol tuag at effaith fwy. Gallwch gysylltu â hi ar LinkedIn.

Wedi'i gomisiynu gan Catalyst