pebyll o gwmpas tân gwersyll: dangos tystiolaeth o ...€¦ · 16 18 19 24 27 30 34 40 41. ... the...

1 Tents around a campfire: evidencing transformation Pebyll o gwmpas tân gwersyll: dangos tystiolaeth o drawsnewid

Pebyll o gwmpas tân gwersyll: dangos tystiolaeth o drawsnewidTents around a campfire: evidencing transformation


Cynnwys ContentsCyflwyniad

1. Croeso

2. I chi beth yw ystyr dangos tystiolaeth o drawsnewid?

O safbwynt ymarfer - Eleri Lloyd, Mantell Gwynedd –

Gwerth Cymdeithasol Cymru - Frances Beecher, Llamau - Sesiwn Holi ac Ateb

O safbwynt polisi - Rebecca Cox, Llywodraeth Cymru - Sesiwn Holi ac Ateb

O safbwynt ymchwil - Dan Venables, Ymchwil Iechyd a

Gofal Cymru - Fiona Verity, Ysgol Ymchwil Gofal

Cymdeithasol Cymru - Sesiwn Holi ac Ateb

3. Sut gallwn ddangos tystiolaeth o drawsnewid? A. Arfau a dulliau ymarfer B. Bob dydd gyda phawb C. Beth yw’r pwrpas ac ar gyfer pwy mae o? Ch. Beth sy’n cyfrif fel tystiolaeth?

4. Beth wnawn ni nesaf?

5. Diweddglo

Appendix

Introduction

1. Opening words

2. What does evidencing transformation mean to you?

From the practice angle - Eleri Lloyd, Mantell Gwynedd –

Social Value Cymru - Frances Beecher, Llamau - Q&A and discussion

From the policy angle - Rebecca Cox, Welsh Government - Q&A and discussion

From the research angle - Dan Venables, Health and Care

Research Wales - Fiona Verity, Wales School of Social

Care Research - Q&A and discussion

3. How do we evidence transformation?

A. Tools and approaches in practice B. Every day with everyone C. What’s the purpose and who is it for? D. What counts as evidence?

4. What shall we do next?

5. Afterword

Appendix

3

4

7

88

910

121213

1414

15

16

18

19242730

34

40

41


Cyflwyniad

Both understanding and evaluating social change are complex undertakings. A variety of approaches and standards are currently used across the field, by projects, research, and policy; and often these do not join up or speak of the same outcomes and indicators.

There is a history of conversations about these issues, which we wanted to build on within the context of associated policy, practice and research development in Wales. On 17th April 2018, the Co-production Network for Wales, with support from Welsh Government and the Wales School for Social Care Research, convened a conversation in Cardiff.

This event was an informal seminar and working group, not a conference. The aim was to share points of view, and advance our knowledge and practice together. We invited key actors from across the spectrum to discuss what is available in terms of tools, approaches and resources; what is still needed; and how to advance this agenda collaboratively. We see it as gathering the various tents around a common campfire.

This report summarises the issues raised and next steps being considered.

Mae deall a gwerthuso newid cymdeithasol yn bethau anodd eu gwneud. Ar hyn o bryd defnyddir dulliau a safonau amrywiol yn y maes, gan brosiectau, gwaith ymchwil a pholisi; ac yn aml, nid yw’r rhain yn cyd-fynd â’i gilydd nac yn sôn am yr un deilliannau a dangosyddion.

Mae hanes trafodaethau am y pethau hyn, ac roeddem am ychwanegu atynt o fewn cyd-destun polisi, arferion a datblygu ymchwil cysylltiedig yng Nghymru. Trefnwyd sgwrs am y pwnc yng Nghaerdydd ar 17eg Ebrill 2018, gan Rwydwaith Cydgynhyrchu Cymru, gyda chefnogaeth Llywodraeth Cymru ac Ysgol Ymchwil Gofal Cymdeithasol Cymru.

Seminar anffurfiol a gweithgor oedd y digwyddiad hwn, yn hytrach na chynhadledd. Nod y digwyddiad oedd rhannu safbwyntiau, a gwella ein gwybodaeth a’n harferion gyda’n gilydd. Estynnwyd gwahoddiad i brif actorion y sbectrwm cyfan i ddod i drafod yr hyn sydd ar gael o ran arfau, dulliau ac adnoddau; yr hyn sydd ei angen o hyd, a sut i ddatblygu’r agenda ar y cyd. Yn ein barn ni roedd yn debycach i gasgliad o bebyll amrywiol o gwmpas tân gwersyll cyffredin.

Mae’r adroddiad hwn yn crynhoi’r materion a godwyd, a’r camau nesaf sy’n cael eu hystyried.

Introduction

4 Tents around a campfire: evidencing transformation Pebyll o gwmpas tân gwersyll: dangos tystiolaeth o drawsnewid 4

Croeso

Chris Jones, Deputy Chief Medical Officer for Wales

(Key points of note, not an exact transcript)

Offering a perspective on evaluating transformation from the health angle:

Going back, Aneurin Bevan’s inspiration behind the National Health Service – the Tredegar Workmen’s Medical Aid Society – was free at the point of use, and funded by the community through a weekly subscription. A major difference between this origin and today’s National Health Service is that the NHS is now funded through taxation. Taxation has removed the sense of public ownership of the services we receive. The NHS as it is now has developed in a way largely driven by professional knowledge of what constitutes good practice. As the population has aged, we have been increasingly finding that the Medical Model isn’t working very well. (In the Medical Model a clinician will take a history of someone, make a diagnosis, carry out tests and offer treatment.) It’s not a good model if you have multiple diagnoses. As we get older the burden of treatment gets greater. Over-complicating things even more is the fact that doctors are increasingly specialised – a cardiologist may not know about the lungs for example. This isn’t working for people whose lives are dominated by their healthcare, and is unsustainably expensive. Overall I am optimistic because although we usually focus on the cuts and the dwindling

Chris Jones, Dirprwy Brif Swyddog Meddygol Cymru (Prif bwyntiau, nid cofnod manwl gywir)

Roedd yn cynnig persbectif ar werthuso trawsnewid o safbwynt iechyd:

Yn y gorffennol, roedd yr hyn a ysbrydolodd Aneirin Bevan ar gyfer y Gwasanaeth Iechyd Gwladol, sef Cymdeithas Cymorth Meddygol Gweithwyr Tredegar – oedd ar gael yn rhad ac am ddim wrth ei ddefnyddio, ac a gyllidwyd gan y gymuned trwy danysgrifiad wythnosol. Un o’r gwahaniaethau mawr rhwng y gymdeithas wreiddiol a Gwasanaeth Iechyd Gwladol yr oes hon yw bod y GIG bellach yn cael ei gyllido drwy drethi. Mae trethi wedi dileu’r teimlad o berchnogaeth gyhoeddus y gwasanaethau a ddarperir erbyn hyn. Mae’r GIG heddiw wedi datblygu mewn ffordd a ddylanwadwyd yn bennaf gan wybodaeth broffesiynol yr hyn a elwir yn arfer da. Wrth i’r boblogaeth heneiddio, darganfuwyd nad yw’r Model Meddygol yn gweithio’n dda iawn. (Yn y Model Meddygol, byddai clinigwr yn cymryd hanes unigolyn, yn gwneud diagnosis, yn cynnal profion ac yn cynnig triniaeth.) Nid yw’r model yn dda os oes angen diagnoses lluosog. Wrth inni heneiddio, mae baich y driniaeth yn cynyddu. Ac ar ben hynny, mae’r ffaith fod meddygon yn arbenigo mwy a mwy yn gor-gymhlethu pethau – hwyrach na fydd cardiolegwr yn gwybod am yr ysgyfaint er enghraifft. Felly nid yw’r system yn gweithio ar gyfer y sawl sydd â materion gofal iechyd yn rheoli eu bywydau, ac mae’n anghynaladwy o safbwynt costau. Ar y cyfan, rwyf yn optimistaidd oherwydd, er ein bod ni fel arfer yn canolbwyntio ar doriadau

Opening words


resources and funding, actually I feel the NHS has quite a lot of money – we spend £7bn per year on the 3 million people in Wales. For that we get: 20 million primary care appointments, 4 million hospital appointments, 750,000 hospital admissions per year, 80 million blood tests and 78 million prescriptions. However, despite the investment in this industrial scale healthcare, we are not effectively preventing illness in Wales. Furthermore, the overall contribution that health services make to public health outcomes is only 20% – this is because other factors (economic, social) play a role in people’s health and wellbeing, and the health sector is still primarily focused on being a treatment service. The average age of a hospital inpatient is 84 years old: by the time we receive healthcare our life outcome is already determined. There needs to be a change in dynamics, and co-production is key to that. Doctors don’t always make good choices for people: as society becomes more litigious, doctors are more concerned about being sued and they may do more to patients to protect themselves... than the patient. There is a need for doctors and patients to make decisions together, to document that process and to share responsibility, and minimise the chance of alleged negligence. Doctors need to become better at understanding and respecting people’s preferences for their care. Doctors might assume what matters to people is survival, but the evidence is that if you ask people it will most likely be about their quality of life. (Glyn Elwyn at Dartmouth Institute, formerly of Cardiff University, has published some good work on this.) There is a need to engage in shared decision making and to ask 4 key questions (see the ‘Making Choices Together’ national programme in Wales): What are my options? What are the risks and benefits? Do I need this? What can I do to help myself? Through this we can seek to re-address the balance away from the professional making the decision. This is just one manifestation of co-production.

a’r lleihad mewn adnoddau a chyllid, mewn gwirionedd, yn fy marn i mae gan y GIG arian sylweddol – rydym yn gwario £7bn y flwyddyn ar y 3 miliwn o bobl sy’n byw yng Nghymru. Ac am hynny, rydym yn cael: 20 miliwn o apwyntiadau gofal sylfaenol, 4 miliwn o apwyntiadau ysbyty, mae 750,000 o bobl yn cael eu derbyn i’r ysbyty’n flynyddol, a chynhelir 80 miliwn o brofion gwaed a 78 miliwn presgripsiwn. Fodd bynnag, er gwaethaf y buddsoddiad sylweddol mewn gofal iechyd, nid ydym yn llwyddo i atal salwch yng Nghymru mewn ffordd effeithiol. Yn ogystal, dim ond 20% yw cyfanswm y cyfraniad cyffredinol y mae gwasanaethau iechyd yn ei wneud i ddeilliannau iechyd cyhoeddus – oherwydd bod ffactorau eraill (economaidd, cymdeithasol) yn chwarae rhan mewn iechyd a llesiant pobl, ac mae’r sector iechyd yn dal i ganolbwyntio’n bennaf ar fod yn wasanaeth sy’n cynnig triniaeth. Oedran cyfartalog claf mewnol yn yr ysbyty yw 84 oed: erbyn inni dderbyn gofal iechyd, penderfynwyd ein canlyniadau bywyd eisoes. Mae angen newid y deinameg, ac mae cydgynhyrchu’n hollbwysig i hynny. Nid yw doctoriaid bob tro’n gwneud dewisiadau da ar gyfer pobl; wrth i gymdeithas droi’n fwy cyfreithadwy, mae meddygon yn poeni mwy am gael eu herlyn a hwyrach y byddant yn gwneud mwy i’r claf er mwyn diogelu eu hunain... yn hytrach na’r claf. Mae angen i ddoctoriaid a chleifion wneud penderfyniadau gyda’i gilydd, a chofnodi’r broses honno a rhannu cyfrifoldeb, a lleihau cymaint â phosib y potensial ar gyfer esgeulustod honedig. Mae angen i feddygon wella o ran deall a pharchu dewisidau pobl mewn perthynas â’u gofal. Hwyrach y bydd meddygon yn cymryd yn ganiataol taw goroesi sy’n bwysig i bobl, ond dengys tystiolaeth, os gofynnir i bobl, yr ateb fwyaf tebygol fyddai ansawdd bywyd. (Mae Glyn Elwyn o Sefydliad Dartmouth, gynt o Brifysgol Caerdydd, wedi cyhoeddi gwaith da iawn ar y pwnc yma.) Mae angen ymgysylltu â gwneud penderfyniadau ar y cyd


That’s one part of the story, the other is that we need people to be involved in designing services. The money that we currently have funding the health service should be enough – I’m optimistic – if we use resources better. Co-production is fundamental. If we give people more power over their care they will have better outcomes. But in order to make that change we need to evaluate it, we need an evidence base. There are case studies on co-production (they nearly always work – they are very powerful), but to get that evidence together across the board is very hard. Co-production can take many forms – each way is designed to suit the local need – and it is inherently about local issues and local outcomes. As such it can be difficult to pull that together into one evidence base. We need to show, through a systematic approach, that the co-productive process is working; to show the power shift. How do we measure the power shift? If we can find a way of looking at power to understand if co-production has truly happened we can start and look at the processes of how that happens and the consequences when it does. In Wales, we have a lot of commitment to co-production. The NHS is unsustainable with the power dynamic that we have at the moment so this needs to change and the change be evaluated. Co-production is essential for the sustainability of the health sector… and evaluation is key to that.

a gofyn 4 cwestiwn allweddol (gweler rhaglen genedlaethol Cymru ‘Gwneud Dewisiadau gyda’n Gilydd’): Beth yw fy opsiynau? Beth yw eu risgiau a’u manteision? A oes angen hyn arnaf mewn gwirionedd? Beth gallaf ei wneud i helpu fy hun? Trwy’r drefn yma gallwn geisio symud y cydbwysedd i ffwrdd o’r unigolyn proffesiynol yn gwneud y penderfyniad. Dim ond un enghraifft o gydgynhyrchu yw hyn. Dyna un rhan o’r stori; y llall yw bod angen i bobl fod yn gysylltiedig â dylunio’r gwasanaethau. Dylai’r cyllid sydd gennym ar hyn o bryd i ariannu’r gwasanaeth iechyd fod yn ddigon – optimist ydw i – os byddwn yn defnyddio’r adnoddau’n well. Mae cydgynhyrchu’n sylfaenol. Trwy roi mwy o bŵer i bobl mewn perthynas â’u gofal, bydd eu canlyniadau’n well. Ond er mwyn gwneud y newid hwnnw, mae angen inni ei werthuso, mae angen sail dystiolaeth. Mae astudiaethau achos ar gydgynhyrchu ar gael (maent yn gweithio bron bob amser – maent yn bwerus iawn), ond i gael y dystiolaeth honno ynghyd ar draws y bwrdd, mae’n anodd iawn. Mae cydgynhyrchu o fathau amrywiol ar gael – ac mae pob math yn cael ei ddylunio i ddiwallu anghenion lleol – ac yn y bôn, mae’n ymwneud â phroblemau lleol a chanlyniadau lleol. Fel y cyfryw gall fod yn anodd tynnu hynny oll ynghyd ar gyfer un sail dystiolaeth. Mae angen inni ddangos, trwy ddull systematig, fod proses cydgynhyrchu’n llwyddo; er mwyn dangos y newid mewn grym. Sut felly gallwn fesur y newid mewn grym? Os gallwn gael hyd i ffordd o ystyried y grym er mwyn deall a yw cydgynhrychu wedi digwydd go iawn, gallwn ddechrau ac ystyried y broses o sut mae hynny’n digwydd a’r canlyniadau pan fydd yn digwydd. Yng Nghymru, mae’r ymrwymiad at gydgynhyrchu’n gyffredin iawn. Nid yw’r GIG yn gynaliadwy wrth ystyried y deinameg grym sy’n bodoli ar hyn o bryd, felly mae angen i hyn newid, ac mae angen gwerthuso’r newid. Mae cydgynhyrchu’n hanfodol er cynaliadwyedd y sector iechyd … ac mae gwerthuso’n allweddol i hynny.


I chi beth yw ystyr dangos tystiolaeth o drawsnewid?

Ten-minute “lightning talks” from practitioners, policy makers and researchers

Short presentations from different perspectives were offered as a stimulus for thinking about capturing, sharing and using evidence about social change. Each block of presentations was followed by a brief Q&A session.

Key points of note follow (not an exact transcript).

“Cyflwyniadau chwim” deg munud gan ymarferwyr, unigolion sy’n llunio polisi ac ymchwilwyr

Cynigiwyd cyflwyniadau byr o safbwyntiau gwahanol fel rhywbeth i ysgogi ystyried cofnodi, rhannu a defnyddio tystiolaeth am newid cymdeithasol. Dilynwyd pob cyflwyniad gan sesiwn Holi ac Ateb byr.

Gweler isod y prif bwyntiau (nid yw’n gofnod fanwl gywir).

What does evidencing transformation mean to you?

7


From the practice angle

Eleri Lloyd Mantell Gwynedd – Social Value Cymru

Social Value Cymru provides social value support, advice and consultancy services to third sector organisations across Gwynedd and beyond. We have a lot to tackle in terms of what the funders want us to provide as evidence. We need to show commissioners the value of Social Return on Investment (SRoI) and social value.

SRoI is important to show value for money; but we also want to move away from outputs as evidence, and towards outcomes. The funders just tend to want “bums-on-seats” numbers (outputs) – but we ask the question “so what?” (outcomes). We feel it’s important to collect the stories and to involve stakeholders, to understand what has changed and what matters to them the most. We are now at a stage where funders and commissioners are asking about outcomes – these are still predetermined outcomes, but we’re getting there! For our own work we continue to capture unintended outcomes and negative outcomes as these have value to the service users.

The organisations we work with have gathered a lot of evidence, but how do we move from that to effecting transformation? We are currently working with 30 organisations across North Wales to measure and manage their social value, focusing on internal accountability. The question is how can we use that data to create small changes, because this is what creates transformation for service users.

We know of some great community-based co-productive projects, that have been able to show that something is working, and yet haven’t continued to be funded – why is there a barrier to moving forwards?

O safbwynt ymarfer

Eleri Lloyd Mantell Gwynedd – Gwerth Cymdeithasol Cymru

Mae Gwerth Cymdeithasol Cymru yn cynnig cymorth ym maes gwerth cymdeithasol, cyngor a gwasanaethau ymgynghoriaeth i sefydliadau trydydd sector ar draws Gwynedd a thu hwnt. O safbwynt yr hyn y mae cyllidwyr am inni ei ddarparu fel tystiolaeth, mae gwaith mawr o’n blaenau. Mae angen inni ddangos gwerth Enillion Cymdeithasol ar Fuddsoddiad (SRoI) a gwerth cymdeithasol i gomisiynwyr.

Mae SRoI yn bwysig er mwyn dangos gwerth am arian; ond hefyd rydym yn awyddus i symud i ffwrdd o allbynnau fel tystiolaeth, a symud tuag at ganlyniadau. Mae cyllidwyr yn dueddol o eisiau gweld nifer “y sawl sy’n bresennol” (allbwn) – ond ein cwestiwn ni yw “beth am hynny?” (canlyniadau). Yn ein barn ni, mae’n bwysig casglu’r straeon a chynnwys rhanddeiliaid er mwyn deall beth sydd wedi newid a beth sydd pwysicaf iddyn nhw. Erbyn hyn, rydym wedi cyrraedd y pwynt lle mae cyllidwyr a chomisiynwyr yn gofyn am ganlyniadau – allbynnau a benderfynir ymlaen llaw yw’r rhain o hyd, ond ‘dan ni ar y ffordd! O safbwynt ein gwaith ni, rydym yn dal i gofnodi canlyniadau anfwriadol a chanlyniadau negyddol, oherwydd mae’r rhain o werth i ddefnyddwyr y gwasanaeth.

Casglwyd llawer o dystiolaeth gan y sefydliadau rydym yn gweithio â nhw, ond sut gallwn symud o hynny i sicrhau fod trawsnewid yn digwydd? Ar hyn o bryd rydym yn gweithio gyda 30 o sefydliadau ar draws Gogledd Cymru i fesur a rheoli eu gwerth cymdeithasol, gan ganolbwyntio ar atebolrwydd mewnol. Y cwestiwn yw: sut gallwn ddefnyddio’r data hwnnw i greu newidiadau bach, oherwydd dyna sy’n creu’r trawsnewid ar gyfer defnyddwyr y gwasanaeth.

Rydym yn ymwybodol o brosiectau cydgynhyrchiol gwych a seilir yn y gymuned,


It is resource intensive to gather evidence. How can we gather it in such a way that funders and commissioners are receptive to it? We need to be speaking the same language. As part of our project we are working with decision makers also to ensure that how we present the results is useful for both internal and external reasons.

sydd wedi gallu dangos bod rhywbeth yn llwyddo, ond sydd heb eu cyllido – pam, wrth symud ymlaen, bod y rhwystr yma’n bodoli?

Mae angen defnyddio llawer o adnoddau i gasglu tystiolaeth. Sut gallwn ei chasglu mewn ffordd fydd yn dderbyniol i gyllidwyr a chomisiynwyr? Mae angen inni siarad yr un iaith. Fel rhan o’n prosiect ni, rydym yn gweithio gydag unigolion sy’n gwneud penderfyniadau hefyd i sicrhau fod ein ffordd o gyflwyno’r canlyniadau’n ddefnyddiol o safbwynt rhesymau mewnol ac allanol.

Frances BeecherLlamau

Mae Llamau yn gweithio i ddileu digartrefedd ymhlith pobl ifanc a menywod ar draws Cymru. Sefydliad a seilir ar werthoedd ydym. Dros y blynyddoedd rydym wedi buddsoddi’n sylweddol yn y broses o werthuso ein gwaith: beth sydd ddim yn gweithio? Beth arall fedrwn ei wneud? Sut gallwn wneud hyn? Rydym yn gwerthfawrogi profiad yr arbenigwyr, ac rydym yn gweithio gyda llawer o bobl a fethwyd gan wasanaethau statudol.

Enghraifft o brosiect: Astudiaeth o Brofiadau Pobl Ifanc Ddigartref

Nodwyd fod cyfran helaeth o bobl ifanc yn cael trafferthion gyda gweithwyr proffesiynol mewn perthynas ag iechyd meddwl: roeddynt naill ai’n derbyn diagnosis deuol, neu yn cael gwybod ei fod yn rhy gynnar (ar yr oedran dan sylw) i roi diagnosis. Roeddynt yn awyddus i ddeall eu hiechyd meddwl eu hunain, ond doedd dim astudiaeth ar y pwnc yn y DU, felly datblygwyd y prosiect hwn.

Mewn gwirionedd, datblygodd y bobl ifanc eu gwasanaethau cymorth eu hunain. Buon nhw’n trafod mewn ffordd agored ac onest mewn sesiynau grŵp a sesiynau unigol gyda gweithwyr cymorth. Roedd y bobl ifanc yn gallu magu dealltwriaeth o’u hiechyd meddwl a’u trothwyon eu hunain – maent yn gwybod y bydd argyfyngau’n dal i ddigwydd, ond maent yn

Frances BeecherLlamau

Llamau works to end homelessness for young people and women across Wales. We are a values led organisation. Over the years we have invested heavily in evaluating what we do: what’s not working? what more could we do? how could we do this? We value the experts by experience, and we work a lot with people where statutory services have failed them.

Project showcase: Study of the Experiences of Young Homeless People

It was identified that a large proportion of young people were having difficulties with professionals when it came to mental health: either they were receiving a dual diagnosis, or they were told it was too early (at their age) to make a diagnosis. They wanted to understand their own mental health, but there was no UK study on this, so we developed the project.

The young people effectively developed their own support services. They talked openly and honestly in a group and one-to-one with their support workers. Young people were able to develop an understanding of their own mental health and trigger points – they know that the crises will still happen, but they are developing their personal resilience. They understand that


they can’t change what’s happening, but they can change how they deal with it. Over a 4 year period we found improvements in mental health outcomes, reduction in A&E admissions, and more appropriate use of their GPs.

We developed a mental health and wellbeing screening tool, and following discussions with the Cabinet Secretary for Health at the time, we offered it out to other homeless organisations. The tool enabled staff to make early identifications of mental health issues, this led to improved and informed referrals, and in some instances the fast-tracking of urgent cases.

We led on the formation of the End Youth Homelessness Cymru Partnership (EYHC): we aim to end youth homelessness in Wales over the next 10 years. Homeless young people are not a problem to be solved, but need the opportunity to change. We value the experts by experience, those receiving services. They will likely be frustrated by the system: we need to listen to the ways they want to get involved. Involvement and participation throughout the whole organisation: this encapsulates co-production.

meithrin cydnerthedd personol. Maent yn deall nad yw’n bosib newid yr hyn sy’n digwydd, ond maent yn gallu newid eu ffordd o ddelio ag ef. Dros gyfnod o 4 blynedd, gwelwyd gwelliannau mewn canlyniadau iechyd meddwl, lleihad yn y nifer a dderbyniwyd i’r Adran Brys ac Argyfwng, a defnydd mwy priodol o Feddygon Teulu.

Datblygwyd arf sgrinio ar gyfer iechyd meddwl a llesiant, ac yn dilyn trafodaethau gydag Ysgrifennydd y Cabinet dros Iechyd ar y pryd, cynigiwyd hyn i sefydliadau eraill ym maes digartrefedd. Roedd yr arf yn golygu fod staff yn gallu adnabod problemau iechyd meddwl yn gynnar, ac arweiniodd hyn at well atgyfeiriadau ac atgyfeiriadau mwy deallus, ac mewn rhai achosion, cafodd achosion brys eu rhoi ar drywydd cyflym.

Buom yn arwain ar sefydlu Partneriaeth Dileu Digartrefedd ymhlith Pobl Ifanc Cymru (EYHC): ein nod yw dileu digartrefedd ymhlith pobl ifanc Cymru dros y 10 mlynedd nesaf. Nid problem y mae angen ei datrys yw pobl ifanc ddigartref, ond mae angen cyfle i newid. Rydym yn gwerthfawrogi profiad yr arbenigwyr, y sawl sy’n derbyn gwasanaethau. Mae’n debyg y bydd y system yn achosi rhwystredigaeth iddynt: mae angen inni wrando ar y ffyrdd maent yn am gyfrannu. Mae cyfrannu a chyfranogiad trwy gydol y sefydliad cyfan yn crynhoi cydgynhyrchu.

Sesiwn Holi ac AtebOes gennych ddata cyfanredol yn ôl cefndir ethnig?Frances Beecher (FB): Oes, mae’r sail dystiolaeth yn golygu y gallwn olrhain cynnydd pob person ifanc (a menywod) a chynnydd yn erbyn 7 deilliant pob prosiect a maes unigol – beth yw’r cynnydd a beth yw’r anawsterau.

Beth sy’n cyfrif fel tystiolaeth? Pa dystiolaeth sy’n cyfrif?FB: Mae’n rhaid i’r dystiolaeth fod yn briodol ar gyfer y prosiect, a’r hyn rydych yn ceisio ei gyflawni. Mae cyllidwyr am wybod beth sydd wedi newid – nid o reidrwydd sut y

Q&A and discussionDo you have aggregated data by ethnic background?Frances Beecher (FB): Yes, our evidence base allows us to track the process of all young people (and women) and progression against 7 outcomes of each individual project and area – what is the progression and what are the difficulties.

What counts as evidence? What evidence counts?FB: Evidencing has to be appropriate for the


project and what you’re trying to achieve. The funders are interested in knowing what has changed – not necessarily how this is done. For example with family mediation, the funders want to know is that young person safely back with the family? We are robust in our project design – this is what we are intending to do, this is what we’ve done, this is the academic verification. What is frustrating is that each local authority will want slightly difference evidence and this can be time consuming to produce.

From your points of view, do you think there’s a need for different sorts of evidence?Eleri Lloyd (EL): Internal verification is a common problem in the third sector, especially with getting funding from different places. It is resource intensive. Stakeholders are the core/heart of the evidence, backed up by professionals e.g. social services staff.

One of the difficult things to tackle is how do we evidence things that haven’t happened? For example, showing that the intervention helped to reduce the budget.EL: We are demonstrating, not proving, savings over a long period of time.

How did you manage to talk with BCUHB (Betsi Cadwaladr University Health Board) to accept that as data?EL: There is still a ways to go, but we are working with the local contracts officer and two local directors. They were interested to know the qualitative details, and were asking to see the report, which they were feeding into the Regional Partnership Board (RPB). It’s a slow journey but we are getting there. Patient experience should be as important as clinical. Within healthcare we need to shift away from high cost / low value investments – to upstream, more community-based initiatives.

digwyddodd hyn. Er enghraifft, o ran cyfryngu gyda theuluoedd, mae cyllidwyr am wybod a yw’r person ifanc yn ôl yn ddiogel gyda’r teulu? Mae’n rhaid bod yn gadarn o safbwynt dylunio prosiect – dyma’r hyn ‘dan ni’n bwriadu ei wneud, dyma wnaethon ni, a dyma’r dystiolaeth i’w ddilysu o safbwynt academaidd. Yr hyn sy’n ein rhwystro, yw y bydd pob awdurdod lleol am weld tystiolaeth ychydig yn wahanol, a gall hyn oll gymryd amser i’w gynhyrchu.

O’ch safbwynt chi, oes angen gwahanol fathau o dystiolaeth?Eleri Lloyd (EL): Mae dilysiad mewnol yn broblem gyffredin yn y trydydd sector, yn enwedig o ran cael cyllid o leoliadau gwahanol. Mae’n cymryd llawer iawn o adnoddau. Rhanddeiliaid sydd wrth wraidd/calon y dystiolaeth, ac ategir hyn gan weithwyr proffesiynol e.e. staff gwasanaethau cymdeithasol.

Un o’r pethau anodd, yw mynd i’r afael â sut mae dangos tystiolaeth o bethau sydd heb ddigwydd? Er enghraifft, dangos fod ymyrraeth wedi helpu lleihau’r gyllideb.EL: Rydym yn dangos, yn hytrach na phrofi, arbedion dros gyfnod hir.

Sut wnaethoch chi lwyddo i siarad gyda BCUHB (Bwrdd Iechyd Prifysgol Betsi Cadwaladr) i’w dderbyn fel data?EL: Mae gwaith i’w wneud o hyd, ond rydym yn gweithio gyda’r swyddog cytundebau lleol a dau gyfarwyddwr lleol. Roeddynt yn awyddus i wybod y manylion ansoddol, ac yn gofyn am weld yr adroddiad, oedd yn cael ei fwydo i’r Bwrdd Partneriaeth Rhanbarthol (RPB). Mae’n broses hir, ond rydym yn gwneud cynnydd. Dylai profiad y claf fod yr un mor bwysig â’r profiad clinigol. Ym maes gofal iechyd mae angen inni symud i ffwrdd o fuddsoddiadau cost uchel / gwerth isel – tuag at fwy o gynlluniau cynnar a seilir yn y gymuned er mwyn osgoi problemau rhag datblygu.


From the policy angle

(Apology from Sarah Lowe, Welsh Government Programme to Maximise the Use of Existing Data)

Rebecca CoxWell-being and Improvement Policy Manager, Welsh Government

The Welsh Government is conducting an evaluation of the Social Services & Wellbeing (Wales) Act 2014. The Act aims to transform the way that social care is delivered in Wales:• Supportingpeopletobeattheheartoftheir

own care • Leveragingpartnershipworkingand

integration of services

We really want to know if this is working – are these positive outcomes happening on the ground? The evaluation will happen in phases:• MonitorthepoliciesundertheAct• Nationaloutcomesframework• LocalAuthorityperformancemonitoringdata• Independentlong-termone-offevaluation–

a stakeholder group is helping to shape this evaluation.

There is a real emphasis within the development of the Act that we take the stakeholders on this journey with us. Two strands to the development: strategic and leadership level; service user and practitioner level.

The stakeholder evaluation group includes representatives from Local Health Boards, Local Authorities, members of the public and Social Care Wales – we have asked the group to consider the scope of this evaluation: how are we going to demonstrate if this is working or not? How do we show that this is working? We want this evaluation to be independent and comprehensive (commissioned over 3 years and carried out by an external contractor). This is the first time we’ve taken this approach to

O safbwynt polisi

(Ymddiheuriad gan Sarah Lowe, Rhaglen Llywodraeth Cymru – Gwneud Gwell Defnydd o Ddata Presennol)

Rebecca CoxRheolwr Llesiant a Gwella Polisi, Llywodraeth Cymru

Mae Llywodraeth Cymru’n cynnal gwerthusiad o Ddeddf Gwasanaethau Cymdeithasol a Llesiant (Cymru) 2014. Nod y Ddeddf yw trawsnewid y ffordd o gyflenwi gofal cymdeithasol yng Nghymru:• Cefnogipoblifodwrthgaloneugofaleu

hunain• Manteisioarweithiomewnpartneriaethac

integreiddio gwasanaethau

Rydym yn awyddus iawn i wybod a yw hyn yn gweithio – oes deilliannau positif yn digwydd ar lawr gwlad? Bydd y gwerthusiad yn digwydd fesul cam:• Monitro’rpolisïaudanyDdeddf• Fframwaithdeilliannaucenedlaethol• DatamonitroperfformiadAwdurdodauLleol• Gwerthusiadannibynnolhirdymorunigol

– mae grŵp rhanddeiliaid yn helpu llunio’r gwerthusiad hwn.

Mae pwyslais gwirioneddol fel rhan o’r gwaith o ddatblygu’r Ddeddf bod rhanddeiliaid yn dod ar y daith gyda ni. Mae dau faes i’w datblygu: lefel strategol ac arwain; lefel defnyddwyr gwasanaethau ac ymarferwyr.

Mae’r grŵp rhanddeiliaid yn cynnwys cynrychiolwyr Byrddau Iechyd Lleol, Awdurdodau Lleol, aelodau’r cyhoedd a Gofal Cymdeithasol Cymru – gofynnwyd i’r grŵp ystyried cwmpas y gwerthusiad hwn: sut gallwn ddangos a yw’n gweithio ai peidio? Sut gallwn ddangos ei fod yn gweithio? Rydym yn awyddus i’r gwerthusiad fod yn annibynnol ac yn gynhwysfawr (fe’i gomisiynir dros gyfnod o 3 blynedd, ac fe’i cynhelir gan gontractwr allanol). Dyma’r tro cyntaf inni arfer y dull hwn er mwyn cynnal gwerthusiad – ac rydym


evaluation – and it’s proving informative to have those groups working together.

Q&A and discussionWhat is the paradigm that’s informing the thinking? An approach to evaluation that’s congruent with the spirit of the Act?Rebecca Cox (RC): We aim to learn more about the implementation of the act: how it’s been implemented locally, regionally and nationally. And also about the impact of the Act: for individuals and for Local Authorities. There is an exhaustive evaluation planned – which is well funded for 3 years.

What about Measuring the Mountain?RC: Measuring the Mountain is part of this work; a complementary evaluation process in which we will be gathering stories about people’s experience of their care, using Sensemaker and a Citizens’ Jury. This is a different strand of the same formal evaluation, that will enable us to capture and draw out the impact/value from people’s stories.

How do practitioners actually understand what difference they make? How far do the changes occur? Does the home care worker perceive they’re doing anything different?RC: That is a question that came through from the stakeholder group – a practitioner subgroup has been developed to address these questions.

Has the stakeholder group had any comments on the power shift dynamic?RC: We are keen to learn how we manage and measure that. The shift should be wider than what we currently know.

A discussion followed regarding outsourcing evaluation to an external company: being independent you can lack the capacity to understand the circumstances, we need to be careful not to outsource judgement.

yn darganfod ei fod yn ddefnyddiol iawn cael y grwpiau hyn i gydweithio.

Sesiwn Holi ac AtebAr ba fodel y seilir y meddylfryd? Agwedd tuag at werthuso sy’n gyson ag ysbryd y Ddeddf?Rebecca Cox (RC): Ein nod yw dysgu mwy am weithredu’r ddeddf; sut mae’n cael ei weithredu ar lefel leol, ranbarthol a chenedlaethol. Hefyd beth yw effaith y Ddeddf ar gyfer: unigolion ac Awdurdodau Lleol. Y bwriad yw cynnal gwerthusiad trylwyr – a gyllidir yn briodol ar gyfer 3 blynedd.

Beth am Fesur y Mynydd?RC: Mae Mesur y Mynydd yn rhan o’r gwaith yma; proses gwerthuso cyflenwol pan fyddwn yn casglu straeon am brofiad pobl o ran gofal, trwy ddefnyddio Sensemaker a Rheithgor Dinasyddion. Mae’n faes gwahanol i’r gwerthusiad ffurfiol, fydd yn ein galluogi i gofnodi ac ystyried effaith/gwerth straeon pobl.

Sut mae ymarferwyr yn deall pa wahaniaeth fydd yn cael ei wneud go iawn? Pa mor bell y mae’r newidiadau’n digwydd? A yw’r gweithiwr sy’n rhoi gofal cartref o’r farn ei fod yn gwneud unrhyw beth yn wahanol?RC: Daeth y cwestiwn hwnnw allan gan y grŵp rhanddeiliaid – sefydlwyd is-grŵp ymarferwyr er mwyn delio gyda’r cwestiynau hyn.

Ydy’r grŵp rhanddeiliaid wedi derbyn unrhyw sylwadau ar ddeinameg y newid mewn grym?RC: Rydym yn awyddus i ddysgu sut i reoli a mesur hynny. Dylai’r newid fod yn ehangach na’r hyn rydym yn ymwybodol ohono ar hyn o bryd.

Wedyn cafwyd trafodaeth ynghylch dyfarnu contract gwerthuso i gwmni allanol: trwy fod yn annibynnol, hwyrach na fydd y capasiti i ddeall yr amgylchiadau’n bresennol, mae angen bod yn ofalus i beidio rhoi’r dyfarniad i gwmni allanol.


O safbwynt ymchwil

Dan VenablesYmchwil ym maes Gofal Cymdeithasol a Chyfraniad y Cyhoedd, Ymchwil Iechyd a Gofal Cymru

Er mwyn sicrhau llais priodol ar ran y cyhoedd ym mhob maes a lefel o fewn Ymchwil Iechyd a Gofal Cymru, mae’r Bwrdd Cyflawni Cynnwys y Cyhoedd yn rhoi cyngor inni ar sut i sicrhau fod cyfraniad y cyhoedd yn gweithio’n effeithiol ym mhopeth a wnawn. Ond beth yn union mae cyfraniad da gan y cyhoedd yn ei olygu o safbwynt ymchwil? Rydym wedi bod yn datblygu Safonau Cyhoeddus ar gyfer cynnwys y Cyhoedd (gyda Lloegr a’r Alban yn 2017), a lansiwyd yn y gwanwyn:• Cyfleoeddcynhwysol• Cydweithio• Sicrhaubodcymorthacaddysgueffeithiolar

gael i bobl• Ymrwymoiddulliaucyfathrebuclir,rheolaidd• Ymrwymoi’rgwahaniaethygallycyhoedd

ei wneud• Sicrhauycaiffllaisycyhoeddeiglywed,ei

werthfawrogi a’i gynnwys yn y broses o wneud penderfyniadau (o’r lefel isaf i’r uchaf).

Rydym yn awyddus i’r safonau hyn fod yn uchelgeisiol – h.y. y disgwylir i holl ymchwilwyr ym maes gofal cymdeithasol ac iechyd ar draws Cymru’n dyheu am fodloni’r Safonau. Mae angen inni sicrhau fod cyfleoedd cyfrannu’n arwyddocaol, a dros y 12 mis nesaf, byddwn yn gweithio gyda’r cyhoedd er mwyn cytuno ar ddangosyddion cyfraniad arwyddocaol gan y cyhoedd.

Derbyniais bapur diddorol yn ddiweddar; mae’n achos meddwl diddorol, yng nghyd-destun sut i ddangos tystiolaeth o newid. Dangosodd yr astudiaeth nad oedd cyflwyno dull o weithio a seilir ar hawliau dynol mewn perthynas â gofal mewn cartrefi gofal ar gyfer pobl gyda dementia’n gwella Ansawdd Bywyd trigolion y cartref gofal dros gyfnod o 4 mis. Y risg yw ein bod mewn perygl o ddod i’r casgliad nad

From the research angle

Dan VenablesSocial Care Research & Public Involvement, Health and Care Research Wales

To ensure a meaningful public voice in all areas and levels within Health and Care Research Wales, the Public Involvement Delivery Board advise us on how to ensure public involvement works effectively in everything that we do. But what does good public involvement in research actually look like? We have been developing National Standards for Public Involvement (with England and Scotland in 2017), launched in the spring:• Inclusiveopportunities• Workingtogether• Ensuringthereiseffectivesupportand

learning available to people• Commitmenttoclearregularcommunications• Commitmenttothedifferentthepublic

can make• Thatpublicvoiceisheard,valuedand

included in decision making (from the lowest to the highest levels)

We want these standards to be aspirational – i.e. there is an expectation that all social care and health researchers across Wales will aspire to meeting the Standards. We need to ensure that involvement opportunities are meaningful, and over the next 12 months we’re going to be working with members of the public to agree what the indicators of meaningful public involvement will be.

An interesting paper came across my desk in the last couple of weeks; it’s interesting food for thought in the context of how to evidence change. The study found that introducing a human rights-based approach to care in care homes for people with dementia did not improve Quality of Life for care home residents over a


yw gofal a seilir ar hawliau dynol yn arwain at well ofal. Fodd bynnag, mae’r astudiaeth hefyd yn nodi fod ansawdd cynlluniau gofal wedi gwella, a llai o ddibyniaeth ar synnwyr cyffredin wrth wneud penderfyniadau, mwy o gyfeiriad penodol at hawliau dynol, a mwy o gyfeiriadau at bethau megis tegwch, parch, ansawdd, urddas a hunanlywodraeth. Buaswn yn dadlau nad yw cysyniad cyffredin a gweddol sefydlog megis Ansawdd Bywyd yn debygol o newid o ganlyniad i’r ymyrraeth hon, yn enwedig dros gyfnod byr. Buaswn yn dadlau y gall gofal a seilir ar hawliau dynol lwyddo mewn agweddau megis lleihau’r risg o gam-drin ac esgeulustod, ond byddai angen cyfnod hirach na 4 mis i ddod yn amlwg. Fy mhwynt yw, wrth fesur trawsnewid, bod yn rhaid bod yn ofalus i fesur y peth iawn, ac mae’n rhaid caniatáu amser iddo newid. Nid wyf yn sicr fod yr un o’r ddau wedi newid yn yr astudiaeth hon.

Wrth ddangos tystiolaeth o drawsnewid:• Maeangencynnwysycyhoedd(aphobl

briodol o blith y cyhoedd).• Mae’nrhaiddewismesurnewidarwyddocaol

sy’n agored i newid dros gyfnod yr amser rydych yn ei fesur.

Fiona VerityCyfarwyddwr, Ysgol Ymchwil Gofal Cymdeithasol Cymru

Defnyddiodd Fiona thema “tân gwersyll” fel strwythur ar gyfer ei chyflwyniad, ac acronym CAMP:

Contestation (Gwrth-haeru)/Newid

AMnesia (Colli cof)

Pwyntiau o’r gorffennol

Gwrth-haeru: Dros amser, defnyddiwyd llawer o ffyrdd i ddisgrifio cyfranogiad; cyfranogiad dinasyddion, cyfranogiad a chyfraniad y gymuned, ac yn ddiweddarach, cyfraniad

4-month period. The conclusion we’re at risk of coming to is that human rights based care does not lead to improved care. However the study also reports there was improved quality of care plans, less reliance on common sense in decision making, increased explicit reference to human rights, and more references to things like fairness, respect, quality, dignity and autonomy. I would argue that a broad and relatively stable concept like Quality of Life is not likely to change as a result of this intervention, especially over this short timescale. I would argue that human-rights based care may succeed in things like lowering the risks of abuse and neglect, but this would need a longer period of time than 4 months to become apparent. The point I’m making is that in measuring transformation, you have to be careful that you’re measuring the right thing, and you have to give it time to change. I’m not sure either has happened in this study.

In evidencing transformation:• Youneedtoinvolvethepublic(andthe

appropriate people from the public).• Youhavetochooseameaningfulmeasureof

change which is amenable to change over the period of time that you are measuring.

Fiona Verity Director, Wales School of Social Care Research

Fiona used the “campfire” theme to structure her talk and the acronym CAMP:

Contestation/Change

AMnesia

Points from the past

Contestation: Over the course of time there have been many ways that participation has been described; citizen participation, community participation and involvement,


and later, consumer involvement. How these practices and ideas are defined and labeled is very important. There are lessons from history (i.e. Sherry Arnstein’s ladder of participation – as a ladder of power and Rittel and Webber’s notion of “Wicked Social Problems”). In the social dimension of life, there is contestation about social problems/issues and what is to be done. There is a complexity there.

AMnesia and in particular “Social Amnesia”(In reference to Jacoby Russell ‘Social Amnesia, A critique of conformist psychology from Adler to Laing’ Boston:Beacon Press).

There is an evidence base already, there are tools already. Let’s not forget our own ideas. Let’s remember – and remember to remember – things from other periods that are very important.

Points from the past:• KurtLewinandthePlannedApproachto

Change: a spiral approach to transformation and development. (Kurt Lewin studied how you understand conflict and change, and developed action research).

• PaoloFreire(Brazil)andthePedagogyoftheOppressed: worked with people who couldn’t read or write; worked on how to help people understand and express the world around them in terms of power, dynamics, what the world means and structures. Cultural circles as a method of getting people together and talk. In circles everyone has an equal part to play. Evaluation is not linear. It is a complex world.

Q&A and discussionDo you think the issue with the study Dan Venables was talking about, is using a RCT (randomised control trial) approach in social change (because that’s seen as scientific)? Dan Venables and Fiona Verity (DV and FV): RCT isn’t always the gold standard – it depends on what you’re trying to measure.

defnyddwyr. Mae sut y caiff yr arferion hyn eu diffinio a’u labelu’n bwysig iawn. Gellir dysgu gwersi o hanes (h.y. ysgol cyfranogiad Sherry Arnstein – fel ysgol grym a chysyniad Rittel a Webber o “Broblemau Cymdeithasol Drwg”). O ran agwedd gymdeithasol ar fywyd, mae gwrth-haeru ynghylch problemau/materion trafod cymdeithasol a’r hyn y dylid ei wneud. Sydd yn beth cymhleth.

Amnesia ac yn benodol “Amnesia Cymdeithasol” (Wrth gyfeirio at ‘Social Amnesia, A critique of conformist psychology from Adler to Laing‘ gan Jacoby Russell Boston:Beacon Press).

Mae sail dystiolaeth yn bodoli eisoes, mae arfau ar gael eisoes. Ac ni ddylid anghofio ein syniadau ein hunain. Gadewch inni gofio – a chofio cofio – pethau o gyfnodau eraill sy’n bwysig iawn.

Pwyntiau o’r gorffennol:• KurtLewinathePlannedApproachto

Change: agwedd sbiral tuag at drawsnewid a datblygu. (Bu Kurt Lewin yn astudio sut i ddeall gwrthdaro a newid, a datblygodd ymchwil weithredu).

• PaoloFreire(Brazil)aPedagogyoftheOppressed: bu’n gweithio gyda phobl oedd yn methu darllen neu ysgrifennu; bu’n gweithio ar sut i helpu pobl deall a chyfleu’r byd o’u cwmpas o ran grym, deinameg, beth mae’r byd yn ei olygu a strwythurau. Cylchoedd diwylliannol fel dull i gael pobl ynghyd a siarad. Mewn cylchoedd, mae gan bawb ran gyfartal i’w chwarae. Nid peth llinellol yw gwerthuso. Mae’n fyd cymhleth.

Sesiwn Holi ac AtebYn eich barn chi, ai defnyddio dull RCT (hapdreail wedi’i rheoli) mewn newid cymdeithasol oedd y broblem gydag astudiaeth Dan Venables (oherwydd ystyrir fod hyn yn wyddonol)?

Dan Venables a Fiona Verity (DV a FV): Nid safon aur yw RCT bob tro – mae’n dibynnu ar yr hyn rydych yn ceisio ei fesur. Wrth weithio


gyda chymunedau, mae’r dull amlddisgyblaethol yn golygu y gellir creu’r hyn sy’n bwysig iddyn nhw (agwedd ffenomenolegol). Rydym yn ceisio gwneud synnwyr o fywydau pobl – sy’n gallu bod yn flêr!

Fel rhywun sy’n cyllido ymchwil – sut olwg sydd ar gynnig/darn o waith Ymchwil Weithredu dda?DV a FV: Nid ydym yn disgwyl i ymchwil fethu – ond mewn gwirionedd, dylai fethu hanner yr amser, hynny yw, dylai fethu profi’r hyn rydym yn ceisio ei brofi/dadbrofi. Nid yw ymyraethau’n llwyddo 100% yr amser. Ond mae rhaglenni’n ceisio profi i gyllidwyr eu bod nhw wedi gweithio. Hefyd, gall cyllidwyr ddiffinio’r cwestiwn (sy’n codi’r cwestiwn wedyn, ai dyna’r cwestiwn cywir? Ac os na, sut bydd yr ymchwil yn profi hynny?) Mae angen trafodaeth onest ar yr hyn sy’n methu yn ogystal â’r hyn sy’n llwyddo.

Os na chaiff eich rhagdybiaeth ei phrofi, mae’n anoddach cyhoeddi ac yn anoddach ei chyllido’r tro nesaf. Mae’r broses adolygu gan gymheiriaid fod i wella ansawdd, ond mae’n golygu trwy fod yn arbrofol, rydych yn ddibynnol ar arglwyddiaeth y sefydliad. Nid yw Ymchwil Weithredu’n derbyn cyllid oherwydd nid yw’r panel yn ei deall. Fel cymheiriaid, os maent yn rhoi cyllid i Ymchwil Weithredu, hwyrach y bydd panelwyr yn meddwl y byddai llai o drylwyredd wyddonol ganddyn nhw. Rydym yn cynhyrchu’r hyn y gellir ei gyfrif yn unig.

Mae cynllun SHARP (Rhaglen Ymchwil Weithredu Gynaliadwy ar Iechyd) sef Ymchwil Weithredol a gomisiynwyd gan Lywodraeth Cymru.

When working with communities, the multi-disciplinary approach means you can generate what is important to them (phenomenological approach). We are trying to make sense of people’s lives – which are messy!

As a research funder – what does a good Action Research research proposal/piece of work look like?DV and FV: We do not expect research to fail – but actually it should fail 50% of the time, as in, it should fail to prove what we are aiming to prove/disprove. Interventions don’t work 100% of the time. But, programmes try to prove to the funders that they have worked. Moreover, the question can be defined by the funders (which raises the question, is it the right question? And if not, how will the research prove it?) We need honest discourse on what doesn’t work as well as what works.

When your hypothesis is unproven, it’s harder to publish and harder to fund next time. The peer review process is meant to improve quality but it does mean that being experimental you’re down to the hegemony of the establishment. Action Research doesn’t get funding because the panel don’t understand it. As peers, if they let Action Research in the door the panelists may think that there would be less scientific rigour from them. We only produce what can be counted.

There is a SHARP initiative (Sustainable Health Action Research Programme) which is Action Research commissioned by Welsh Government.


Sut gallwn ddangos tystiolaeth o drawsnewid?

Agenda setting and discussions around the theme with the subtext ‘in a useful, constructive way that produces positive change’

This part of the event was deliberately non-prescriptive and drew on the experience in the room to surface topics for exploration. The group collectively set the agenda for the afternoon’s discussions in relation to the overarching question of evidencing transformation, by individually raising questions, thoughts and provocations. These fell broadly into 4 themes:

A. Tools and approaches in practiceB. Every day with everyone (inclusivity and

diversity)C. What’s the purpose and who is it for?D. What counts as evidence?

Attendees chose a group / theme and self-recorded main points and outcomes of the discussion. These are presented below along with the initial prompts raised when convening the theme. Some movement happened between groups partway through the discussions.

Gosod agenda a thrafodaethau ar y thema gyda’r is-deitl ‘mewn ffordd ddefnyddiol, adeiladol sy’n arwain at newid cadarnhaol’

Yn fwriadol, roedd rhan yma’r digwyddiad yn anghyfarwyddol a defnyddiodd brofiad y sawl yn yr ystafell er mwyn pennu pynciau i’w trafod. Ar y cyd, gosodwyd agenda trafodaethau’r prynhawn gan y grŵp mewn perthynas â phrif gwestiwn o ddangos tystiolaeth o drawsnewid, trwy godi cwestiynau, sylwadau a phryfociadau unigol. Yn fras, roeddynt yn rhannu i 4 thema:

A. Arfau a dulliau ymarferB. Bob dydd gyda phawb (cynwysoldeb ac

amrywiaeth)C. Beth yw’r pwrpas ac ar gyfer pwy mae o?Ch. Beth sy’n cyfrif fel tystiolaeth?

Roedd y sawl oedd yn bresennol wedi dewis grŵp / thema a chofnodwyd prif bwyntiau a deilliannau’r drafodaeth gan y grwpiau unigol. Gweler y rhain isod ynghyd â’r cwestiynau cychwynnol wrth ddelio gyda’r thema. Bu rhywfaint o symud rhwng grwpiau, yn ystod y trafodaethau.

How do we evidence transformation?



Tools and approaches in practice

In this conversation: Rachel Wolfendale, Rebecca Cicero, Paul Myres, Usha Ladwa-Thomas, Amanda Paton, Mike Corcoran

Prompts

Arfau a dulliau ymarfer

Yn y sgwrs yma roedd: Rachel Wolfendale, Rebecca Cicero, Paul Myres, Usha Ladwa-Thomas, Amanda Paton, Mike Corcoran

Cwestiynau cychwynnol

Brave approaches to multi-disciplinary evaluation, e.g. Action Learning, Critical Change Methodology, Community Dialogue

Agweddau dewr tuag at werthuso amlddisgyblaethol, e.e. Dysgu Gweithredol, Methodoleg Newid Critigol, Deialog Cymunedau

How do we measure what matters to me and whether interventions improve it?

Sut gallwn fesur yr hyn sy’n bwysig imi ac a fydd ymyraethau’n ei wella?

How do we encourage creative experimentation of methods?

Sut gallwn annog arbrofi creadigol gyda dulliau?

Culture of research in service delivery.

Diwylliant ymchwil o ran cyflenwi gwasanaethau.

Learning from international good practice / approaches.

Dysgu o arferion / dulliau arfer da rhyngwladol.

Influence of good leadership in creating change.

Dylanwad arweinyddiaeth dda ar greu newid.

Do we need to avoid “measurement” – involving dialogue – becoming an intervention? Does it matter? If yes, how do we avoid that?

Oes angen osgoi “mesur” – sy’n cynnwys deialog – rhag dod yn ymyrraeth? A yw hyn yn bwysig? Os ydy, sut gallwn osgoi hynny?


Main points of the conversation• Anytoolsorapproachesneedtoexplain

what they are, what they can be used for (as well as how they can be used), to decide if they’re the right thing to do. Think flowcharts (yes/no process).

• Differenttoolswillworkfordifferent people/purposes.

• Storycollectiontoolsneedtobemorewidelyknown about – but training is expensive.

• Beforepeopletryandpickupatoolkit,practically there could be someone trained and appointed to guide them through – or more of a “don’t worry about these 90 tools that won’t work for you, take a look at these 10”.

• Resourcesarescatteredaround–canwedoit in a more cohesive way?

• Weneedtodobetteratlinkingthinkersanddoers, both within organisations and between organisations.

• Weneedtobebetterabletocollectivelylearn about barriers to success and integrate them into any guidance:

•Whatabouttheimpactofpersonalityofdata collectors or evaluators?

•Weneedtoknowaboutwhatreallyworked and what didn’t – this often isn’t in the report as the report is for generally for funders and is skewed in favour of reporting only the positive results.

• Powershifting=knowledgesharing.• Wewanttoknowifaninterventionhasmade

a difference: how do we define important difference – what can we learn for other people?

Prif bwyntiau’r sgwrs• Unrhywarfauneuddulliauymaeangeneu

hegluro, ar gyfer beth y gellir eu defnyddio (yn ogystal â sut y gellir eu defnyddio), i benderfynu os taw dyna’r peth iawn i’w wneud. Ystyried siart lifiau (proses ie/na).

• Byddarfaugwahanolyngweithioargyferpobl/dibenion gwahanol.

• Maeangenrhoimwyogyhoeddusrwyddiarfau casglu straeon – ond mae’r hyfforddiant yn ddrud.

• Cyniboblarbrofigydagachasglupecyncymorth, o safbwynt ymarferol, gellir hyfforddi a phenodi rhywun i’w tywys drwyddo – neu agwedd “peidiwch â phoeni am y 90 o arfau fydd ddim yn gweithio ichi, ond cymerwch gip ar y 10 yma”.

• Dosbarthuadnoddau–gallwnniwneudhynmewn ffordd fwy cyd-gysylltiedig?

• Maeangeninnigreugwellcysylltiadaurhwngyr unigolion sy’n meddwl a’r bobl sy’n gwneud, o fewn sefydliadau a rhwng sefydliadau.

• Maeangeninnigyd-ddysgu’nwellynghylchrhwystrau i lwyddiant a’u hintegreiddio i unrhyw ganllawiau:

•Bethameffaithpersonoliaethunigolionsy’n casglu neu’n gwerthuso data?

•Maeangeninniwybodbethoeddwedigwirioneddol weithio, a beth sydd heb lwyddo – yn aml, nid yw hyn yn rhan o’r adroddiad, oherwydd fel arfer anelir yr adroddiad at gyllidwyr ac mae’n cael ei lunio er mwyn adrodd canlyniadau cadarnhaol yn unig.

• Symudgrym=rhannugwybodaeth.• Rydymynawyddusiwybodaywymyrraeth

wedi gwneud gwahaniaeth: sut gallwn ddiffinio gwahaniaeth pwysig – beth allwn ei ddysgu ar gyfer pobl eraill?


Sylwadau ar ddiwylliant:• Cyfaddefpanfyddrhywbethynmyndo’ile;

hyd yma nid ydym yn derbyn herio eraill yn gyffredinol.

• Maeangenymrymusostaffigyflawni’rgwaith– mae angen ymrwymiad hierarchaidd (arweinyddiaeth dda o ran newid)

• Osgoirisgyneffeithioareffeithiolrwyddygwerthuso. Mae angen llai o sôn am “fethu” a mwy ynghylch “addysgu”.

• Cydnabodacheisiomyndi’rafaelâsbardunymchwil gwleidyddol a chyllido.

• Ymmaesiechyd,diben“IawnyTroCyntaf”yw cael diagnosis a thriniaeth gywir ar gyfer claf y tro cyntaf – nid yw’n caniatáu camgymeriadau a dysgu/datblygu.

• Maeangenrhywleinnifyndfelymarferydd–beth gallaf ei ddefnyddio?

• Bethyw’rsafleoeddpoblogaiddargyferpoblnad ydynt yn arbenigwyr? Cael unigolion y gallwn siarad â nhw – gallu sgwrsio, gofyn cwestiynau anodd, a chael sgwrs agored ac onest.

Cwestiynau neu faterion i’w trafod ymhellach• Maediffygdidwylleddynghylchgwerthuso–

mae angen inni ddathlu methu a dysgu o hyn.• Mae’nanoddgwybodpagwestiynaui’w

gofyn i gael y dystiolaeth.• Aywcyfeiriadurarfau’nrhoigormodo

gyfarwyddyd?• Oesangencronfaobobl/arbenigwyrsy’n

gallu egluro arfau amrywiol? • Oesangencasglutystiolaethanecdotaidd?• Maeangengwybodbleifyndigaelcyngor;

oes sefydliadau sy’n gallu cynnig hynny?• Bethywdibencyffredingwerthuso?

Thoughts about culture:• Admittingwhensomethinggoeswrong;we

don’t yet have a general acceptance of challenging others.

• Staffneedtobeempoweredforthisto work – need hierarchical buy-in (good leadership in change)

• Riskavoidanceaffectsevaluationeffectiveness. We need less talk on “failure” and more on “learning”.

• Acknowledgeandseektoaddresspoliticaland funding drivers of research.

• Inhealth,“RightFirstTime”isaboutdiagnosing and treating someone correctly the first time – this does not allow for mistakes and learning/development.

• Weneedtohavesomewherewherewecango as a practitioner – what might I use?

• Whatarethego-tositesfornon-expertsto go to? Having individuals that we could talk to – ability to have a conversation, ask the awkward questions, have honest conversations.

Questions or issues for further discussion• Thereisalackofopennessonevaluation–

we need to celebrate failure and learnings from this.

• It’sdifficulttoknowwhatquestionstoasktofind the evidence.

• Isadirectoryoftoolstooprescriptive?• Doweneedabankofpeople/expertswho

can talk you through different tools? • Doweneedtocollectanecdotalevidence?• Weneedtoknowwheretogotoget

advice; are there institutions who can make that available?

• Whatisthecommonpurposeofevaluation?


1 1

• Doweneedaformalised“communityofpractice”? Need to be able to manage trust and honesty to encourage sharing of valuable experiences – positive and negative:

•Basedonexperienceanonlinecommunitywill not work for this purpose

•Isthereresearchtosupportface-to-faceinteraction/resources? (Anecdotally it works best for many.)

• Howcanwemakebestuseofallmodesofcommunication, including technology and webinars? Focusing on key points/questions with a panel of experts (define experts!)

• Howdowedomoreaboutthe“sowhat”ofco-productive work?

• Takingownershipondevelopingtheseideas.

Actions and recommendations

This group to expand to include others who have valuable contributions to constitute an open community of practice.

4 An expert/authoritative/credible source of practical advice – should this be a collaborative sub-group of the Co-production Network?

4 Need to be clear about what the group does, what is unique? What is the gap it’s trying to fill? Shared outcome: not reinventing the wheel, but building a tool to help mapping.

4 Review what is important and is it effective4 Number of people who are interested?4 Create a terms of reference Objectives/outcomes:4 Provide information/guidance on

implementation of research.

• Oesangen“cymunedarfer”ffurfiol?Maeangen gallu rheoli ffydd a gonestrwydd er mwyn annog rhannu profiadau gwerthfawr – rhai cadarnhaol a negyddol:

•Ynseiliedigarbrofiad,nifyddcymunedar-lein yn gweithio at y diben hwn

•Oesymchwiligefnogirhyngweithio/adnoddau wyneb yn wyneb? (Yn anecdotaidd, dyma sy’n gweithio orau i lawer o bobl.)

• Sutgallwnwneudydefnyddgorauoholl gyfryngau cyfathrebu, gan gynnwys technoleg a gweminarau? Canolbwyntio ar brif bwyntiau/cwestiynau gyda phanel arbenigwyr (diffinio arbenigwyr!)

• Sutgallwnwneudmwyynghylchagwedd“beth am hynny” gwaith cyd-gynhyrchu?

• Perchnogidatblygu’rsyniadauhyn.

Camau gweithredu ac argymhellion

Y dylid ehangu’r grŵp yma i gynnwys eraill gyda chyfraniadau gwerthfawr er mwyn cyfansoddi cymuned ymarfer agored.

4 Ffynhonnell cyngor ymarferol arbenigol/awdurdodol/credadwy – a ddylai fod yn is-grŵp cydweithredol y Rhwydwaith Cydgynhyrchu?

4 Mae angen bod yn glir ynghylch yr hyn mae’r grŵp yn ei wneud, beth sy’n unigryw? Pa fwlch mae’n ceisio ei lenwi? Deilliant cyffredin: yn lle ail-greu’r olwyn, ond yn hytrach creu arf i helpu mapio.

4 Adolygu’r hyn sy’n bwysig ac a yw’n effeithiol4 Nifer y bobl sydd â diddordeb?4 Llunio cylch gorchwyl Amcanion/deilliannau:4 Darparu gwybodaeth/cyfarwyddyd ar

weithredu ymchwil.


4 4

3 3

4 Re-invigorate the current Co-production Network – remind people why they joined and why others should join.

4 Incorporate more experiential evidence.

Curate a series of webinars.

4 These would need to be very specific: resolve one specific issue/address a challenge (answer questions asked in advance).

In-person session on dispelling myths

4 This is what evidence is for.4 What is risk? Shifting thinking around risk

and responsibility.

“Bad Practice Wales”

4 People want to see what doesn’t work. We need to talk about what didn’t work and what we have learnt from this.

Suggestions of other tools • CheckinwithWISERD–WalesInstitute

of Social & Economic Research, Data & Methods;

• InspiringImpact–onlineimpactresources;• UNUParticipatoryMethodsToolkit(http://

archive.unu.edu/hq/library/Collection/PDF_files/CRIS/PMT.pdf);

• BetterEvaluationwebsite.

4 Ail-fywiogi’r Rhwydwaith Cydgynhyrchu presennol – atgoffa pobl am y rheswm y gwnaethant ymuno a pham y dylai eraill ymuno.

4 Cynnwys mwy o dystiolaeth brofiadol.

Trefnu cyfres o weminarau.

4 Byddai angen i’r rhain fod yn benodol iawn: datrys un mater/mynd i’r afael â her (ateb cwestiynau y’u gofynnwyd ymlaen llaw).

Sesiwn wyneb yn wyneb i chwalu chwedlau

4 Dyma ddiben tystiolaeth.4 Beth yw risg? Newid agwedd o safbwynt risg

a chyfrifoldeb.

“Arfer Drwg Cymru”

4 Mae pobl am weld beth sy’n methu. Mae angen inni drafod yr hyn sydd wedi methu, a beth a ddysgwyd o hyn.

Awgrymiadau am arfau eraill• CofrestrugydaWISERD–SefydliadYmchwil

Gymdeithasol ac Economaidd, Data a Dulliau Cymru;

• YsbrydoliEffaith–adnoddaueffaithar-lein;• UNUPecynCymorthDulliauCyfranogol

(http://archive.unu.edu/hq/library/Collection/PDF_files/CRIS/PMT.pdf);

• GwefanGwellGwerthuso.

2 2


Every day with everyoneIn this conversation: Bryan Collis, Mike Corcoran, Heather Tyrell, Sarah Simons, Angharad Dalton, Trevor Palmer

Prompts

Bob dydd gyda phawbYn y sgwrs yma roedd: Bryan Collis, Mike Corcoran, Heather Tyrell, Sarah Simons, Angharad Dalton, Trevor Palmer

Cwestiynau cychwynnolA lot of the work done in delivering social impacts is done by those least equipped to evaluate them (micro-organisations with limited resource and fear of evaluation). What can we do?

Ethics for co-producing research/evaluation.

Normalise evaluation into everyday practice – everyone asks the question “what difference has this made…”

New academic citizen involvement in funded research, e.g. experts by experience.

Mae llawer o’r gwaith a wneir o ran cyflawni effaith gymdeithasol yn cael ei wneud gan y sawl gyda’r sgiliau lleiaf o ran eu gwerthuso (micro-sefydliadau gydag adnoddau cyfyngedig neu sy’n ofni gwerthuso). Beth allwn ei wneud?

Moeseg cydgynhyrchu ymchwil/gwerthuso.

Normaleiddio gwerthuso fel rhan o arferion dyddiol – mae pawb yn gofyn y cwestiwn “pa wahaniaeth a wnaeth hyn…”

Cyfraniad dinasyddion academaidd newydd mewn ymchwil a gyllidir, e.e. arbenigwyr trwy brofiad.

Moral and methodological benefit to co-production of research and evaluation.

Transformation: change people’s lives for the better; how to do we show/demonstrate?

Diverse/multiple perspectives on what amounts to transformation (protected characteristics); whose reality counts? Mainstreaming equality in research.

Budd moesegol a methodolegol i gydgynhyrchu ymchwil a gwerthuso.

Trawsnewid: newid bywydau pobl er gwell; sut gallwn ddangos/arddangos hyn?

Safbwyntiau amrywiol/lluosog ar ystyr trawsnewid (nodweddion gwarchodedig); realiti pwy sy’n cyfrif? Prif-ffrydio cydraddoldeb o ran ymchwil.


Main points of the conversation• Vocabulary–whatisco-production?What

is evaluation? They mean different things to different people.

• Riskaversionindesignofresearch;importance of open ended outcomes to reduce fear.

• Howdowecascadeskillsdowntoempowerothers to evaluate?

• Whatunitesthediversecommunities/stakeholders in projects?

• Whogetsinvolved?Forhowlong?• Publicengagementstructuresarenotwell

established anywhere.• Whohasthe‘legitimacy’toundertake

research?• Whatdoes‘co-production’meanbetween

academics and non-academics in the delivery of projects and their evaluation?

• Healthandsocialcareservicesareattheforefront, but other services lag behind.

Questions or issues for further discussion• Howdowebuildtrust?Howdowebuild

respect? How do we find a common vocabulary? Multidisciplinary working is the answer. Team research: everyone means everyone (including practitioners).

• Canwetakerisksindifferentwaysre:involving people in gathering evidence?


Staff delivering interventions must have the tools to know if their work makes a difference.

Prif bwyntiau’r sgwrs• Geirfa–bethywcydgynhyrchu?Bethyw

gwerthuso? Mae ganddynt ystyron gwahanol i bobl wahanol.

• Osgoirisgorandylunioymchwil;pwysigrwydd deilliannau pen agored er mwyn lleihau ofn.

• Sutgallwnraeadrusgiliauarilawriymrymusoeraill i werthuso?

• Bethsy’nunocymunedau/rhanddeiliaidamrywiol mewn prosiectau?

• Pwysy’ncyfrannu?Amfaintoamser?• Nidywstrwythurauymgysylltucyhoeddus

wedi eu sefydlu’n effeithiol mewn unrhyw fan.• Pwysyddâ’r‘hawl’igynnalymchwil?• Bethywystyr‘cydgynhyrchu’rhwng

academyddion a phobl anacademaidd wrth gyflenwi prosiectau a’u gwerthuso?

• Gwasanaethauiechydagofalcymdeithasolsydd ar y rheng flaen, ond mae gwasanaethau eraill ar ei hôl hi.

Cwestiynau neu faterion eraill i’w trafod ymhellach• Sutgallwnfeithrinffydd?Sutmaemagu

parch? Sut gallwn gael hyd i eirfa gyffredin? Gwaith amlddisgyblaethol yw’r ateb. Ymchwil timau: mae pawb yn golygu pawb (gan gynnwys ymarferwyr).

• Gallwnnigymrydrisgiaumewnffyrddgwahanol o ran cynnwys pobl wrth gasglu tystiolaeth?


Mae’n rhaid i staff sy’n cyflenwi ymyraethau feddu ar yr arfau i wybod a yw eu gwaith yn gwneud gwahaniaeth.

1 1


If every service/service user/carer interaction had a “what matters” conversation:

4 “What was good about the service?”; and 4 “What could be improved/ done differently?”

Include all stakeholders:

4 Researcher;4 Beneficiary;4 Practitioner.

Try out/promote different ways of doing research:

4 Action research;4 Peer research; 4 Practitioner/service user led research.

Os bydd pob achos o ryngweithio gyda gwasanaeth/defnyddiwr gwasanaeth/gofalwr yn cael sgwrs “beth sy’n bwysig”:

4 “Beth oedd yn dda am y gwasanaeth?”; a4 “Beth ellir ei wella / ei wneud yn wahanol?”

Cynnwys pob rhanddeiliad:

4 Ymchwilydd;4 Buddiolwr;4 Ymarferydd.

Arbrofi gyda/hyrwyddo ffyrdd gwahanol o wneud ymchwil:

4 Ymchwil weithredol; 4 Ymchwil gan gymheiriaid; 4 Ymchwil dan arweiniad ymarferydd/

defnyddiwr gwasanaeth.

2

3

4

2

3

4


What’s the purpose and who is it for?In this conversation: Nick Andrews, Lynne Tinsley, Hugh Russell, Andrew Darnton, Rebecca Cox, Eleri Lloyd, Fiona Verity

Prompts

Beth yw’r diben ac ar gyfer pwy mae o?Yn y sgwrs yma roedd: Nick Andrews, Lynne Tinsley, Hugh Russell, Andrew Darnton, Rebecca Cox, Eleri Lloyd, Fiona Verity

Cwestiynau cychwynnolSharing the benefits of co-production – help encourage people to use co-production more (in policy and research).

Rethinking performance measurement to support change. And anchoring the relevance to me and my role.

How can our approach to evaluation promote honest rather than “comb-over” and gaming?

How to collate and review grey literature evaluations?

Commissioning for accountability vs. for learning?

Rhannu manteision cydgynhyrchu – helpu annog pobl i ddefnyddio mwy o gydgynhyrchu (mewn gwaith polisi ac ymchwil).

Ailfeddwl mesur perfformiad i ategu newid. A sefydlu’r perthnasedd i fi a fy rôl.

Sut gall ein hagwedd tuag at werthuso hyrwyddo gonestrwydd yn hytrach na “chuddio” a chwarae gemau?

Sut i goladu ac adolygu gwerthusiadau llenyddiaeth lwyd?

Comisiynu ar gyfer atebolrwydd vs. addysgu?

For whom are we evidencing transformation? Service users? Policy makers? Funders? Is there a different approach for each audience?

Tension between appropriateness of methodology and expectations/needs of evidence users.

Share existing evidence more widely.

Practice based evidence – how do we share?

Ar gyfer pwy rydym yn dangos tystiolaeth o drawsnewid? Defnyddwyr gwasanaethau? Poblsy’nlluniopolisïau?Cyllidwyr?Oesdull o weithio gwahanol ar gyfer pob cynulleidfa?

Tensiwn rhwng priodoldeb y fethodoleg a disgwyliadau/anghenion defnyddwyr y dystiolaeth.

Rhannu tystiolaeth bresennol yn fwy ehangach.

Tystiolaeth a seilir ar arferion – sut gallwn rannu hyn?


Main points of the conversation• Sharingevidence• Whatisthepurposeofit?Focusmovedfrom

learning to proving• Attribution&contribution–bigdebate!• Twotypesofevaluation: •whatworks:timelimited,behaviour

change, output driven - vs - •whatisgoingon:act,notsurehowit’s

being implemented, can change system• Whopays?• Accountability–towho?• Purpose–whatisthepurpose?Isitmoreof

an obligation?• Thinkingoutsidetheboxandleveraging

innovation. How many innovative methods get commissioned? Innovation conflicts with people being afraid of trying something new.

• Evaluationfortransformation/co-producedevaluation: follow the principles of co-production.

• Procurementreallymatters!

Questions or issues for further discussion• Howdoweeducatefundersandpolicy

makers on evaluation?• Howdoweimprovetheimpactofthe

evaluation? Need clarity on purpose here.• Arethereexamplesofservicesthathave

been co-produced, where the evaluation was also co-produced?

• Linkingevidencetopolicymakers–lookatthe chain.

• Needforinnovationbutabattleagainstfearof change.

• Costwillbeabigbarrier.Resourceproblemsalso in terms of managing data.

• Canwemovefromburdentoblessing–embedding measurement into organisations?

• Howcanwechangethecultureofevaluatingfor funding?

Prif bwyntiau’r sgwrs• Rhannutystiolaeth• Bethyweiddiben?Symudwydyffocwso

addysgu i brofi• Priodoleddauachyfraniadau–dadlfawr!• Dauwahanolfathowerthuso: •Bethsy’ngweithio:cyfyngiadauamser,

newid ymddygiad, a seilir ar allbwn - vs - •Yrhynsy’ndigwydd:gweithredu,ddimyn

siŵr sut mae’n cael ei weithredu, yn gallu newid system

• Pwysy’ntalu?• Atebolrwydd–ibwy?• Diben–bethyw’rdiben?Aimwyo

rwymedigaeth yw?• Meddwltuallani’rbocsamanteisioar

arloesi. Faint o ddulliau arloesol sy’n cael eu comisiynu? Gwrthdaro rhwng arloesi a phobl yn ofni rhoi cynnig ar rywbeth newydd.

• Gwerthusoertrawsnewid/gwerthusoa gydgynhyrchir: dilyn egwyddorion cydgynhyrchu.

• Maecaffaelynbwysigiawn!

Cwestiynau neu faterion eraill i’w trafod ymhellach• Sutgallwnaddysgucyllidwyracunigolionsy’n

llunio polisi ar faes gwerthuso?• Sutgallwnwellaeffaithygwerthusiad?Mae

angen eglurder o ran diben yma.• Oesesiamplauowasanaethaua

gydgynhyrchwyd, lle cafodd y gwerthusiad ei gydgynhyrchu hefyd?

• Cysylltutystiolaethagunigolionsy’nlluniopolisi – ystyried y gadwyn.

• Angenargyferarloesi,ondmaebrwydrynerbyn ofn newid.

• Byddygostynrhwystrmawr.Problemauoran adnoddau hefyd o safbwynt rheoli data.

• Gallwnsymudofaichifendith–ymwreiddiomesur mewn sefydliadau?

• Sutgallwnnewiddiwylliantgwerthusoargyfer cyllido?


1 1Camau gweithredu ac argymhellion

Digwyddiadau ar gyfer cyllidwyr / comisiynydd / unigolion sy’n llunio polisi (hyrwyddwyr ymchwil cymdeithasol – arweinyddion polisi) ar werthuso

4 Mae angen hyblygrwydd – nid yw’r un drefn yn addas i bawb.

4 Mae angen dangos pa mor ddilys mae methodolegau gwahanol.

4 Ffyrdd gwahanol o gyflwyno’r canlyniadau ar gyfer cynulleidfaoedd gwahanol.

4 Cysylltiad â’r UK Evaluation Society, a gwefan Better Evaluation.


Events for funders / commissioner / policy makers (social research champions – policy leaders) on evaluation

4 Need flexibility – not one size fits all.4 Need to demonstrate how legitimate

different methodologies are.4 Different ways of presenting the results for

different audiences.4 Link in with UK Evaluation Society, Better

Evaluation website.


What counts as evidence?In this conversation: Noreen Blanluet, Anne Collis, Dan Venables, Martin O’Neill

Prompts

Beth sy’n cyfrif fel tystiolaeth?Yn y sgwrs yma roedd: Noreen Blanluet, Anne Collis, Dan Venables, Martin O’Neill

Cwestiynau cychwynnolWhat counts as evidence and whose evidence counts in evaluation?

Are ‘research findings’ the same thing as ‘evidence’?

How do we aggregate ‘social impacts’? Can there ever be a common currency?

How can we measure what doesn’t happen? E.g. not using a service

Causality (more uncertainty): Attribution 4 Contribution 4 Association

Beth sy’n cyfrif fel tystiolaeth a thystiolaeth pwy sy’n cyfrif o ran gwerthuso?

Ydy ‘canlyniadau ymchwil’ yr un peth â ‘thystiolaeth’?

Sut gallwn gydgrynhoi ‘effaith gymdeithasol’? A fydd yn bosib cael arian cyfred cyffredin?

Sut gallwn fesur yr hyn sydd heb ddigwydd? E.e. peidio defnyddio gwasanaeth

Achosiaeth (mwy o ansicrwydd): Priodoledd 4 Cyfraniad 4 Cysylltiad

Evidence – handling different understanding of what evidence counts as evidence.

How do we attribute ‘social impacts’? Is it meaningful to do so?

Evidence MUST remain robust and reliable when considering alternative forms of research and knowledge – and where appropriate, generalisable too.

How we (as a network) influence those currently with power that Social Return on Investment & spiral methodology is credible (and doable).

Tystiolaeth – trin yn wahanol, dealltwriaeth o’r dystiolaeth sy’n cyfrif fel tystiolaeth.

Sut gallwn briodoli ‘effaith gymdeithasol’? A yw’n arwyddocaol gwneud hynny?

Mae’n RHAID i dystiolaeth fod yn gadarn ac yn ddibynadwy wrth ystyried dulliau ymchwil a gwybodaeth amgen – a lle bo’n briodol, yn gyffredinoliadwy hefyd.

Sut gallwn ni (fel rhwydwaith) ddylanwadu ar y sawl sydd â’r grym ar hyn o bryd fod Enillion Cymdeithasol ar Fuddsoddiad a methodoleg sbiral yn gredadwy (ac yn gyflawnadwy).


Main points of the conversation• Qualitativecomesupalotinsocialcare

and communities work, but quantitative is in demand in health and evidence-based policy making. People who do quantitative have no experience of qualitative (so they don’t want to go there).

• RandomisedControlledTrials(RCT)arenot‘good enough’ in community work because the communities wouldn’t engage (doing research on the community not with).

• Debateaboutthe2schoolsofthought: •Epistemology(writtenacademicresearch) •Whatcountsasevidenceforeveryone

who’s not involved in universities?• Howdowedefineevidence?“Information

I trust enough to base a decision on.” “Information I can use to justify the decision I have made.” (This last one tends to be numbers/quantitative.)

• Whatisgoodqualityevidence?Inqualitative?In quantitative? Peer review in academia is a method of quality control; but we need the right people peer reviewing. Because of confirmation bias you only take into account what you want to see.

• There’satendencytothinkco-production/co-productive research is qualitative only (it’s not).

• It’sveryuseful(thoughcurrentlydifficult)toget external scrutiny (“tame academics”) on a project evaluation to help ensure a robust approach. There is a skills gaps around evaluation in projects and communities.

• Thereareguidestoevaluationforthethirdsector and for social enterprises (WCVA and Bevan Foundation publications). They might need updating or adding to.

• TheBarodmodel(CollisA.,2018!):thisisthekey thing that came out of this conversation. How do we determine whether this is robust and useful evidence? (Proposed model to develop further and test):

•Triangle:people(sample–whotakespart);method (how do they take part); purpose (use – what will you do with the findings)

Prif bwyntiau’r sgwrs• Mae‘Ansoddol’yngyffrediniawnymmaes

gwaith gofal cymdeithasol a chymunedol, ond mae gofyn mawr am ‘feintiol’ ym maes iechyd a pholisi a seilir ar dystiolaeth. Nid oes gan y bobl sy’n cyflawni’r meintiol unrhyw brofiad o’r ansoddol (felly maent am gadw draw o hynny).

• NidywHap-dreialonwedi’uRheoli(RCT)yn‘ddigon da’ ym maes cymunedol oherwydd ni fyddai’r cymunedau’n ymgysylltu (gwneud ymchwil ar y gymuned yn hytrach na gyda nhw).

• Dadlynghylch2safbwyntgwahanol: •Epistemoleg(ymchwilacademaidd

ysgrifenedig) •Bethsy’ncyfriffeltystiolaethargyferpawb

nad ydynt yn gysylltiedig â phrifysgolion?• Sutgallwnddiffiniotystiolaeth?Gwybodaethy

mae gen i ddigon o ffydd ynddi er mwyn seilio penderfyniad arni.” “Gwybodaeth y gallaf ei defnyddio i gyfiawnhau’r penderfyniad a wnaethpwyd.” (Mae’r olaf yn dueddol o fod yn rhifol/meintiol.)

• Bethywtystiolaethucheleihansawdd?Oranansoddol? O ran meintiol? Mae adolygiad gan gymheiriaid ym meysydd academaidd yn ddull rheoli ansawdd; ond mae angen i’r bobl iawn wneud yr adolygiad gan gymheiriaid. Oherwydd tuedd ategu, byddwch ond yn ystyried yr hyn rydych am ei weld.

• Maetueddifeddwlfodymchwil cydgynhyrchu/cydgynhyrchiol yn ansoddol yn unig (nid yw hyn yn wir).

• Mae’nhynodddefnyddiol(erynanoddarhyno bryd) cael craffu allanol (“academyddion dof”) wrth werthuso prosiect i helpu sicrhau dulliau cadarn. Mae bwlch o ran sgiliau ym maes gwerthuso prosiectau a chymunedau.

• Maecanllawiaugwerthusoargaeli’rtrydyddsector a mentrau cymdeithasol (cyhoeddiadau WCVA a Sefydliad Bevan). Hwyrach bod angen eu diweddaru neu ychwanegu atynt.

• ModelBarod(CollisA.,2018!):dyma’rprifbeth ddaeth allan o’r sgwrs yma. Sut gallwn benderfynu a yw’n dystiolaeth gadarn a defnyddiol? (Y model arfaethedig i’w ddatblygu ymhellach a’i brofi):


•E.g.ofapplication:inconsultationsthedecisions are based on responses but the sample isn’t necessarily representative or unbiased (because of accessibility of the consultation), ergo, it’s not ‘proper’ robust evidence that fulfills all 3 points of the triangle

•Todevelopthismodel: 1. Talk to people who design research 2. Test this against existing good studies/

stories of practice 3. Check how usable it is with practitioners

(could we use Y Lab’s Innovate to Save programme as an R&D testing framework?)

• Evaluation/researchdoesn’tgo“wrong”(when we don’t get the results we expected), it just goes differently.

• Greyliterature(i.e.notpublishedinpeerreviewed journals) is being gathered in “Social Care Online” (SCiE website) and is searchable, which is great – but covers only social care. How do we do the same for other sectors?

• Doorisopenedtoparticipativeevidencein communities and social care. More of a challenge for e.g. in the health sector, but the way in might be nurses, auxiliary staff, OTs and physios). But we are also witnessing a cultural change (the teaching of medical students is changing and new generations are coming through the profession with a different outlook).

Questions or issues for further discussion• Barriers:timeandresources,needtochange

the mindsets •We’retoobusydoing,todoevaluation •We’renotfundedtoevaluate(it’sonly10%

of project budget)• Weneedtounderstandthatmonitoringand

evaluation is part of the change process and intervention (not a bolt-on). Funders and commissioners have a role to play in changing this perception.

•Triongl:pobl(sampl–pwysy’ncymrydrhan); dull (sut maen nhw’n cymryd rhan); diben (defnydd – beth fyddwch yn ei wneud â’r canlyniadau)

•E.e.defnydd:mewnymgynghoriadauseiliry penderfyniadau ar ymatebion, ond nid yw’r sampl o reidrwydd yn gynrychioladol neu’n ddiduedd (oherwydd hygyrchedd yr ymgynghoriad), felly, nid yw’n dystiolaeth ‘briodol’ gadarn sy’n bodloni 3 phwynt y triongl

•Iddatblygu’rmodelyma: 1. Siarad gyda phobl sy’n llunio ymchwil 2. Profi hyn yn erbyn astudiaethau da

presennol/straeon ymarfer 3. Gwirio pa mor ddefnyddiol mae gydag

ymarferwyr (gallwn ni ddefnyddio rhaglen Innovate to Save Y Lab fel fframwaith profi Ymchwil a Datblygu?)

• Nidywgwerthusiad/ymchwilynmyndo“chwith” (pan ni chawn y canlyniadau roeddem yn eu disgwyl), dim ond gwahanol yw.

• Maellenyddiaethlwyd(syddhebeichyhoeddimewn cylchgronau a adolygir gan gymheiriaid) yn cael ei chasglu gan “Social Care Online” (gwefan SCiE) a gellir ei chwilio sydd yn ddefnyddiol iawn – ond dim ond ym maes gofal cymdeithasol. Sut gallwn wneud yr un peth ar gyfer sectorau eraill?

• Mae’rdrwsynagoredidystiolaethgyfranogolmewn cymunedau a gofal cymdeithasol. Mae’n fwy o her ar gyfer e.e. y sector iechyd, ond mae’n bosib taw’r ffordd i mewn byddai trwy nyrsys, staff cynorthwyol, Therapyddion Galwedigaethol a ffisiotherapyddion). Ond hefyd rydym yn gweld newid diwylliannol (mae’r ffordd o ddysgu myfyrwyr meddygol yn newid, ac mae cenedlaethau newydd yn dod trwy’r proffesiwn gyda safbwynt gwahanol).

Cwestiynau neu faterion eraill i’w trafod ymhellach• Rhwystrau:amseracadnoddau,angennewid

cyfeiriad meddwl •Rydymynrhybrysuryngwneudpethau,i

wneud y gwerthuso


•Nidydymyncaeleincyllidoiwerthuso(dimond 10% o gyllideb y prosiect yw)

• Maeangeninniddeallfodmonitroagwerthuso’n rhan o’r broses newid ac ymyrraeth (nid yn agwedd ychwanegol). Mae gan gyllidwyr a chomisiynwyr rôl i’w chwarae o ran newid y canfyddiad hwn.

• Sutgallwndynnuynghydsaildystiolaethgenedlaethol?

• Maegwybodaethargael,fellypamnadyw’n digwydd? (Nid oherwydd diffyg gwybodaeth). Os ydy’r wybodaeth a’r arfau ar gael, pam nad ydym yn ei wneud?


Coladu’r wybodaeth sy’n bodoli (mae llawer iawn ar gael, ond mae’n wasgaredig) mewn sail dystiolaeth gyffredin.

4 Diffinio’r termau, yn enwedig “tystiolaeth” (mae cysylltiadau negyddol ynghlwm wrth “gwerthuso”).

Datblygu model Barod yn arf ar gyfer Cymru gyfan.

4 Mae tystiolaeth gadarn yn cynnwys: y bobl iawn, y dull iawn a ddefnyddir yn y ffordd iawn.

4 Ar hyn o bryd mae’n ddamcaniaeth weithredol: gwirio/gwerthuso os bydd yn berthnasol yn gyffredinol, a sut i’w ddefnyddio o safbwynt ymarferol.

Datblygu bas data chwiliadwy o ymchwil/prosiectau/arferion cydgynhyrchu.

4 A fyddai bas data CRM y Rhwydwaith Cydgynhyrchu’n gallu gwasanaethu fel cronfa gychwynnol ar gyfer straeon a gwerthusiadau?

• Howdowepulltogetheranationalevidencebase?

• There’sinformationavailablesowhyisitnotbeing done? (It’s not for want of information). If the information and the tools are out there, why aren’t we doing it?


Collate existing information (there is a lot out there but it is dispersed) into a common knowledge base.

4 Define the terms, especially “evidence” (“evaluation” has negative connotations).

Develop the Barod model into a tool for Wales.

4 Robust evidence is made up of: the right people, the right method, put to the right use.

4 This is currently a working hypothesis: check/evaluate if this applies generally, and how to use it in practice.

Build a searchable database of co-production research/projects/practice.

4 Could the Co-production Network CRM database serve as an initial repository of stories and evaluations?

1

2

3

1

2

3


Diwedd y dydd: Beth wnawn ni nesaf?

Some common ideas and areas of overlap predictably emerged between the four discussion groups.

Based on the notes above, here we present the questions flagged as warranting further exploration, and the emerging proposals for action. Questions and proposals corroborate each other, which indicates they are tangible areas for further development.

Mae rhai syniadau a meysydd cyffredin wedi dod i’r amlwg, fel y gellir disgwyl, o drafodaethau’r pedwar grŵp.

Yn seiliedig ar y nodiadau uchod, gweler isod y cwestiynau sydd yn ein barn ni’n haeddu ymchwiliad pellach, a’r cynigion gweithredu sy’n datblygu o hynny. Mae’r cwestiynau a’r cynigion yn ategu ei gilydd, sy’n awgrymu eu bod yn feysydd datblygu pellach gwirioneddol.

Closing the day:What shall we do next?



Questions for further explorationWhy we need evidence• Whatisthecommonpurposeofevaluation?• Howdowedomoreaboutthe“sowhat”of

co-productive work?

How to ask the right questions (culture change)• It’sdifficulttoknowwhatquestionstoaskto

find the evidence.• Howdowebuildtrust?Howdowebuild

respect? How do we find a common vocabulary?

• Canwemovefromburdentoblessing–embedding measurement into organisations?

• There’sinformationavailablesowhyisitnotbeing done? (It’s not for want of information). If the information and the tools are out there, why aren’t we doing it?

Celebrating failure and redefining risk• Thereisalackofopennessonevaluation–

we need to celebrate failure and learnings from this.

• Canwetakerisksindifferentwaysre:involving people in gathering evidence?

• Needforinnovationbutabattleagainst fear of change.

Tools and methods• Isadirectoryoftoolstooprescriptive?• Doweneedabankofpeople/expertswho

can talk you through different tools? • Doweneedtocollectanecdotalevidence?• Weneedtoknowwheretogotogetadvice;

are there institutions who can make that available?

Knowledge base• Arethereexamplesofservicesthathave

been co-produced, where the evaluation was also co-produced?

• Howdoweimprovetheimpactoftheevaluation? Need clarity on purpose here.

• Howdowepulltogetheranational evidence base?

Cwestiynau i’w ymchwilio ymhellachPam bod angen tystiolaeth• Bethywdibencyffredingwerthuso?• Sutgallwnwneudmwyynghylchagwedd

“beth am hynny” gwaith cydgynhyrchiol?

Sut i ofyn y cwestiynau iawn (newid diwylliant)• Mae’nanoddgwybodpagwestiynaui’w

gofyn i gael y dystiolaeth.• Sutgallwnfeithrinffydd?Sutmaemagu

parch? Sut gallwn gael hyd i eirfa gyffredin?• Gallwnsymudofaichifendith–ymwreiddio

mesur mewn sefydliadau?• Maegwybodaethargael,fellypamnad

yw’n digwydd? (Nid oherwydd diffyg gwybodaeth). Os ydy’r wybodaeth a’r arfau ar gael, pam nad ydym yn ei wneud?

Dathlu methu ac ail-ddiffinio risg• Maediffygdidwylleddynghylchgwerthuso

– mae angen inni ddathlu methu a beth a ddysgir o hyn.

• Gallwnnigymrydrisgmewnffyrddgwahanol:cynnwys pobl wrth gasglu tystiolaeth?

• Maeangenarloesi,ondmaebrwydryn erbyn ofn newid.

Arfau a dulliau• Ydycyfeiriadurarfau’nrhygyfarwyddol?• Oesangencronfaobobl/arbenigwyrsy’n

gallu egluro arfau gwahanol wrthych? • Oesangencasglutystiolaethanecdotaidd?• Maeangengwybodbleifyndigaelcyngor;

oes sefydliadau ar gael sy’n gallu cynnig hynny?

Y sail wybodaeth• Oesesiamplauowasanaethaua

gydgnhyrchwyd ar gael, lle cafodd y dystiolaeth ei chydgynhyrchu hefyd?

• Sutgallwnwellaeffaithygwerthusiad? Mae angen eglurder o ran y diben yma.

• Sutgallwndynnusaildystiolaethgenedlaethol ynghyd?


Working with funders and policy makers• Howdoweeducatefundersandpolicy

makers on evaluation?• Linkingevidencetopolicymakers–lookat

the chain.• Costwillbeabigbarrier.Resource

problems also in terms of managing data.• Howcanwechangethecultureofevaluating

for funding?• Barriers:timeandresources,needtochange

the mindsets (We’re too busy doing, to do evaluation; We’re not funded to evaluate, it’s only 10% of project budget). We need to understand that monitoring and evaluation is part of the change process and intervention (not a bolt-on). Funders and commissioners have a role to play in changing this perception.

Being a community of practice• Doweneedaformalised“communityof

practice”? Need to be able to manage trust and honesty to encourage sharing of valuable experiences – positive and negative.

• Basedonexperienceanonlinecommunitywill not work for this purpose.

• Isthereresearchtosupportface-to-faceinteraction/resources? (Anecdotally it works best for many.)

• Howcanwemakebestuseofallmodesofcommunication, including technology and webinars? Focusing on key points/questions with a panel of experts (define experts!)

Gweithio gyda chyllidwyr ac unigolion sy’n llunio polisi• Sutgallwnaddysgucyllidwyracunigolion

sy’n llunio polisi ar faes gwerthuso?• Cysylltutystiolaethagunigolionsy’nllunio

polisi – ystyried y gadwyn.• Byddygostynrhwystrmawr.Problemauo

ran adnoddau hefyd o safbwynt rheoli data.• Sutgallwnnewiddiwylliantgwerthusoar

gyfer cyllido?• Rhwystrau:amseracadnoddau,angen

newid cyfeiriad meddwl (Rydym yn rhy brysur yn gwneud pethau, i wneud y gwerthuso; Nid ydym yn cael ein cyllido i werthuso dim ond 10% o gyllideb y prosiect yw). Mae angen inni ddeall fod monitro a gwerthuso’n rhan o’r broses newid ac ymyrraeth (nid yn agwedd ychwanegol). Mae gan gyllidwyr a chomisiynwyr rôl i’w chwarae o ran newid y canfyddiad hwn

Bod yn gymuned ymarfer• Oesangen“cymunedymarfer”ffurfiol?

Mae angen gallu rheoli ffydd ac onestrwydd i annog rhannu profiadau gwerthfawr – cadarnhaol a negyddol.

• Ynseiliedigarbrofiad,nifyddcymuned ar-lein yn llwyddo at y diben hwn.

• Oesymchwiligefnogirhyngweithio/adnoddau wyneb yn wyneb? (Yn anecdotaidd dyma sy’n gweithio orau i lawer o bobl.)

• Sutgallwnwneudydefnyddgorauo’rholl gyfryngau cyfathrebu, gan gynnwys technoleg a gweminarau? Canolbwyntio ar brif bwyntiau/cwestiynau gyda phanel o arbenigwyr (diffinio arbenigwyr!)


Cynigion gweithredu

4 Cychwyn gyda’r grŵp yma, a’i ehangu wedyn i gynnwys eraill gyda chyfraniadau gwerthfawr i’w cynnig

4 Bod yn ffynhonnell arbenigol/awdurdodol/credadwy ar gyfer cyngor ymarferol

4 Gall fod yn is-grŵp cydweithredol y Rhwydwaith Cydgynhyrchu?

4 Bod yn glir ynghylch yr hyn mae’r grŵp yn ei wneud, beth sy’n unigryw, a’r bwlch mae’n ceisio ei lenwi?

4 Deilliant cyffredin: yn hytrach nag ail-greu’r olwyn, ond datblygu arf i helpu mapio’r hyn sy’n bwysig ac yn effeithiol

4 Llunio cylch gorchwyl4 Rhoi gwybodaeth/cyfarwyddyd ar weithredu

ymchwil.4 Cynnwys mwy o dystiolaeth brofiadol.4 Ail-fywiogi’r rhwydwaith Cydgynhyrchu

presennol – atgoffa pobl am eu rhesymau dros ymuno, a pham dylai eraill ymuno.

Proposals for action

`

4 Start with this group and expand it to include others who have valuable contributions to offer

4 Be an expert/authoritative/credible source of practical advice

4 This could be a collaborative sub-group of the Co-production Network?

4 Be clear about what the group does, what is unique, what is the gap it’s trying to fill?

4 Shared outcome: not reinventing the wheel, but building a tool to help map what is important and effective

4 Create a terms of reference4 Provide information/guidance on

implementation of research.4 Incorporate more experiential evidence.4 Re-invigorate the current Co-production

Network – remind people why they joined and why others should join.

#1#1Open community

of practice around evidence

Cymuned ymarfer agor, ym maes

tystiolaeth


#2Learning events

#2Digwyddiadau

dysgu

4 Trefnu cyfres o weminarau. Byddai angen i’r rhain fod yn benodol iawn: datrys un mater/mynd i’r afael â her (ateb cwestiynau y’u gofynnwyd ymlaen llaw).

4 Sesiwn wyneb yn wyneb i chwalu chwedlau: Dyma ddiben tystiolaeth. Beth yw risg? Newid agwedd o safbwynt risg a chyfrifoldeb.

4 Digwyddiadau ar gyfer cyllidwyr / comisiynydd / unigolion sy’n llunio polisi (hyrwyddwyr ymchwil cymdeithasol – arweinyddion polisi) ar werthuso: Mae angen hyblygrwydd – nid yw’r un drefn yn addas i bawb; Mae angen dangos pa mor ddilys mae methodolegau gwahanol; Ffyrdd gwahanol o gyflwyno’r canlyniadau ar gyfer cynulleidfaoedd gwahanol. Cysylltiad â’r UK Evaluation Society, a gwefan Better Evaluation.

4 Byddai angen i gynhadledd fod ar bwnc penodol. Cynnwys mwy o ymarferwyr a seilir yn y gymuned

4 Curate a series of webinars. These would need to be very specific: resolve one specific issue/address a challenge (answer questions asked in advance).

4 In-person sessions on dispelling myths: This is what evidence is for. What is risk? Shifting thinking around risk and responsibility.

4 Events for funders / commissioner / policy makers (social research champions – policy leaders) on evaluation: Need flexibility – not one size fits all; Need to demonstrate how legitimate different methodologies are; Different ways of presenting the results for different audiences; Link in with UK Evaluation Society, Better Evaluation website.

4 A conference would need to have a focussed topic. Involve more community-based practitioners.

4 Mae angen inni drafod yr hyn sydd heb lwyddo, a beth a ddysgwyd o hyn.

4 We need to talk about what didn’t work and what we have learnt from this.

#3“Ymarfer Drwg

Cymru”

#3“Bad Practice

Wales”


#4Cronfa wybodaeth

(arfau ac enghreifftiau)

4 Collate existing information (there is a lot out there but it is dispersed) into a common knowledge base.

4 Define the terms, especially “evidence” (“evaluation” has negative connotations).

4 Make the tools accessible for staff delivering interventions to know if their work makes a difference.

4 Include different ways of doing research; action research; peer research; practitioner/service user led research.

4 Build a searchable database of co-production research/projects/practice. Could the Co-production Network CRM database serve as an initial repository of stories and evaluations?

#4Knowledge

repository (tools and examples)

4 Coladu gwybodaeth sydd eisoes yn bodoli (mae llawer ar gael ond mae’n wasgaredig) mewn cronfa wybodaeth gyffredin.

4 Diffinio’r termau yn enwedig “tystiolaeth” (mae cysylltiadau negyddol ynghlwm wrth “gwerthuso”).

4 Sicrhau fod yr arfau’n hygyrch i staff sy’n cyflwyno ymyraethau er mwyn gwybod a yw eu gwaith yn gwneud gwahaniaeth.

4 Cynnwys ffyrdd gwahanol o wneud ymchwil; ymchwil weithredol; ymchwil gan gymheiriaid; ymchwil dan arweiniad ymarferwyr/defnyddiwr gwasanaeth.

4 Llunio bas data chwiliadwy o ymchwil/prosiectau/arferion cydgynhyrchu. A fyddai bas data CRM y Rhwydwaith Cydgynhyrchu’n gallu gwasanaethu fel cronfa gychwynnol ar gyfer straeon a gwerthusiadau?

#5Model Barod

4 Datblygu model Barod yn arf ar gyfer Cymru gyfan. Mae tystiolaeth gadarn yn cynnwys: y bobl iawn, y dull iawn a ddefnyddir yn y ffordd iawn. Ar hyn o bryd mae’n ddamcaniaeth weithredol: gwirio/gwerthuso os bydd yn berthnasol yn gyffredinol, a sut i’w ddefnyddio o safbwynt ymarferol.

4 Develop the Barod model into a tool for Wales. Robust evidence is made up of: the right people, the right method, put to the right use. This is currently a working hypothesis: check/evaluate if this applies generally, and how to use it in practice.

#5The Barod model


Diweddglo

The Co-production Network for Wales team committed to collating the outputs of the 17th April 2018 event into this report, which is also intended to be published more widely once the original attendees have reviewed and approved it, in order to contribute to the ongoing conversation about evidence in Wales and further afield.

A follow-up meeting of the original actors in July 2018 will aim to turn this paper into practical action, by prioritising the suggested actions relative to timescales, and identifying leads for implementation.

Noreen BlanluetDirector, Co-production Network for [email protected] 038 084

May 2018

Mae tîm Rhwydwaith Cydgynhyrchu Cymru wedi ymrwymo i goladu canlyniadau digwyddiad 17eg Ebrill 2018 yn yr adroddiad hwn, a’r bwriad yw ei gyhoeddi ar lefel ehangach ar ôl i’r sawl oedd yn bresennol yn y digwyddiad gwreiddiol ei adolygu a’i gymeradwyo, er mwyn cyfrannu at y sgwrs sy’n parhau ynghylch tystiolaeth yng Nghymru ac yn bellach i ffwrdd.

Y nod yw cynnal cyfarfod dilynol o’r cynrychiolwyr gwreiddiol ym mis Gorffennaf 2018 a throi’r papur hwn yn weithredoedd ymarferol, trwy flaenoriaethu’r camau gweithredu a awgrymwyd yn ddibynnol ar amserlenni, ac adnabod unigolion i arwain ar eu gweithredu.

Noreen BlanluetCyfarwyddwr, Rhwydwaith Cydgynhyrchu [email protected] 038 084

Mai 2018

Afterword



AppendixAttendees on 17th April 2018Alasana Touray, CP Trevor PalmerAmanda Paton, Cyfoeth Naturiol CymruAndrew Darnton, AD Research & AnalysisAngharad Dalton, Y Lab (Nesta) Anne Collis, Prifysgol Bangor a CBC Barod Rebecca (Bec) Cicero, Gofal Cymdeithasol CymruRebecca (Becky) Cox, Llywodraeth CymruBryan Collis, Ymchwilydd annibynnolChris Jones, Llywodraeth CymruDan Venables, Ymchwil Iechyd a Gofal CymruEleri Lloyd, Mantell Gwynedd – Gwerth Cymdeithasol CymruFiona Verity, Ysgol Ymchwil Gofal Cymdeithasol Cymru Frances Beecher, LlamauHeather Tyrrell, Ymgynghorydd/YmchwilyddHugh Russell, Dileu Digartrefedd ymhlith Pobl Ifanc Cymru (Llamau)Lynne Tinsley, Y Gronfa Loteri FawrMartin O’Neill, Prifysgol CaerdyddMike Corcoran Nick Andrews, Ysgol Ymchwil Gofal Cymdeithasol Cymru Noreen Blanluet, Rhwydwaith Cydgynhyrchu CymruPaul Myres, Gwneud Dewisiadau gyda’n Gilydd (Iechyd Cyhoeddus Cymru)Rachel Wolfendale, Rhwydwaith Cydgynhyrchu CymruSarah SimonsTrevor PalmerUsha Ladwa-Thomas, Llywodraeth Cymru

Diolch yn fawr i Usha Ladwa-Thomas, Llywodraeth Cymru a Nick Andrews a Fiona Verity Ysgol Ymchwil Gofal Cymdeithasol Cymru, am eu cefnogaeth a’u cymorth i drefnu’r diwrnod.

AppendixAttendees on 17th April 2018Alasana Touray, PA for Trevor PalmerAmanda Paton, Natural Resources WalesAndrew Darnton, AD Research & AnalysisAngharad Dalton, Y Lab (Nesta) Anne Collis, Bangor University & Barod CIC Rebecca (Bec) Cicero, Social Care WalesRebecca (Becky) Cox, Welsh GovernmentBryan Collis, independent researcherChris Jones, Welsh GovernmentDan Venables, Health and Care Research WalesEleri Lloyd, Mantell Gwynedd – Social Value CymruFiona Verity, Wales School for Social Care ResearchFrances Beecher, LlamauHeather Tyrrell, Consultant/ ResearcherHugh Russell, End Youth Homelessness Cymru (Llamau)Lynne Tinsley, Big Lottery FundMartin O’Neill, Cardiff UniversityMike Corcoran Nick Andrews, Wales School for Social Care Research Noreen Blanluet, Co-production Network for WalesPaul Myres, Making Choices Together (Public Health Wales)Rachel Wolfendale, Co-production Network for WalesSarah SimonsTrevor PalmerUsha Ladwa-Thomas, Welsh Government

With thanks for Usha Ladwa-Thomas from Welsh Government, and Nick Andrews and Fiona Verity from the Wales School for Social Care Research, for their support and assistance in pulling the day together.

pebyll o gwmpas tân gwersyll: dangos tystiolaeth o ...€¦ · 16 18 19 24 27 30 34 40 41. ... the...

Documents