splint cetl interim evaluation report for hefce final cetl... · pedagogic underpinnings of spatial...

52
1 July 2007 v19 updated 29/08/07

Upload: others

Post on 31-May-2020

7 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

 

1

July 2007 v19 updated 29/08/07

 

Page 2: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working
Page 3: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

 

1

                                          This report and associated DVD contents are the copyright and property of the SPLINT CETL consortium. The contents are supplied only for the purposes of HEFCE internal evaluation.  Written permission must be obtained from SPLINT for the use of these materials for all other purposes.   All Rights Reserved  © SPLINT 2007     

Page 4: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

 

2

Table of Contents List of Tables, Figures and Appendices .........................................................................................3 List of Acronyms...........................................................................................................................3 1 Executive Summary ..............................................................................................................5 2 Introduction..........................................................................................................................7

2.1 Structure and audience.................................................................................................................... 7 2.2 Connection with other reports and overview of evidential base .................................................... 7 2.3 Purpose ............................................................................................................................................ 8

3 Aims and Scope ....................................................................................................................9 3.1 Purpose ............................................................................................................................................ 9 3.2 Aims, activities, objectives and programme outcomes ................................................................... 9 3.3 Stakeholders in the SPLINT CETL.................................................................................................... 11

4 Evaluation Framework and Approach .................................................................................13 4.1 Ethical framework .......................................................................................................................... 13 4.2 Reflections on the evaluation process ........................................................................................... 14

5 Key Findings........................................................................................................................15 5.1 Student experience ........................................................................................................................ 15

5.1.1 New facilities and equipment .................................................................................................... 15 5.1.2 Pedagogic research and curriculum development..................................................................... 16 5.1.3 SPLINT outreach activities.......................................................................................................... 17

5.2 Connections with external partners............................................................................................... 17 5.2.1 Higher Education Academy (HEA).............................................................................................. 17 5.2.2 Royal Geographical Society‐ Institute of British Geographers................................................... 18 5.2.3 US audiences.............................................................................................................................. 18 5.2.4 Government departments ......................................................................................................... 18 5.2.5 Ordnance Survey........................................................................................................................ 18 5.2.6 British Geological Survey ........................................................................................................... 18 5.2.7 East Midlands network of CETLs ................................................................................................ 18 5.2.8 Secondary education networks and collaborations................................................................... 19

5.3 Internal strategic impact ................................................................................................................ 19 5.3.1 University of Leicester................................................................................................................ 19 5.3.2 University of Nottingham .......................................................................................................... 21 5.3.3 University College London.......................................................................................................... 21

5.4 Impacts on teachers....................................................................................................................... 21 5.4.1 The core SPLINT team ................................................................................................................ 22 5.4.2 SPLINT fellows............................................................................................................................ 22 5.4.3 Teaching staff in the host departments..................................................................................... 22 5.4.4 Staff teaching in other disciplines in consortium universities.................................................... 23 5.4.5 Staff teaching elsewhere  in UK HE............................................................................................ 23 5.4.6 Teachers in schools and FE ........................................................................................................ 24

5.5 Effects on learning designs ............................................................................................................ 24 6 Lessons Learned and Future Adjustments...........................................................................27

6.1 New knowledge resources from students ..................................................................................... 27 6.2 Emerging teaching practices .......................................................................................................... 27 6.3 Implications for consortium operations......................................................................................... 27 6.4 Implications for university systems and practices ......................................................................... 28 6.5 Any sector wide multiplier effects ................................................................................................. 28 6.6 Unintended consequences of CETLs .............................................................................................. 28 6.7 Adjustments and future plans........................................................................................................ 28 6.8 Reflections on the idea of a CETL as a change strategy ................................................................. 29

7. References..........................................................................................................................30

Page 5: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

 

3

List of Tables, Figures and Appendices  Figure 1: SPLINT logo ......................................................................................................................................... 6 Figure 2: Staff and Students in the GIS MSc laboratory at Leicester................................................................. 8 Figure 3: Secondary  school teachers at a GIS workshop at  Leicester ............................................................. 8 Figure 4: UCL‐sponsored conference at RGS‐IBG.............................................................................................. 8 Figure 5: SPLINT launch at East‐Midlands CETL event, Nottingham ................................................................. 8 Table 1: Summary of SPLINT Facilities and Equipment ................................................................................... 10 Table 2:  The Core SPLINT Team...................................................................................................................... 10 Figure 6: Staff and students using GPS equipment ......................................................................................... 11 Figure 7: MSc students on mobile computing course ..................................................................................... 11 Figure 8: Staff and students using tablets on field course .............................................................................. 11 Figure 9: Field equipment................................................................................................................................ 11 Figure 10: Virtual Reality theatre at  Leicester................................................................................................ 14 Figure 11: Photogrammetry laboratory at IESSG, Nottingham....................................................................... 14 Figure 12: Workshop underway at UCL (Geography’s)  SPLINT room............................................................. 14 Figure 13: Professor Dick LeGates (SFSU) SPLINT’s first visiting fellow........................................................... 14 Figure 14: Students using tablets at Leicester’s Exeter field course for first year students ........................... 26 Figure 15: Nottingham Geography’s new PC laboratory................................................................................. 26 Figure 16: UCL Geomatics’ new MSc classroom.............................................................................................. 26 Figure 17: Nottingham’s Virtual Reality theatre ............................................................................................. 26 Figure 18: Special feature on SPLINT............................................................................................................... 30 Figure 19: Focus on SPLINT.............................................................................................................................. 30 Figure 20: SPLINT in HEFCE & Parliamentary publications.............................................................................. 31 Figure 21: JETL trifold (part of) ........................................................................................................................ 31 Figure 22: Secondary education workshop ..................................................................................................... 32 Appendix 1: The Relationship between purposes of the SPLINT and HEFCE Evaluations............................... 33 Appendix 2:  Programme Outcomes, Deliverables and Associated Evaluation Evidence for the Period 2005 ‐ 2007................................................................................................................................................................. 34  List of Acronyms 

3D  3 Dimensional AAG  Association of American Geographers AC  Advisory Committee AGI  Association for Geographical Information AR  Augmented Reality BERA  British Education Research Association BGS   British Geological Survey CASA  Centre for Advanced Spatial Analysis CEBE  Centre for the Built Environment CETL  Centre for Excellence in Teaching and Learning CMC  Centre Management Committee CPD  Continuing Professional Development CULN  Colleges of the University of Leicester Network EPSLL  Enhanced Postgraduate Spatial Literacy Learning ESRI  Environmental Systems Research Institute, Inc. EU  European Union FE  Further Education GEES  Geography, Earth and Environmental Sciences GENIE  Genetics Education Networking for Innovation and Excellence (CETL) GIS  Geographical Information Systems/Science GPS  Geographical Positioning System 

Page 6: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

 

4

HE  Higher Education HEA  Higher Education Academy HEFCE  Higher Education Funding Council for England HEFCW  Higher Education Funding Council for Wales HEI  Higher Education Institution IESSG  Institute of Engineering Surveying  and Space Geodesy IMPALA  Informal Mobile Podcasting and Learning Adaptation M‐Level  Masters level METIER  Methods of Interdisciplinary Environmental Research PDA  Personal Digital Assistant NSF  National Science Foundation PiCETL  Centre for Excellence in Innovative Physics Teaching (CETL) RGS‐IBG  Royal Geographical Society (with the Institute of British Geographers) RLO‐CETL  Centre for Excellence in Learning and Teaching in Reusable Learning Objects (CETL) RS  Remote Sensing SEED  Spatially Enabled Education Development SPLINT  Spatial Literacy in Teaching SPLINT: er  Spatial Literacy in Teaching: equipment resources SST  Spatial Skills Test TEF  Teaching Enhancement Forum UCAS  Universities and Colleges Admissions Service UCL  University College London VLSL  Virtual Learning for Spatial Literacy VLL  Visual Learning Lab (CETL) VR  Virtual Reality  

Page 7: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  5

1 Executive Summary 

This report contains an evaluation of the HEFCE‐funded SPLINT Centre for Excellence in Teaching and Learning (CETL) over the first 2 years of operation.  SPLINT is a collaborative CETL involving the University of Leicester (Geography), University of Nottingham (Geography, IESSG) and University College London (Geography, CASA and Geomatics) HEIs. 

The purpose of this evaluation was to gauge both the state of play in the CETL as regards activity progress, and the perception of the CETL and its impact from a variety of stakeholders, and also to feed into plans for activities during years 3‐5 of HEFCE‐funding.  

The SPLINT CETL stage 2 bid proposal to HEFCE provided the academic and business case for a 5‐year programme to develop both the pedagogy and technology for spatial literacy and spatial thinking, with primarily a taught postgraduate (M‐level) audience in mind.  This audience was subsequently broadened to accommodate undergraduate and research students at tertiary level,  as well as audiences at secondary level by the subsequent SPLINT:er capital spend proposal. 

The first 2 years of SPLINT existence to date has very much been a matter of negotiating the capital spending required by HEFCE to build the CETL infrastructure, whilst simultaneously addressing the deliverable targets as identified in the stage 2 bid proposal document.  The amount of time taken by the capital spending element – particularly factoring in the SPLINT:er spend over an earlier time‐frame – whilst adhering to the original set of deliverables, has placed some pressure on SPLINT staff. However, it is to the great credit of those staff concerned (very few of whom work full time for the centre) that the majority of deliverables have been hit, many exceeded, with only a few having fallen by the wayside/behind.  

Section 5 is the key section of this document which reports on the evaluation findings.  The key positive elements coming out of the SPLINT CETL  are:  

• A world‐class  teaching and learning infrastructure for teaching spatial literacy has been established across the consortium universities 

• A wide variety and significant number of students across the consortium (and beyond) have already made use of the facilities – in particular the visualisation and field‐work technologies – and resources 

• 10 workshops and conferences have been sponsored or organised by SPLINT staff on both UK and international stages 

• SPLINT staff have delivered over 30 papers to internal, UK and international audiences 

• Teachers across the consortium (and beyond) have already been impacted by and used SPLINT resources for teaching 

• Collaboration with external partners has progressed at a number of levels, with involvement taking place with the HEA, professional bodies, government departments, UK and foreign agencies, private sector companies as well as other CETLs and UK and foreign universities 

• The facilities have been demonstrated to a wide number of stakeholders  

• Information about the CETL has been disseminated to a varied audience across the UK and internationally   

• Progress has been made in developing mobile visualisation technologies and the pedagogic underpinnings of spatial literacy  

• SPLINT has resulted in both HE and secondary level teachers working towards common learning and teaching goals to a degree which would have been impossible without CETL funds 

• Considerable potential for future engagement with a wide variety of students, teachers, disciplines, universities and the HE and secondary sector as a whole has been identified  

Inevitably some less positive elements have been identified as well: 

• Necessary concentration on capital spending to date has distracted from the more pedagogic activities 

Page 8: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  6

• The management structure of SPLINT is more collegiate than hierarchical given the distribution of personnel across 7 departments in 3 universities 

• The strategic impact of SPLINT (on teaching and learning as well as reward and recognition policies) has to date been uneven across the consortium institutions 

• Progress in developing the pedagogy of spatial literacy has been slower than was originally envisaged 

• Unforeseen technological difficulties have limited some of the roll‐out to students and teachers 

• Dissemination has been more opportunistic than originally envisaged  

• Questions of sustainability beyond the 5‐year period of HEFCE funding are already shaping activities and strategy  

 

Acknowledgements:  The evaluation reported on in this document is the result of work over several months by a number of individuals. Of particular note are the contributions of the SPLINT site managers Dr Claire Jarvis, Prof Paul Longley and Dr Gary Priestnall, although all SPLINT staff have at one time or other been involved in activities which underpin this document.   

The SPLINT CETL could not function without a much wider group of individuals.   Special mention should be made of the contribution of Mrs Janet Carter for handling the administration, and Ruth Johnson for handling the finances. Input from individuals on the Advisory Committee (Prof Mick Healey, Prof Peter Fisher, Dr David Medyckyj‐Scott,  Dr Ed Parsons, Dr Helen King, Mr Nick Groome, Angela Baker)  and those on the University of Leicester CETL Strategy Committee – Prof John Fothergill in particular ‐  has been invaluable as has the aid of the Executive Director, Prof Chris Brunsdon.  SPLINT is based in existing departments across 3 universities, and inevitably the help of senior managers and staff in those departments, and elsewhere in those universities has been critical to the smooth running of the CETL. As always, a variety of people have informally shaped the direction of the CETL: special mention must go to Prof David Unwin for 

ideas and encouragement (often dispensed over a pint) and Dr Liz Grant for her support. 

Thanks should also go to a number of senior managers across the consortium universities who contributed time for interviews. Specifically, at Leicester: Prof Bob Burgess (Vice‐Chancellor), Prof John Fothergill (Pro‐VC), Prof Kevin Lee (Dean) Mr Paul Jackson (Director, Student Support and development service), Prof Mike Bradshaw (Head of Geography); at Nottingham: Prof Alan Dodson (Pro‐VC) and Prof Charles Watkins (Head of Geography); and at UCL:  Prof Ray Harris (Dean and Prof of Geography) and Mrs Julia Abbott (Senior EO Vice‐Provost’s Office), and the visiting fellow Prof Dick LeGates.    

Last but by no means least, SPLINT is student‐facing and would be meaningless without student involvement.  The majority of our activities rely on the cooperation and interest of the students that we all teach, and who in some cases endure the new ideas and technology we have introduced with considerable good humour!  

Particular thanks to all those above and Alan Palmer of HEFCE, is extended by the Director Dr Nicholas Tate for forbearance in the face of bereavement towards the end of this evaluation process.   

This report is primarily the work of the internal evaluator Dr Jane Wellens and the SPLINT Director Dr Nicholas Tate. 

Jane Wellens and Nick Tate  

Leicester 2007 

 

 

 

 

 Figure 1: SPLINT logo 

Page 9: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  7

2 Introduction 

The Spatial Literacy in Teaching (SPLINT) Centre for Excellence in Teaching and Learning (CETL) is a consortium of 3 institutional partners: the University of Leicester, University of Nottingham and University College London.  It aims to enhance the teaching and learning of spatial literacy.  Each of the partner institutions run internationally renowned and successful M‐Level programmes that focus on geospatial technologies and spatial literacy.  They also offer undergraduate programmes and postgraduate research degrees that include geospatial technologies and spatial literacy. 

SPLINT is one of 74 Centres of Excellence in Teaching and Learning selected and funded by the Higher Education Funding Council for England (HEFCE).  The key objective of the overarching CETL initiative is to recognise, reward and advance excellence in learning and teaching in higher education through substantial investment in excellent teaching, encouraging innovative approaches to learning and supporting related pedagogic research. SPLINT will receive £3.9 million from HEFCE to address these issues in relation to enhancing the learning and teaching of spatial literacy during the period 2005 – 2010. Of this £1.4 million was earmarked for capital spend.  In addition, SPLINT received a further £245,000 for capital spend in March 2006, to support the activities outlined in the SPLINT:er (Spatial Literacy in Teaching: equipment resources) proposal. 

SPLINT has been in operation for 2 years.  A considerable part of this period has been taken up with capital spend activities such as the refurbishment of laboratories and the procurement and installation of the VR theatres at Leicester and Nottingham.  In addition, the design and planning of specific work plan activities as well as the initial development of resources and materials to support teaching of spatial literacy also took place during year 1 (2005/6 academic year), although the opportunity to implement these within the curricula did not occur until year 2 (2006/7 academic year).   

2.1 Structure and audience 

This section of the report addresses the aims and outcomes of the SPLINT CETL, outlines the evaluation approach, describes sources of evaluation evidence and summarises findings 

related to both key project activities and the wider CETL objectives.  The evaluation has adopted an ‘internal‐facing’ formative approach in order to help the main centre management team to learn from the experience of the first 2 years of operations and feed into further development for years 3‐5 and beyond.  The report will also be shared with other audiences including the 3 host institutions, HEFCE, the HEA (and their evaluators).  Extracts of this evaluation report will also be circulated to other stakeholders (identified in the evaluation strategy) and made publicly available via the SPLINT website. 

2.2 Connection with other reports and overview of evidential base 

The report draws upon, and is related to a number of other reports and documents. These include: 

• The original Stage 2 SPLINT proposal and business plan 

• The SPLINT:er proposal 

• Centre Management Committee (CMC) meeting minutes 

• Advisory Committee (AC) meeting minutes 

• Institutional Learning & Teaching strategies 

• Institutional Learning & Teaching Committee minutes 

• SPLINT work‐packages 

• SPLINT Annual Monitoring Scheme reports to HEFCE 

• University of Leicester CETL Strategy Committee meeting minutes 

In addition to these reports and documents the evaluation has drawn upon a wide range of formal and informal evidence.  This includes:  

• A range of feedback/evaluation surveys 

• Interviews with senior managers, staff and students 

• Student focus groups 

• Website user and traffic statistics 

• Student coursework 

• Analysis of teaching materials 

• Student profiles and progression 

Page 10: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  8

2.3 Purpose 

This report is a formative self‐evaluation of the first 2 years of the SPLINT CETL’s activities (academic years in the period 2005 – 2007).  It reflects on progress to date and provides information and data to inform future development and identify areas of priority for the remaining 3 years of HEFCE funding. The report also serves to inform others, such as HEFCE and their central evaluation team of SPLINT’s progress.   

Evaluation is a crucial and ongoing process within the lifetime of the SPLINT CETL.  The purposes of the SPLINT evaluation process are to: 

• Assess the short‐ and long‐term outcomes of the CETL 

• Determine if, and how, SPLINT is impacting on stakeholders 

• Examine how SPLINT is being impacted by internal and external factors, and  

• Generate explanations that can inform, improve and develop current and future developments 

These purposes map onto those areas that HEFCE identify as core to the CETL evaluation (Appendix 1).  

 Figure 2: Staff and Students in the GIS MSc laboratory at Leicester  

 Figure 3: Secondary  school teachers at a GIS workshop at  Leicester 

 Figure 4: UCL‐sponsored conference at RGS‐IBG 

 Figure 5: SPLINT launch at East‐Midlands CETL event, Nottingham 

 

Page 11: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  9

3 Aims and Scope 

3.1 Purpose 

Spatial literacy is defined as the formal ability to think spatially and adopt an explicitly spatial metaphor for problems and relationships.  Geospatial technologies are the major enabling tools employed in developing spatial literacy within HE.  They are pivotal to a broad range of vocations and have been identified as one of the 3 biggest growth sectors and important emerging and evolving fields in advanced knowledge economies.  

Traditionally geospatial technologies have been viewed as the domain of spatially‐enabled disciplines such as geography and geomatics, but their growing sophistication and widespread application in several new significant policy areas such as telecommunications, environmental management, engineering and local government mean this is no longer the case.   University and CPD courses teaching geospatial technology are now recruiting participants from diverse disciplinary backgrounds – often with a view to the subsequent application and integration of the technology in their respective discipline or workplace.  There has simultaneously been an interest in the use and application of geospatial technology amongst the general public driven by new functionalities offered by mobile phones, in‐car navigation systems and software such as Google Earth.  However, many of those now using geospatial technologies either lack, or have only rudimentary, spatial literacy skills.   

Therefore, the conceptual starting point for the SPLINT CETL was to develop the pedagogic flesh to place on already existing bones of teaching excellence across the 3 institutional partners, with the aims of entrenching and reinforcing that excellence both within the traditional subject areas involved and beyond. The actual and practical starting points for the CETL were to put in place the infrastructure for teaching spatial literacy through a combination of capital and recurrent investments in equipment and personnel.  

3.2 Aims, activities, objectives and programme outcomes 

The aims of the SPLINT CETL as described in the Stage 2 bid proposal were to 

“Deliver innovative, high‐quality learning and teaching of spatial literacy, using state‐of‐the art geospatial technologies to enhance postgraduate student learning.  It will operate not just within traditional spatially enabled disciplines, such as geography and geomatics, but reach out to other disciplines wishing to embrace spatial literacy.  It will enable and reward staff to direct effort specifically towards developing a widely applicable pedagogy of spatial literacy, and to develop internationally leading taught MSc programmes.” (p.2) 

The Stage 2 bid proposal identified a number of activities and objectives for the SPLINT CETL that focussed around 3 major initiatives:  

1. Enhanced Postgraduate Spatial Literacy Learning (EPSLL) To pioneer innovative teaching approaches and developing pedagogy to improve the teaching of spatial literacy in existing face‐to‐face geospatial taught postgraduate programmes. 

2. Spatially Enabled Education Development (SEED) To establish new formal points of contact to develop spatial literacy in disciplines and areas that are not currently spatially enabled. 

3. Virtual Learning for Spatial Literacy (VLSL) To develop, implement and evaluate virtual reality and ICT tools for the learning and teaching of spatial literacy. 

These 3 initiatives provided a meta‐framework for the specific activities and deliverables described in Table 2 of the original Stage 2 bid proposal.  The focus of development from the Stage 2 bid proposal was on taught postgraduate programmes – largely at M‐level – across the consortium institutions.  The SPLINT:er  proposal widened the remit of SPLINT to further involve both undergraduate and research post‐graduates as well as those at a FE and secondary level in schools and colleges.   

The capital spending elements of the Stage 2 and SPLINT:er proposal are critical to the achievement of these 3 SPLINT initiatives and this has been a substantial and time consuming activity during the first 2 years of the CETL.  The capital spend enabled the following upgrade of facilities and equipment at all 3 sites which are intended for both staff and student use (Table 1) 

Page 12: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  10

 

Leicester  Nottingham  UCL 

Installation and refurbishment of GIS laboratories to provide suites of high‐specification PC and UNIX workstations. 

Installation of immersive virtual reality theatre (160 degree field of view) and associated modelling and stereo visualisation software. 

Purchase of a portable stereo projector system. 

Purchase of equipment pool for mobile field applications including PDAs, GPS, differential GPS, tablet PCs, digital cameras, digital camcorders,  iPods, digital compasses and head‐mounted augmented reality displays. 

Refurbishment of IESSG and Geography computer laboratories. 

Installation of immersive virtual reality theatre and associated modelling and stereo visualisation software. 

Purchase of equipment pool for mobile field applications including: PDAs, tablet PCs, rugged laptops, GPS, digital cameras, digital camcorders, digital compasses, head‐mounted augmented reality displays. 

Refurbishment and upgrade of SPLINT GIS classroom. 

Refurbishment and upgrade of CASA demonstration suite. 

Refurbishment and upgrade of Geomatics classroom.  

Refurbishment and upgrade of Geomatics laboratory. 

Purchase of equipment pool for mobile field applications including: tablet PCs and digital cameras. 

 Table 1: Summary of SPLINT Facilities and Equipment 

 

 

Table 2:  The Core SPLINT Team University of Leicester Name  Role  Time♠ Prof Chris Brunsdon  Executive SPLINT Director  10% Dr Nick Tate  SPLINT Director  40% Dr Claire Jarvis  Leicester Site Manager  20% Mrs Janet Carter  Administrator  50% Mr Bill Hickin  Computer Officer  30%∗ Dr Jing Li  Research Associate  100% Mr Benjamin Pozos‐Hernandez  Research Associate  100% Dr Jane Wellens  Internal Evaluator  20% University of Nottingham Name  Role  Time Dr Gary Preistnall  Nottingham Site Manager  20% Dr Martin Smith  Nottingham deputy Site Manager  0% Ms Gemma Polmear  Research Associate  100% Dr Andy Burton  Research Fellow  100% University College London Name  Role  Time Prof Paul Longley  UCL Site Manager  20% Mr Alex Singleton  Research Associate  100%♥ Ms Sue Barker  Administrator  20%♣ 

*  approx: time freed up by 50% SPLINT employment of a junior colleague ♠ notional time funded by centre ♥ also enrolled on PhD ♣ time allocation recently altered 

Page 13: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  11

3.3 Stakeholders in the SPLINT CETL 

The core SPLINT team is distributed across the 3 consortium sites (Table 2).  This team is responsible for the planning, development, delivery and evaluation of the SPLINT activities and outcomes.  The core team also works closely with other staff within the host departments and institutions in activities related to the SPLINT outcomes. 

Other stakeholders include: 

• Students on existing M‐level, undergraduate and postgraduate research programmes within the consortium 

• Students and tutors in cognate disciplines in UK HE 

• Students and tutors in non‐spatial disciplines in UK HE 

• Those engaged in lifelong learning and professional development opportunities related to spatial literacy 

• Students and tutors in the school and FE sectors (SPLINT:er)  

The different stakeholders and their interests and roles in the evaluation process are identified in Table 3. 

 Figure 6: Staff and students using GPS equipment 

 Figure 7: MSc students on mobile computing course 

 Figure 8: Staff and students using tablets on field course 

 Figure 9: Field equipment 

Page 14: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  12

Table 3: Stakeholders in the SPLINT CETL 

Stakeholder   Interests/Perspectives  Role in Evaluation  Engagement 

Stakeholders engaged in SPLINT operations Director Site managers Project staff SPLINT fellows 

Vested interest in the success of SPLINT See evaluation as personal judgment 

Identifying data sources Collection and analysis of evaluation data Implementing  and disseminating findings 

Meetings Direct roles in conducting evaluation 

Internal evaluator  Maintaining independence  Coordination of evaluation activities Producing of the evaluation strategy/framework Development of evaluation tools and protocols Analysis of the evaluation data Report production and dissemination of evaluation findings 

Meetings Direct role in conducting evaluation 

Stakeholders affected by SPLlNT activities  M‐level, Research and undergraduate  students within the consortium departments 

Want high quality teaching/learning experiences Fear of being a guinea pig 

Providing student perspectives and feedback Help in interpreting findings 

Surveys, interviews, analysis of coursework etc. Inform of findings and progress 

Students studying cognate disciplines in UK HE  Want high quality teaching/learning experiences 

Providing student perspectives and feedback Help in interpreting findings 

Surveys, interviews etc. 

Staff teaching cognate disciplines in UK HE  May be coping with similar challenges  Providing context Help in interpreting findings 

Surveys, interviews etc. Inform of findings 

Students studying non‐spatial disciplines in UK HE  Want high quality teaching/learning experiences Lack of awareness of SL 

Providing student perspectives and feedback Help in interpreting findings 

Surveys, interviews etc. 

Staff teaching non‐spatial disciplines in UK HE  Lack of skills in teaching SL  Providing context Help in interpreting findings 

Surveys, interviews etc. Inform of findings 

Staff & students in the school and FE sectors  Lack of awareness of SL Lack of spatial literacy skills 

Providing context Help in interpreting findings 

Surveys, interviews etc. Inform of findings 

The public (lifelong learning and professional development)  

Interest in SL  Providing context Help in interpreting findings 

Surveys, interviews etc. Inform of findings 

Employers  Require spatially literate employees  Providing context Help in interpreting findings 

Surveys, interviews etc. Inform of findings 

Institutional Stakeholders University of Leicester University of Nottingham University College London 

Determine if project is effective Identify good/poor practice Vested interest in the success of SPLINT 

Providing institutional perspectives Defining information required from the evaluation Implementing/disseminating findings 

Interviews May play role in conducting evaluation Inform of findings 

Other Stakeholders HEFCE The Higher Education Academy GEES and CEBE Subject Centres (of HEA) 

Determine if project is effective Identify good/poor practice  

Providing wider perspectives Defining information required from the evaluation Implementing/disseminating findings 

May play role in conducting evaluation Inform of findings 

Page 15: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  13

4 Evaluation Framework and Approach 

In contrast to the RUFDATA model mentioned in the stage 2 bid proposal, the evaluation approach adopted is that of Theory‐based Evaluation (Chen, 1994, Kellogg Foundation, 2004). Theory‐based evaluation is founded on the idea that every project has an underlying theory, often implicit, which explains how and why it will work.  In order to understand what the SPLINT CETL is trying to achieve it is necessary to identify this theory.  This is achieved by developing a model which describes how SPLINT is expected to work, through identification of the sequence of activities and interim outcomes that will lead to the final programme outcomes.  The establishment of activities and interim outcomes helps identify, evaluate and monitor progress towards these 5‐year programme outcomes and provides opportunities for the project team to make adjustments to activities in the light of these findings.   In the case of SPLINT, although the Stage 2 bid proposal included detailed 2‐year outcomes, there was a lack of clarity in terms of what the overall longer‐term objectives of the CETL were and how these outcomes would feed into them.   

As part of the evaluation approach adopted by the project team, and also motivated by the subsequent SPLINT:er proposal funding (enabled by the additional capital spend), the project team revisited, clarified and revised the aims, activities and objectives identified in the Stage 2 bid . This ensures that there was both a clear picture as to how the various different elements related, and a common understanding of the purposes of the SPLINT CETL by academics across the centre, and those in associated and cognate departments within the institutions concerned.   

The outcome of this process was the development of 7 specific programme outcomes towards which all SPLINT activities and objectives are ultimately directed.  These are to: 

1. Enhance students’ learning on M‐level programmes within the consortium with regard to Spatial Literacy by developing innovative curricula that: 

a. Exploit developments in new technologies, and 

b. Cater for the increasingly diverse disciplinary backgrounds of students on such programmes 

2. Enhance students’ learning at undergraduate and postgraduate‐research level with regard to Spatial Literacy 

3. Improve the generic/transferable skills of students on M‐level programmes within the consortium 

4. Promote and develop the learning and teaching of Spatial Literacy within: 

a. Cognate disciplines in UK HE 

b. Non‐spatial disciplines within UK HE 

c. The school and FE sector (SPLINT:er), and 

d. Beyond (lifelong‐learning and professional development) 

5. Promote the reward and recognition of staff involved in enhancing learning and teaching of Spatial Literacy 

6. Develop M‐level pedagogy and disseminate the outcomes within the sector 

7. Develop and enhance teaching and learning infrastructure within the consortium 

Two mapping documents demonstrate how these programme outcomes map onto the aims and objectives identified in the Stage 2 proposal and SPLINT:er proposal.  They can be found here. 

In addition, this process also provided an opportunity to review and make changes to the 2‐year outcomes identified in the Stage 2 bid proposal and identify the evaluation questions and evidence which would be used to assess them.  This information is summarised in Appendix 2 which also serves as an index to all the evaluation evidence submitted with this report. 

4.1 Ethical framework 

SPLINT aims to conduct all research and evaluation activities in accordance with the British Educational Research Association (BERA) Revised Ethical Guidelines for Educational Research (2004).  This addresses the researcher’s responsibilities to participants, sponsors and the community of researchers.   All students and other participants involved in SPLINT and SPLINT‐related activities are informed of the aims and purposes of the CETL and the ways in which they may passively contribute to the gathering of evaluation evidence.  Voluntary informed consent is required 

Page 16: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  14

from all participants taking part in active evaluation activities such as focus groups and interviews and they are made aware of their right to withdraw from the research at any time.  In addition, Burman and Kleinsasser’s (2004) Nine Principles to Guide the Use of Student Work in Classroom Enquiry underpin SPLINT activities which involve use of student work as part of pedagogic evaluation. Examples of consent forms and other ethical statements used by SPLINT can be found here. 

4.2 Reflections on the evaluation process 

As identified in section 2, evaluation has been an ongoing activity throughout the first 2 years of the SPLINT CETL.  Evaluation issues have been discussed at the majority of Centre Management Committee meetings and Advisory Committee meetings.  The internal evaluator has also met regularly with the Site Managers and SPLINT Director in order to identify, discuss and plan specific evaluation activities.  These activities have helped the core team develop a shared understanding of the aims of the evaluation and, where possible, identify common issues and approaches.   

Although some evaluation took place during the first year of the SPLINT CETL, this was largely a time of capital spend and facility upgrade.  The first opportunities to evaluate many SPLINT activities, particularly those concerned with curriculum development occurred during the last academic year (2006/7).  Many of these were semester 2 activities and, as a result, the data have only recently been collected.  This means that in some cases there has been insufficient time to analyse the results fully and reflect upon their implications for future work, or that this has happened at a local‐level only and there is a need for consortium‐level discussions and exchange in order to consider the broader implications. This is something which will continue over the next few months in order to inform the developments of activities in years 3‐5. 

In addition, preparation of this report has highlighted that evaluation discussions and data collection have, thus far, tended to address discrete activities.  The 2‐year interim evaluation has been a helpful process in that it has re‐focussed attention on evaluating the broader outcomes of the SPLINT CETL. 

 Figure 10: Virtual Reality theatre at  Leicester 

 Figure 11: Photogrammetry laboratory at IESSG, Nottingham  

 Figure 12: Workshop underway at UCL (Geography’s)  SPLINT room 

 Figure 13: Professor Dick LeGates (SFSU) SPLINT’s first visiting fellow 

 

 

Page 17: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  15

5  Key Findings 

This section considers both the short‐ and long‐term outcomes of the CETL.  Activities in the period 2005‐7 mapped against 2‐year target outcomes for this period can be found in a table in Appendix 2 (which is a modification of the 2‐year outcomes table from the stage 2 bid document).  Each activity has been numbered, associated with evaluation questions and evidence and organised under a heading: 

• SPLINT General 

• SPLINT Gain institutional interest and involvement within consortium universities 

• SPLINT External dissemination 

• EPSLL initiatives (numbered) 

• SEED initiatives 

• VLSL initiatives (numbered) 

Specific activities from this table are cross‐referenced in the text below by the inclusion of a red number. (Note: The cross‐referencing is illustrative rather than completely exhaustive).  For example [4.] both refers and hotlinks to an entry in the SPLINT Gain institutional interest table about University of Leicester institutional interest/ involvement in SPLINT.  In this example the evidence is in the form of interviews carried out with senior managers at the University of Leicester. Following the link to the appropriate part (entry 4) of the table in Appendix 2 reveals further hotlinks to specific evidence contained on the DVD  ‐ in this case interview transcripts.   

In addition to the specific outcomes, this section will also reveal if, and how, SPLINT is both impacting on the various stakeholders identified in Table 3, and being impacted on by internal and external factors.  The resulting commentary is designed to inform, improve and develop current and future developments. 

5.1  Student experience 

The main ways in which SPLINT has directly impacted upon the student experience to date have been through changes to teaching and learning practices within Masters and undergraduate programmes within the consortium.  These developments have been brought about in 3 main ways: 

• Within SPLINT programmes, as a result of the new SPLINT facilities and equipment 

• Within SPLINT programmes as an outcome of pedagogic research and curriculum development, and 

• Within cognate and other disciplines as a result of SPLINT outreach activities 

5.1.1 New facilities and equipment 

Changes to teaching and learning practices have been enabled through the new SPLINT facilities and equipment [46.47.48.] for which the capital  spend was a crucial and time intensive pre‐requisite.  In addition, considerable development work was necessary to produce the new resources once the facilities and equipment were in place.  As a result the first opportunity to implement these new teaching and learning practices occurred during the academic year 2006/7.  In some cases it was necessary to pilot them as stand‐alone activities rather than as integrated parts of existing modules in order to provide the current cohort of students with the opportunity to engage with these newly developed resources.  

The new facilities and equipment have enabled the development and implementation of:  

• Class and field‐based practicals making use of a wide range of new mobile technology software and hardware for both MSc and undergraduate students [62. 64.66.67.68.70.] 

• Podcasts to assist MSc and undergraduate students with the use of field equipment and GIS practicals [33.63.] 

• Virtual reality models for demonstrating concepts related to Global Positioning Systems accuracy, wayfinding and navigation [49.51.53.58.] 

• Virtual reality models for familiarising students with field course locations and providing 3D visualisations of landscape evolution for these locations [52.54.] 

Module evaluation forms [50.], video diaries [60.]  and focus groups [58.66.] have been used to gather feedback from students regarding their experiences of these developments and how they consider they have impacted upon their learning.  The evaluation addressed the usability of the equipment and supporting documentation, personal expectations and outcomes from the 

Page 18: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  16

learning experiences and any problems encountered. 

The feedback received has been largely positive and encouraging indicating that students value the opportunity to gain experience of the new technologies and that they consider that they add to their understanding of spatial concepts and employability.   

“Yes, that was great, the iPod and having instructions about what to do, just having that as an overview before you started on the photo practical really, was good”   

“Yes, I’d go with the PDAs, they were fantastic they were”  

“It [Photolink software] would be really good for like underground geology as well, and you can have anything where you’ve got like odd … structures, that kind of thing, would be brilliant, really good.”  

(Leicester MSc Students ‐ Focus Group on Mobile Computing 12/06/07) [49.]  

Negative feedback is largely related to technical problems that the students encountered, such as equipment failure or unforeseen problems due to large numbers of students using equipment simultaneously/in close proximity and the fact that some of the activities occurred late in their programme of study and were not fully integrated into the curriculum.  These insights are extremely useful in terms of the further development, refinement and testing of the learning activities and resources for subsequent cohorts. 

“… if it’s two days of our time makes next year work, then good …”  

(Leicester MSc Students ‐ Focus Group on Mobile Computing 12/06/07) [49.]  

As well as developing teaching resources that make use of the virtual reality suite and 3D models which are demonstrated to/experienced by students [49.50.51.53.54.], the VLSL initiative has also enabled students themselves to develop 3D VR representations.  At Leicester SPLINT student bursaries have enabled students to develop a 3D model of the Leicester campus, which has subsequently been used in a variety of other applications, and a 3D spatial memory test developed in conjunction with the Department of Psychology[13.].  During the 2007 summer vacation ca. 20 students have borrowed the mobile field equipment for use in their 

dissertation research and 3 are undertaking lab‐based visualisation research.  This suggests that the student experience in the formal teaching programme has been positive in that it has encouraged them to make use of these new technologies for independent project work. 

5.1.2 Pedagogic research and curriculum development 

The EPSLL initiative addresses a number of pedagogic research questions related to the enhancement of students’ learning of spatial literacy.  At this 2‐year stage many activities are still at the data collection and/or analysis stage and have yet to feed into the curriculum (and are outlined in more detail in section 5.5 below).  However, one area where there has already been an impact on the curriculum is as a result of interviews carried out with staff and students to map the learning theory dimensions of Dyke et al. (2007) and Laurillard (2002) against existing curricula and teaching and learning practices within the GIS masters programmes.   

The aim of this study was to determine students’ learning needs within 25 modules across 3 Masters courses in GIS across the consortium and to orientate the development of further teaching tools and adaptations to those most productive and powerful.  The constructivist learning framework developed by Laurillard (2004) allowed pedagogic problems to be identified and provided strong indicators for where future developments should be targeted. The diagnoses also confirmed the degree to which students from non‐geographical backgrounds, in particular, need support in order to become better spatial thinkers. 

Although addressing many of the pedagogic issues identified as a result of this process is still ongoing, the interviews carried out with students in 2005/6 identified a number of issues related to students’ understanding and learning of key concepts in the Leicester module GY7022 Programming for Spatial Scientists.  As a result in 2006/7 students following this module were asked to keep reflective diaries [32.] in order to identify where, when and in what ways they experienced difficulties during the programming practicals and associated coursework.  These diaries demonstrate a richness of student reflection and have proved highly insightful to the module staff in identifying areas where students require further support or 

Page 19: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  17

experience particular difficulties in these activities.  These will be used to develop the teaching and learning approaches used in this module in the future.  In addition, the interviews with the 2006/7 students [32.] indicate that they found the process of keeping the reflective diaries highly valuable in terms of developing their programming skills and understanding their own learning preferences, in some cases enabling them to find solutions to particular programming problems independently.   

5.1.3 SPLINT outreach activities 

The SEED initiative is engaged in activities to outreach and develop the learning and teaching of spatial literacy beyond the immediate consortium programmes.  To date, most of these activities have been directed at teaching staff in cognate and non‐spatial disciplines so it is not possible to measure the direct impact that these have had on students in these disciplines.  Examples of activities which have had a direct impact on the student experience are: 

At UCL a presentation on spatial literacy and GIS at the teaching  and learning conference (held every 2 years) in Spring 2006 has resulted in contributions on this subject to other M‐level programmes in Electronic Communication and Publishing, Transport Studies and Archaeology during the 2006/7 academic year [7.]. 

At Leicester a 3D spatial memory test, making use of the SPLINT visualisation suite and modelling software, has been developed in conjunction with the Department of Psychology [13.]. 

The UCL staff have developed an online module Turning Data into Information with ArcGIS 9 as part of the ESRI Virtual Campus.  Free access to these resources is available to students and instructors at institutions worldwide with ESRI software licenses [45.]. 

5.2 Connections with external partners 

Over the first 2 years the SPLINT has successfully built upon, established and developed connections with a number of external partners.  Many of these have resulted in tangible activities and outcomes directed towards SPLINT programme outcomes, particularly SEED workshops.  In addition, discussions are ongoing with a number of other partners about the potential for future developments and activities. These connections are summarised below: 

5.2.1 Higher Education Academy (HEA) 

SPLINT has worked closely with the HEA and in particular the GEES and CEBE Subject Centres. The GEES Assistant Director (Dr Helen King) was a member of the SPLINT Advisory Committee until recent re‐location abroad.  Articles about the SPLINT CETL have featured in the GEES newsletter [19.] and in conjunction with GEES, SPLINT organised a workshop at the University of Leicester The Place of GIS in the Curriculum in May 2005 [37.].  An outcome of this workshop is a Journal of Geography in Higher Education special issue on Spatial Literacy which the SPLINT Director is editing.  In addition, SPLINT has contributed to GEES workshops on Virtual Fieldwork and Developments in Field Teaching [21.].  The SPLINT Director is a member of the Geography CETL Directors’ working group which meets annually with the Director of GEES (Prof Brian Chalkley) at the RGS‐IBG annual conference. 

With CEBE SPLINT facilitated a workshop Teaching GIS for Planning Students and Practitioners [16.37.] which was well received by participants.  This contact also resulted in contribution to a CEBE journal by Dick LeGates (a SPLINT Fellow).   The UCL team have also produced a working paper on University Market Area Analysis for Widening Participation in conjunction with CEBE and the HEFCW [44.]. 

At Leicester, SPLINT’s focus on taught postgraduate pedagogy and programmes has resulted in collaborations with the HEA and York Consulting regarding the development of the National Taught Postgraduate Student Survey http://www.heacademy.ac.uk/ourwork/research/surveys. As a result of these discussions a series of staff and student focus groups were held with York Consulting to develop the survey instrument. When the survey went ‘live’ earlier this year 584 of Leicester’s taught postgraduate students participated in the pilot of this survey, the largest response of any of the 31 pilot institutions. Michael Dodd of York Consulting shared some initial findings of the survey at the SPLINT‐sponsored University of Leicester’s Imagining Higher Education Seminar Series: The Taught Postgraduate Experience ‐ Considerations and Complexities for Teaching and Learning Practice held in May 2007 [9.]. 

Page 20: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  18

5.2.2 Royal Geographical Society‐ Institute of British Geographers 

An initial meeting of various geography/ geology facing CETLs and professional organisations (including the RGS‐IBG) was held at the University of Gloucester on 22nd March 2005 [21.].  The SPLINT conference Spatial Literacy in Teaching: communicating GIScience was organised at the Royal Geographical Society on 24th February 2006 [37.].  In addition, personnel from SPLINT have participated in CETL‐focussed paper sessions held at the annual conference of the RGS‐IBG [21.].   

5.2.3 US audiences   

Paul Longley (Site Manager UCL) has collaborated with the NSF’s SPACE Program, University of California to develop the online resource http://www.spatialanalysisonline.com . This website and its online Geospatial Analysis Handbook have had 11,500 unique visitors from more than 35 countries in 2007.  The largest proportion of visitors (17%) being from the UK.  Nicholas Tate (SPLINT Director) has also collaborated with SPACE Director Don Janelle in organising a special awareness‐raising panel session at the Association of American Geographers annual conference in Chicago in March 2006 [21.].  The spatial skills test used as part of EPSSL activities [29.] was adapted from a test developed by the AAG. 

5.2.4 Government departments 

Arising out of the (UCL) E‐Society Profiler http://www.spatial‐literacy.org/esocietyprofiler/  Paul Longley has produced a report for the Cabinet Office’s Digital Exclusion Team [20.].  He has also held discussions on Spatial Literacy and Policy Analysis with the Department for Cultural Affairs and presented at the Department for Education and Skills Annual Research Conference [21.]. 

5.2.5 Ordnance Survey 

The Ordnance Survey’s University liaison officer (Mr Nick Groome) currently sits on the SPLINT Advisory Committee (replacing Dr Ed Parsons, Technical Director of the Ordnance Survey who departed from this post at the start of 2007).  In addition, staff from the Ordnance Survey have visited the SPLINT CASA facilities at UCL for a virtual reality/3D demonstration and the Leicester and Nottingham SPLINT teams exhibited at the 

Terrafuture events at the Ordnance Survey in September 2005 and September 2006. 

5.2.6 British Geological Survey 

Liaison with the British Geological Survey (BGS) is taking place to make use of the BGS digital field data recording system developed by the BGS for fieldwork use, for students across the consortium. This will employ tablet computers purchased at Leicestershire and Nottingham.  Collaboration is also planned with City University in the context of virtual reality and to further develop this product’s mobile field applications.  

5.2.7 East Midlands network of CETLs 

Nine East Midlands CETLs have established a very productive network working together to discuss and move forward overarching themes central to the core aims of the CETL initiative.  Information about the network can be found at http://www.eastmidlandscetls.ac.uk/ and the key themes identified are: 

• Embedding change within teaching and learning practices and in relation to reward and recognition  

• Employability and the development of graduates that are empowered learners 

• Enhancement of learning experience and pedagogy  

• Enterprise and entrepreneurship by involving employers in curriculum design evaluation, and employability and careers strategies  

• Innovations including evidence‐based support for the development of new technologies and approaches  

• Student support for academic and pastoral needs and  

• Outreach and widening participation to engage the next generation, raising aspirations and promoting strategic subject areas such as science, engineering and technology 

The network meets regularly and holds joint workshops related to these common themes.  It has also embarked on several cross‐CETL projects and initiatives to address common goals.    

SPLINT staff have contributed regularly to the network meetings and events.  For example, they coordinated sessions at a workshop on The ABC of Pedagogy held at the University of Leicester in 

Page 21: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  19

January 2007 [21.] and in May 2007, contributed to a meeting at the University of Leicester focussing on reward and recognition.  This explored local and regional policies and ways in which the network could move the national agenda forward. The meeting was attended by Prof Brenda Smith of the HEA and Professor John Fothergill (Pro Vice‐Chancellor for Learning and Teaching, University of Leicester).  A key outcome was that the network would initiate a project to survey UK policies regarding promotions relating to teaching and learning and the ways in which they are being implemented. 

5.2.8 Secondary education networks and collaborations 

A member of EDINA http://edina.ac.uk/  sits on the SPLINT Advisory Committee and this has resulted in discussions regarding developing the teaching of Spatial Literacy in schools.  The SPLINT teams at Leicester and UCL have both run workshops on spatial literacy/GIS for school teachers.  The Leicester workshop Introducing GIS into Secondary Education [37.] was organised in collaboration with the University’s School of Education and the Colleges of the University of Leicester Network (CULN).  Both events received extremely positive evaluations from participants many of whom expressed an interest in future events and maintaining contact.  In addition the UCL team were recently invited to contribute to a Teacher Scientist Network Masterclass in GIS [21.].  Again this was well received with all participants stating that the Masterclass met or exceeded their expectations. 

“Very good range of suitably pitched talks. Idea of geographer & scientist coming together was excellent – v. pleased my managers also saw the potential benefit.” (Participant Teacher Scientist Network 3/3/2007) [21.] 

5.3 Internal strategic impact 

The individual SPLINT sites and their host departments sit within different institutions and institutional structures and their relationships to, and impact upon institutional strategies have therefore been different.  Institutional strategy documents, committee meeting minutes and interviews with senior personnel at all 3 consortium sites have been used to explore the extent to which SPLINT is achieving a strategic impact at each institution. 

5.3.1 University of Leicester  

SPLINT is one of 3 CETLs at the University of Leicester (GENIE and PiCETL being the other 2).  Senior management at the University have actively supported the CETLs since the announcement of the original stage 2 bids.  They have established an institutional CETL Strategy Committee chaired by Prof John Fothergill, Pro Vice‐Chancellor for Learning and Teaching to which the individual CETLs report and which provides a forum for consideration of overarching themes emerging out of the 3 CETLs.  The CETL Strategy Committee reports to the University’s Teaching and Learning Committee.  As a direct consequence of the CETLs, the 3 CETL Directors sit on the University’s Teaching and Learning Committee; the core group of the University’s Teaching Enhancement Forum (a cross‐disciplinary community of practice which aims to develop pedagogy, enhance student learning, and generate change and inform strategy within the University of Leicester) the Employability Working Group, and the new Journal for Excellence in Teaching and Learning. 

Prof Fothergill clearly sees the CETLs as catalysts for change and innovation within the institution: 

“If you think about it, it’s a bit like binoculars and sand.  What we want is we want the CETLs to get out some big binoculars and scan the horizon and find out whether there are any good ideas there to play with.  And then they want to get a good sandpit and play with these ideas and say yes, that one’s good, that one’s good, oh no, that’s a load of rubbish, that’s not going to work, and so on.  And filter those a little bit for us and come along to things like the Teaching Enhancement Forum, the annual meeting, or talk to the Pro‐VCs or engage in the Learning And Teaching Committees and say yes, we think we should be doing that now.”  (Prof John Fothergill, Pro‐Vice Chancellor) [4.]  

These institutional‐level developments mean that the work and activities of SPLINT and the other CETLS are known by senior staff and other members of these committees and forums.  They also mean that the CETL activities are monitored through the University’s internal processes and structures: for example, SPLINT will be subject to an Internal Academic Audit in autumn of 2007.   

The CETLs have also started to influence institutional practices and teaching and learning 

Page 22: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  20

developments.  For example, SPLINT and GENIE both have a focus on taught postgraduate programmes and a consequence of this is that they led a core theme Pedagogy of the Taught Postgraduate Degree addressed by the Teaching Enhancement Forum in 2006/7.  This theme attracted cross‐institutional interest and resulted in a number of events and workshops and led to the University’s work with the HEA and York Consulting on the National Survey of Taught Postgraduate Experience. Related to this was the development of the Imagining Higher Education seminar series [9.].  The impact and acknowledgement of this work is reflected in the interviews with Prof John Fothergill; Professor Kevin Lee (Graduate Dean) and Mr Paul Jackson (Director of the Student Support and Development Service).  A key feature that emerged from these interviews was the opportunity that the Leicester CETLs provided to explore cross‐institutional issues despite the fact that they all have a disciplinary rather than thematic focus.  

“Some of the things that they’re doing are not particularly discipline based.  They’re obviously starting off from a discipline base but actually are transferable to other parts of the University”. (Mr Paul Jackson, Director, Student Support and Development Service) [4.]  

Nevertheless, the relationship between SPLINT and parts of the institution is not always straightforward.  For example, activities related to the capital spend and refurbishment of facilities were beset by a number of problems and the SPLINT staff spent considerable time project managing the work and  attempting to establish the impact of salary increases due to Hay re‐grading. 

“And we’ve been in that sort of uncertain position for the last twelve months.  You know, and the University’s unwillingness to actually sort it out is have been a major source of frustration.  And every time we think it is sorted out, it turns out it’s not”. (Prof Mike Bradshaw, Head of Geography Department) [4.]  

SPLINT has also had some impact at faculty and department levels. There have both been presentations to [21.] and demonstrations of [11.] the SPLINT facilities and discussions regarding possible collaborative ventures with teaching staff in other departments interested in spatial literacy 

issues (such as Geology, Engineering, Chemistry and Archaeology), the development of the 3D Spatial Memory test with the Department of Psychology and podcast development with the Impala project within the Beyond Distance Research Alliance.   

Within the host Geography department the refurbished teaching spaces are used widely by SPLINT, GIS and other departmental staff for teaching at all levels in the University (and externally for 6th form students on UCAS visits and open days as well as secondary teachers in dedicated workshops).  The facilities are also being used increasingly for a variety of external courses, for example the EU‐funded METIER training course and an element of the ESRC’s Research Methods training programme.  In addition, all GIS staff have participated in interviews and activities to map the learning theory dimensions of Conole (2004) and Laurillard (2002) against existing curricula and teaching and learning practices within the GIS Masters programmes.   

Within the department teaching and learning developments making use of the SPLINT equipment have largely been undertaken by the SPLINT‐funded staff and therefore the influence has mainly been on courses and activities directly associated with these staff.  This partly reflects the time (and training) they required to familiarise themselves with the VR facilities and mobile field equipment, to ensure stable platforms and develop initial resources.  However the Head of the Geography Department noted that there was a need for a clearer departmental understanding regarding the academic mission of SPLINT. 

“You know, I think at one level they see it [SPLINT] as something that’s buying lots of toys for the GIS group, but I think actually translating that into an understanding of the contribution that the CETL ‐ SPLINT‐  makes to our mission as a Department of Geography, I don’t think that’s at all clear at the moment”. (Prof Mike Bradshaw, Head of Geography Department) [4.]  

An integration plan to embed the equipment and develop teaching and learning activities with other staff and modules has been developed for implementation over the next 12 months.  A key issue will be to ensure that these developments result in teaching resources which in the medium to long term are sustainable and operational 

Page 23: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  21

without the direct involvement of the core SPLINT staff.   

5.3.2 University of Nottingham 

SPLINT is one of 4 CETLs at the University of Nottingham (RLO‐CETL, VLL and the Integrative Learning CETL being the other 3).  Although there is no university‐level CETL committee (as at Leicester), there is a ‘group’ of those involved in CETLs, and Dr Priestnall (Site Manager) has been invited to be a member of the Educational Development Committee of the university. 

The presence of several CETLs has resulted in both the increased recognition of teaching and learning groups across the university, and their raised profile within the university, noted by both senior staff individuals interviewed:  Prof  Alan Dodson, (Pro‐Vice Chancellor Infrastructure, Information Services and the Environment, and until recently Head of the School of Engineering which contains the IESSG) and Prof Charles Watkins (Head of the School of Geography).  Prof Dodson noted: 

 “I think, probably from the University point of view, it’s difficult to separate this CETL out from the others, but I think the fact that the University was successful in a number of CETLs certainly had an impact at senior management level… I think it has been important in terms of bringing recognition to individual groups.  That there are other groups working in teaching and learning type activities and it’s raised the whole profile of that… I think that means it’s had an impact in developing maybe some collaborations that wouldn’t have existed otherwise”. (Prof Alan Dodson, Pro‐Vice Chancellor) [6.] 

On the issue of impact on teaching and learning policy at an institutional level, Prof Dodson noted: 

“The impact of the CETLs as a whole at Nottingham I think has been significant.  I’m not certain because I wasn’t involved at that time at which stage our e‐Learning Committee was set up but, certainly, the CETLs have fed into that.  Whether they instigated the setting up of that or not, I think it existed before.  But they’re certainly a big influence on the way that the e‐Learning Committee and the e‐learning strategy is moving forward.  And recently we’ve now established a post of Director of Teaching and Learning, which we didn’t have before…”. (Prof Alan Dodson, Pro‐Vice Chancellor) [6.] 

Although there is no doubt that the CETL facilities and equipment are being used across a variety of undergraduate and postgraduate programmes the strategic impacts at School level are less clear. SPLINT has impacted on the MSc GIS, with a new module appearing as a result [68.].  Although both managers interviewed felt SPLINT was influencing the way certain teaching – particularly field‐based teaching – was being carried out, they were less sure that this had influenced Teaching and Learning strategy at that level.  

5.3.3 University College London 

SPLINT is one of 2 CETLs at University College London (Languages of the Wider World being the other).  Similar to the situation at Nottingham, there does not appear to be a university‐level CETL committee similar to that at Leicester.  Primary contact between the CETLs and the university is made to the respective Dean of the faculty that the CETL is in, and also via the university‐level Executive Subcommittee in Innovations in Teaching and Learning and Assessment.  The individuals interviewed were Prof Ray Harris, Dean of Faculty of Social and Historical Sciences, and Mrs. Julia Abbott, Senior Executive Officer (Academic and International), Vice‐Provost’s office.  Unfortunately it proved impossible to interview the Heads of the respective Departments (Geography and Geomatics) to get a sense of the strategic impact of SPLINT at this level. 

Mrs Abbott (Senior Executive Officer ‐ Academic and International – Vice‐Provost’s Office) noted that the expected route for CETL contact with the university:  

“From our end of the telescope we’d expect something as significant as a CETL investment to play into the departments’ teaching and learning strategy and then it’s upwards”. (Mrs Julia Abbott, Senior Executive Officer ‐ Academic and International – Vice‐Provost’s Office) [5.] 

Both interviewees noted that there was an opportunity to feed into a Faculty‐level teaching committee. Although formal contact had not taken place, this was considered to be a future action. 

5.4 Impacts on teachers  

The stakeholders in the SPLINT CETL include six different groups of teaching staff: 

Page 24: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  22

• The core SPLINT team 

• SPLINT fellows 

• Teaching staff in the host departments 

• Staff teaching in other disciplines in the consortium universities 

• Staff teaching elsewhere in UK HE 

• Teachers in schools and FE 

The way in which SPLINT activities to date have impacted upon these groups are extremely variable.   

5.4.1 The core SPLINT team 

The award of the CETL status was an acknowledgement of the excellence of the teaching in M‐level GIS and Geomatics programmes within the SPLINT consortium.  Although the Stage 2 bid identifies the many staff who contribute to this excellence, the CETL funding means that only the core SPLINT staff have time (notionally) bought out to enable the development of SPLINT‐related teaching and learning activities.  In reality, a considerable amount of the Director’s and Site Managers’ time to date has been spent on non‐teaching and learning related activities such as development of work‐packages, purchasing, overseeing of the refurbishment of facilities, the recruitment of SPLINT research staff and training in new equipment and software.  During the first year of SPLINT activities in particular, there was very little opportunity to focus the pedagogical, developmental and dissemination activities that were envisaged. 

Nevertheless, the establishment of the SPLINT CETL has been crucial in enabling the core‐team to change and further develop their teaching practices and to experiment with innovative approaches with students.  The ways in which this has impacted directly upon the student experience have been explored in section 5.1.  For most of the core staff this has been the most rewarding aspect of the SPLINT activities.  In addition they have also gained from working with other teaching staff to engage in pedagogic research, particularly conceptualising and benchmarking spatial literacy.  This work is still ongoing and this will feed into future developments in teaching practice.    

SPLINT core staff have also gained reward and recognition for their involvement in the CETL: 

• As a consequence of the success of the SPLINT CETL, Dr Nicholas Tate and Dr Claire Jarvis (Leicester) have been promoted to Senior Lecturers  

• SPLINT Site Managers and Director have been invited to sit on, and/or present to teaching and learning committees in their institutions 

5.4.2 SPLINT fellows 

Only one external fellowship was completed in the first 2‐year period (in line with the minimum outcome in this category) although several others are in the planning stage. Prof Dick LeGates (San Francisco State University) undertook a 3 month fellowship in 2007.  Detailed comments from Prof LeGates to a set of 13 questions were extremely positive [15.] Prof LeGates noted that he would have been unable to pursue his pedagogic research into spatial literacy without support from the SPLINT CETL: 

“I could not possibly have done this work without the SPLINT fellowship.  The association with SPLINT gave my work credibility and assured the cooperation of busy academics and professionals. Face‐to‐face contact was essential to learn from UK experts.  The support I received in setting up meetings made it possible to assemble a great deal of information very efficiently.  Visiting Leicester, University College London, and the Macaulay Institute in Aberdeen, Scotland to see virtual reality theatres on‐site was very informative. I received helpful critiques of drafts of my work from SPLINT experts”.  (Prof Dick Legates, SPLINT Fellow)[15.]  

The degree of engagement and output from this fellowship were extremely encouraging and this suggests that the establishment of fellows for relatively short periods on specific projects are a successful useful means of enabling external staff to engage with SPLINT and pursue issues related to the learning and teaching of spatial literacy. 

5.4.3 Teaching staff in the host departments 

It was not possible to survey all teaching staff in the host departments for this evaluation exercise (as was originally intended) to determine the full extent of engagement. However, over the past 2 years staff within the consortium departments have made wide use of SPLINT facilities and equipment for taught postgraduate and undergraduate teaching.  Not unexpectedly, this engagement tends to have focussed on using the 

Page 25: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  23

SPLINT technologies within existing GIS and related MSc /BSc programmes and on field courses.  Specific examples include the use of VR facilities by teaching staff at Nottingham to support field courses [60.],and the use of portable technology in the field to support field courses at Leicester [64.] and UCL.  

Staff use of the various computer laboratories across the consortium has taken place for teaching at a variety of levels from MSc and research students through to undergraduates and external courses [46.47.48.].  

Other staff have benefited from SPLINT’s involvement with other projects. For example, Dr Nick Mount (Nottingham Geography) became involved with Prof Gilly Salmon’s (Leicester) IMPALA podcasting project, and was a recent recipient of Nottingham University’s Lord Dearing Award for Teaching and Learning [33.].  

However there are indications that these developments have started to prompt wider interest in the application of visualisation and GPS technologies in particular, within other courses in the host departments. 

 “I think it has been remarkable.  I think it has transformed the way in which teaching is being done in a school, particularly as I say first of all in terms of geographic information science but then, as it were, converting also some elements of physical geography and landscape history and then moving into other areas.  It is helping to develop interdisciplinary projects in a big way.”  (Prof Charles Watkins, School of Geography, University of Nottingham) [6.] 

5.4.4 Staff teaching in other disciplines in consortium universities 

The activities/outcomes in this category are on target at the 2‐year stage of SPLINT.  Activities have included internal workshops and conferences as well as a variety of more targeted engagement. 

Workshops/conferences have ranged from those considering specific technologies [37.] to more general pedagogy such as University of Leicester’s annual Teaching Enhancement Forum [9.] and UCL’s biennial Teaching and Learning Conference [7.].  With a particular focus on taught postgraduate learning and teaching  SPLINT at 

Leicester has co‐sponsored a workshop programme Imagining Higher Education [9.]. 

Examples of more specific involvement include collaboration with Psychology at Leicester, Geology and Archaeology at Leicester; collaboration with Electronic Communication and Publishing, Transport Studies and Archaeology at UCL and Archaeology at Nottingham.  Of specific note is the recent establishment of a joint RA post between the GENIE CETL and SPLINT at the University of Leicester to explore taught postgraduate pedagogy. Initial discussions have also taken place to explore how students from disciplines such as Museum Studies (Leicester) can make specific use of the SPLINT resources for learning and teaching. 

“I think a lot more is happening now.  Whether it’s because of SPLINT, I don’t know.  There seem to be more links with geology, with archaeology and so forth.” (Prof Mike Bradshaw, Head of Geography, University of Leicester) [4.]  

There is no doubt that there is a great deal of potential for the engagement of SPLINT with other departments across the consortium universities. Senior managers across the consortium have noted a great variety of other disciplines that could make links with SPLINT, including American Studies, History, Anthropology, Archaeology,  Economics, Biomedecine, and Architecture [4.5.6.]  

5.4.5 Staff teaching elsewhere  in UK HE 

Comments similar to those made at the start of 5.4.4 apply here also regarding the level of activity and the involvement of staff from other HEIs in relation to the stage of development of SPLINT.   

Workshops and conferences (under the SEED banner) have tended to focus on those dealing with specific technologies in disciplines similar to those of the consortium departments [19.21.37.]. Of particular note in this regard are the workshops held collaboratively with GEES, CEBE and professional organisations such as the RGS‐IBG and AAG as mentioned above in Sections 5.2.2 and 5.2.3.  Facilities have been demonstrated to a wide variety of individuals including those from other universities [23.24.] 

Indirect collaboration has also taken place with the HEA in the form of specific input to the national taught post‐graduate survey [9.].  Initial links with traditionally ‘non‐spatial’ disciplines 

Page 26: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  24

have been pursued for example preliminary discussions with the HEA Subject Centre for History, Classics and Archaeology.  More specific engagement with staff teaching elsewhere in UK HE is envisaged via SPLINT fellowships for years 3‐5 of the SPLINT’s existence. 

5.4.6 Teachers in schools and FE 

SPLINT:er broadened the remit of the CETL to engage with FE in schools and colleges, and there have been workshops at both UCL and Leicester with secondary school teachers.  Activities at Leicester have included the involvement of SPLINT personnel in the CULN  geography working group [8.] http://www.le.ac.uk/culn/index.html comprised of secondary school teachers and interaction with secondary school geography teachers in the Midlands region at specialist workshops [37.] the latter in collaboration with Dr Phil Wood (School of Education at Leicester).  It is envisaged that such teachers will interact more with the technological infrastructure of the CETL to the benefit of their students at a variety of levels. 

5.5  Effects on learning designs 

There has been a little over £1.6 million of capital investment across the 3 SPLINT sites within the consortium.  This has largely been spent on the refurbishment of teaching facilities, the installation of virtual reality theatres and the purchase of mobile field equipment.  Table 1 (p10) summarises the facilities and equipment resulting from this investment.  These facilities and resources are intended to enhance students’ learning by enabling the development of innovative curricula which exploit developments in new technologies.   

The primary focus of SPLINT (taught Master’s courses of one year in duration) makes it difficult to evaluate the impact of spaces refurbished or equipment available. The current cohort of students (2006/7) were not aware of the facilities prior to the refurbishment, and although the previous cohort (2005/6) were, their appreciation was tempered somewhat by the dislocation caused by the refurbishment.   

A major part of the capital investment has been in virtual and augmented reality systems which have enabled lab‐ and field‐based visualisation to be integrated into the curriculum at undergraduate 

and taught postgraduate levels at Leicester and Nottingham. 

“From the specific SPLINT CETL point of view I think the idea is that 3D visualisation is becoming evermore part of the everyday accepted experience of kids these days, and certainly of students, whether it’s computer gaming or virtual reality‐type experiences.  And I think we really haven’t exploited the application of that environment in teaching”. (Prof Alan Dodson, University of Nottingham) [6.]  

These Virtual and Augmented Reality technologies are impacting upon field‐ and classroom‐ teaching and learning practices as they provide students with new ways of exploring spatial phenomena.  For example, 3D immersive reconstructions of retreating glaciers in Cumbria are visited by Nottingham first year undergraduates in preparation for their fieldtrip.  This helps them to better understand the way in which glaciation has impacted upon the landscape when they are in the field.  During the field trip they are able to use AR technologies to visualise and help them interpret geological fault lines at Derwent Water. 

At more senior undergraduate and taught postgraduate level students not only get to experience the 3D virtual reality representations but also to participate in their development.  For example, Leicester undergraduates have been involved in the development of the models of the Tabernas badlands in SE Spain, a virtual experiment with the Department of Psychology and a 3D campus model.  Similarly at Nottingham students have also been involved in the development of 3D campus models.   

Virtual reality laboratories elsewhere are often seen as the territory of research students and staff only.  This involvement in the development aspect of the models helps students to foster a critical awareness of the nature and quality of the data which underpin the final virtual model as well as the geographical phenomena which they are representing.     

However, it is notable that for some students the relative quality of the visualisation models compared to those they are familiar with through computer gaming is the main thing that they highlight about the teaching sessions making use of virtual reality. 

Page 27: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  25

“To be honest, I wasn’t that impressed by it, compared to kind of the similar sorts of simulations you get in a computer game.  I thought, I mean I’d heard how much all this had cost and I was thinking oh, this will be great, and maybe that reflects more on the model that we were using rather than the visualisation technology.  But I remember just thinking how far behind, you know, the universities, institutions are than behind the… commercial world”. (Nottingham Student, Focus Group 9/3/2007) [66.] 

This investment has also provided the opportunity to review and develop curricula, particularly on the GIS programmes within the consortium.  At Nottingham a new first year undergraduate GIS module making use of the SPLINT facilities and equipment was introduced in 2006/7 replacing a module in cartography.  The popularity of this module has led to a marked increase in the number of students choosing GIS as a second year option for 2007/8: 

“And now GIS, with the help of a lot of the SPLINT materials and organisation staff has become now a fashionable subject for students when cartography never was.  They are enthralled by it.  They’ve become interested by it…this tidal wave of enthusiasm for this new first year GIS course, which means that the second year this year, this coming year 07/08, whatever’s next year, the next academic year, we’ve now got more people wanting to do GIS than ever before.  And so this, the CETL funding has helped to make what is a really important skill, vocational skill and research and academic skill, made it popular with the undergraduates, so it means that will, as it were, reinforce the GIS research”. (Prof Charles Watkins, Head of Geography, University of Nottingham) [6.]  

The SPLINT investment in mobile field equipment and the development of teaching and learning resources to support their use has also had an impact on the types of independent projects and dissertation activities that students are undertaking.  At Leicester, SPLINT field equipment (GPS, PDAs, Tablet PCs, Cameras etc.) has been borrowed by ca. 20 second year undergraduate students for use in their dissertation projects over summer 2007. 

However, the curriculum review carried out to explore and evaluate means of diagnosing 

pedagogic practice in the consortium’s GIS Masters modules highlight some of the problems of developing learning and teaching in a technological area – indicating that careful consideration needs to be given to curriculum developments of this type. 

“…we perceived a danger of developing either higher technology versions of existing learning tools or, perhaps more likely, tools that are fun but that in other aspects do not necessarily enhance learning”. (SPLINT Working Paper 2 (p.4) [31.] 

The results of the Masters level study suggest that 9 of the 25 modules analysed using the Dyke et al. (2007) framework encouraged little or no reflective learning.  The constructivist learning framework developed by Laurillard (2003) allowed pedagogic problems in the GIS modules to be located and provided strong indicators for where future developments should be targeted. For example, pedagogic problems in Spatial Information Science are located at Laurillard’s Discursive, Adaptation and Reflection zones.  Since the Spatial Information Science module demands 3 types of transfer (from mathematical thinking to spatial thinking, connecting practice with theory and connecting the module’s content with the “real world”),  there is a need to review how the curriculum and assessment can better manage this need.    

Recently this work has been further developed to compare the experiences of 3 Leicester GIS masters students from the 2005/6 cohort and 4 students from the 2006/7 cohort.  The idea was to contrast curricular, pedagogic and assessment characteristics of each year to elicit shifts of understanding in terms of spatial thinking. This has resulted in the development of a continuum identifying the different levels of spatial literacy in adults learning GIS [28.].   

In addition, during the 2006/7 year, students following the GIS masters modules at all 3 consortium sites were invited to complete an adapted version of the Association of American Geographers Spatial Skills Test (SST) at both the start and end of the taught component of their Masters programme.  The purpose of this survey was to compare differences in students’ initial spatial skills and, in particular, consider these in relation to their disciplinary background and prior experience of GIS.  The re‐test at the end of the 

Page 28: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  26

taught component of the course provided an opportunity to assess if and how an individual’s spatial skills had changed as a result of following the GIS course.    Whilst detailed analysis of the results has yet to be carried out the initial analysis of the results shows that over the course of the masters programme the  average SST result increased from 67% to 85%.  

These SPLINT pedagogic research activities all have implications for the design of learning and teaching practices and activities both within the consortium and beyond.  The way in which they will be developed and disseminated will be an important consideration for activities in years 3‐5. 

In addition, during his SPLINT fellowship, Dick LeGates produced SPLINT working paper No. 1 [16.] specifically addressing how spatial literacy could be integrated into urban planning curricula in the UK.  The paper provides 2 preliminary models of how spatial planning concepts and GIS&T software application skills might best be incorporated into UK urban planning programmes and identifies ways in which SPLINT and the HEA CEBE could strengthen spatial thinking in UK urban planning programs. 

 Figure 14: Students using tablets at Leicester’s Exeter field course for first year students 

 Figure 15: Nottingham Geography’s new PC laboratory  

 Figure 16: UCL Geomatics’ new MSc classroom 

 

Figure 17: Nottingham’s Virtual Reality theatre 

Page 29: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  27

6 Lessons Learned and Future Adjustments 

6.1 New knowledge resources from students 

Over the past 2 years, pedagogic research activities undertaken as part of the SPLINT CETL have started to explore the different ways in which students learn and understand spatial literacy, and in particular GIS [28.31.].  This new knowledge will have a considerable influence on the activities and outcomes that SPLINT addresses during years 3‐5, particularly as the products of pedagogic research are disseminated more broadly.   

A difficulty in the activities of a CETL focussed on taught postgraduates is the short (one year) period of exposure of these students to CETL facilities.  The necessarily intensive nature of these courses limits the degree to which students can be exposed to ‘new developments’ and the degree to which they can be involved in the generation of new knowledge resources, and cohort size (in comparison to undergraduate programmes) makes quantitative comparisons between cohorts difficult. 

Additionally, in the context of an undergraduate programme the ‘impact’ of a new infrastructure/ resource base would be visible for students over 3 years. Taught MSc students have no basis for prior comparison and on this basis are perhaps more likely to take the availability of world‐class facilities as a given.  

6.2 Emerging teaching practices 

The key emerging teaching practices that have resulted from the first 2 years of SPLINT activities are related to use of new technologies, particularly Virtual and Augmented Reality, mobile field computing and podcasts to support learning.   

The evaluation has highlighted the need to ensure that the use of such technologies are fully integrated within the curriculum and to explore ways of measuring how they enhance the student learning experience rather than how they lever higher levels of ‘student satisfaction’.  

6.3 Implications for consortium operations 

The contexts in which SPLINT operates are complex and multiple.  It is a discipline‐based, consortium CETL and has a core team drawn from staff of the Geography and Geomatics 

departments at the Universities of Leicester, Nottingham and University College London.  Each SPLINT site is located within a host department (or departments) and most team members contribute to the activities of SPLINT on a fractional basis.  The SPLINT core team, individual SPLINT sites and their host departments, in turn, sit within different institutions and organisational structures.  The SPLINT consortium is therefore based on a collegiate rather than a hierarchical management structure.   

All of these have implications for consortium operations – the SPLINT core team frequently have to juggle their SPLINT commitments with other departmental and institutional commitments (such as research), and all are engaged with SPLINT activities for more than the notional fraction time allocated.     

Although consortium activities are subject to the arrangements identified within a Memorandum of Understanding signed by the institutions concerned, the complexity of operating within a financial framework that requires financial monitoring at each site and then overall oversight by the lead partner (University of Leicester) is both complex and time consuming for both the Site Managers and SPLINT Director. Of course the level of complexity/time consuming operation also extends to the work packages, where more time than expected has been expended in trying to ensure a balanced and integrated approach to the deliverable outcomes across the consortium. 

In addition, many of the SPLINT activities involve external parties such as the HE Academy, its GEES and CEBE subject centres, the Association for Geographical Information (AGI), the Ordnance Survey and the Royal Geographical Society.  Thus the members and activities of SPLINT are located within numerous communities and umbrella organisations which can both facilitate and hinder the operation of SPLINT and its attainment of its goals.  A specific example of this has been the high turnover of Advisory Committee members as a result of staff changes in these stakeholder organisations.  Only 2 original members (of six) of the Advisory Committee are still in place at the end of 2 years.  

The location of both overall Director and Site Manager at Leicester has proved less than ideal in terms of integrating the Director in the subject matter of the CETL at the Leicester site, given the 

Page 30: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  28

management framework in which Site Managers are responsible for all local SPLINT matters/ activities. This structure at Leicester has also lessened the opportunities for involvement of the Site Manager at an institutional level. 

6.4 Implications for university systems and practices 

The interviews with senior managers at the 3 consortium institutions have highlighted the similarities and differences in the ways in which SPLINT, and the CETLs more widely are impacting upon university systems and practices.  SPLINT is seen as being an extremely positive asset at all 3 institutions.    

All the senior managers outlined their institution’s policies with regard to reward and recognition, and in particular, promotion on the basis of excellence in teaching and they indicated that involvement with the CETLs provided tangible and strong evidence for someone making a case for promotion on that basis. 

At Leicester (and to a lesser extent at Nottingham) new structures have been constructed to integrate their CETLS into both formal and informal committees and networking structures.  At Leicester this has led to a number of institutional‐level activities, such as the focus on the taught postgraduate experience and the creation of a new on‐line peer‐reviewed interactive journal JETL by the CETLs and other teaching and learning groups based at the University. 

6.5 Any sector wide multiplier effects 

It is perhaps too early in the lifecycle of SPLINT to identify any sector‐wide multiplier effects (where the ‘sector’ is defined here in its broadest sense as across UK HE).  There is no doubt of the influence of SPLINT within the specific subject areas at a national and international scale.  Examples of this is the recent approach for a letter of support in respect of a major bid to the US’s National Science Foundation to set up a National Geospatial Technology Centre by a consortium of universities and colleges, and the involvement of SPLINT staff with NSF‐funded initiatives in the US. 

SPLINT’s focus on the taught postgraduate experience has resulted in the University of Leicester contributing to the development of the HEA’s survey of taught postgraduates and working with the HEA’s partners at York Consulting to 

develop and pilot the survey.  Leicester’s response rate was considerable and interviews/focus groups with staff and students at the pilot phase helped to shape the survey. 

There is no doubt that to maximise any sector‐wide effects SPLINT needs to engage with a wider set of people/HEIs than has hitherto been the case. 

6.6 Unintended consequences of CETLs 

Unintended consequences of SPLINT have been both positive and negative.  A consequence of the requirement to spend capital within the first 2 years, was the effective reduction of the time available to develop pedagogic activities within the 5‐year period of HEFCE funding.  However, this must be balanced against the long‐term nature of this capital investment which represents investment for a long term (>5yr) period. 

Perhaps the main positive unintended consequence of SPLINT has been the close links with research activities that have developed across the consortium. Examples of this are where the infrastructure has enabled postgraduate (MSc and PhD) research of a subject‐specific variety in addition to pedagogic research, and the research that has taken place (and other income generating activity) that maximise use of the facilities at times which do not conflict with SPLINT’s primary role. 

Other positive unintended consequences have been the presence of a distinct infrastructure to attract research council investment for specific MSc in GIS courses (Leicester and Nottingham) as well as various external courses/workshops which have made use of the facilities (e.g., the EU METIER and ESRC Research Methods courses).  Although it may well be difficult to separate the impact of the different CETLs, the recent excellent performance of both the University of Leicester and the Department of Geography in the National Student Surveys is doubtless partly reflective of the emphasis placed on teaching and learning at this institution.  

6.7 Adjustments and future plans 

Links through to other teachers in the host departments are very variable across the consortium. It is essential that opportunities are created and pursued to engage a wider pool of teachers in addition to those more directly involved in the teaching of GIS, RS and field‐courses.  

Page 31: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  29

An issue which emerged from interviews with the senior managers across the consortium, was the degree of interaction between the institutions and CETLs external to their institution.  Although contact has been taking place between CETLS – whether mediated via the East Midlands CETL Network or at the national CETL Conference, this represents a very indirect dissemination route to those institutions concerned. 

“As an institution we probably haven’t connected with other CETLs or CETLs outside our own as much obviously as we have internally, and I think there’s probably a lot to learn from those CETLs and engaging people and bringing them in so we get some of their experience, which can then be cross fertilised, and I guess the reverse must be true as well in terms of sending our CETLs out.” (Mr Paul Jackson, Director, Student Support and Development Service, University of Leicester) [4.] 

There is no doubt that the issue of sustainability beyond 2010 is of significant concern, identified as an item at University of Leicester CETL Strategy Committee meetings and also from interviews with senior managers across the consortium universities.  

I suppose one concern I have about future developments is what happens when that funding stops.  And I think to an extent, even if it stopped in 2010, it will have been transformative as I’ve said, but I think there’s a lot more that can be done and research links are developing and new forms of teaching and developing.  My worry about it is what about, for example, the excellent staff we have employed on this at the moment as it gets towards the end of the project? Will there be a sort of uncertainty and will they leave because they don’t know what’s going to happen so there’s a practical problem there which you often have with research and special teaching projects, short term projects so I’m worried about that.   (Prof Charles Watkins, Head of Geography, University of Nottingham) [6.]  

Clearly a priority for the CETL during years 3‐5 will be to consider various options and mechanisms to ensure the sustainability of the CETL beyond the initial 5‐year period of CETL funding.  

Evaluation of the first 2 years of SPLINT has revealed numerous examples where performance has equalled or exceeded the minimally acceptable (as per stage 2 bid document) 

deliverable targets.  However, several targets have not been hit – most notably VLSL‐2 (Virtual Learning Environments) which was postponed (possibly indefinitely) at a Centre Management Committee meeting.  In retrospect, in the face of larger amounts of time than expected being required to set up the centre infrastructure, the set of work package deliverables associated with the first 2 years was a little over‐optimistic.   

Reflection on the evaluation results has only just begun, but given that the years 3‐5 deliverables were by necessity less well‐defined in the stage 2 bid document, the evaluation process has been valuable in identifying the need for a more flexible set of deliverables so that centre staff are more able to respond to opportunities that arise, rather than slavishly keep to a predetermined set of deliverables.  

Years 1 and 2 have seen a considerable (and necessary) investment in both infrastructure and materials development at the 3 sites across the consortium. It is essential that such experience is both consolidated but also fully rolled out to students and teachers both across the consortium and beyond to maximise the impact of the centre in years 3‐5 and beyond.  

6.8 Reflections on the idea of a CETL as a change strategy 

The question here is whether SPLINT’s activities are (in Baume’s words) ’confined to an enclave of practice’ or ‘becoming a bridgehead’ towards more embedded practice at a variety of levels.  

It is fair to say that by the end of year 2 SPLINT activities have resulted in the development of both enclaves and bridgeheads across the consortium. It is perhaps a little premature to determine how embedded such innovations are, or indeed will become.  

Institutional practices for reward and recognition of teaching (as well as the importance of teaching) have been accentuated by the CETL programme, however it is difficult to determine the degree of influence exerted by the CETLs themselves.  It is after all in each HEI’s best interests to maintain a stance which says that the emphasis on teaching and learning created by the CETLs is doing nothing but reinforcing existing policy developments.  

Again it is too early to tell whether the CETL programme will have lasting change in the reward and recognition for teaching and learning 

Page 32: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  30

excellence, though continued support from HEFCE is one mechanism to ensure the success of this programme.  

7. References British Educational Research Association (2004) Revised Ethical Guidelines for Educational Research (http://www.bera.ac.uk/publications/pdfs/ETHICA1.PDF) 

Burman, M. and Kleinsasser, A. (2004) Ethical guidelines for use of student work: moving from teaching’s invisibility to inquiry’s visibility in the scholarship of teaching and learning.  Journal of General Education, 53: 59‐79 

Chen, H. (1994) Theory‐driven Evaluations. Sage, London. 

Conole, G., Dyke, M., Oliver, M., Seale, J. (2004) Mapping pedagogy and tools for effective learning design. Computers & Education 43: 17‐33 

Dyke, M., Conole, G. Ravenscroft, A. deFreitas S. (2007) Learning theory and its application to e‐learning.  In: Conole, G. and Oliver, M. (eds) Contemporary Perspectives in E‐learning Research, pp. 82‐97 

Laurillard, D. (2002) Rethinking University Teaching: A conversational framework for the effective use of learning technologies. Routledge, London. 

W.K. Kellogg Foundation (2004) Logic Model Development Guide: using logic models to bring together planning, evaluation and action.  W.K. Kellogg Foundation, Michigan USA 

 

 

 

 

 Figure 18: Special feature on SPLINT 

 

 Figure 19: Focus on SPLINT 

Page 33: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  31

 

           

Figure 20: SPLINT in HEFCE & Parliamentary publications   

 Figure 21: JETL trifold (part of) 

Page 34: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  32

     Figure 22: Secondary education workshop   

Page 35: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  33

Appendix 1: The Relationship between purposes of the SPLINT and HEFCE Evaluations  

SPLINT evaluation  The areas that HEFCE identify as core to the evaluation 

Assess the short‐ and long‐term outcomes of the project; 

 

Determine if, and how, SPLINT is impacting on stakeholders. 

Understanding reward and recognition processes, for example whether they are influential in:  

incentivising individuals and teams to change or further develop their work in teaching and supporting student learning 

promoting individual career development  

persuading other staff (in other subjects, institutions, levels of teaching) to ’innovate, or develop their own pedagogic knowledge and practice 

benefiting student learning within and beyond the immediate area of excellence 

strengthening an institution’s standing in a competitive student recruitment market 

Understanding how capital investment is being used to further specific teaching and learning objectives  

Generate explanations that can inform, improve and develop current and future developments  

 

Clearly depicting the process of change and development, for example by specifying the conceptual and actual starting points for each CETL. 

Identifying unintended consequences of CETLs 

Examine how SPLINT is being impacted by internal and external factors 

Examining the wider impact of CETLs on the learning and teaching strategies of their institutions.  

Understanding reward and recognition processes 

Depicting the developing relationship between CETLs and the Higher Education Academy to build, disseminate and influence take‐up of good practice 

Page 36: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  34

Appendix 2:  Programme Outcomes, Deliverables and Associated Evaluation Evidence for the Period 2005 ‐ 2007  

This document maps the overall programme outcomes onto the target outcomes for the period 2005 – 2007 as identified in the original stage 2 proposal document.  It also summarises the activities that have taken place to address these target outcomes and the evaluation questions and evidence that is available to demonstrate this. 

The overarching programme outcomes (5‐year) of the SPLINT CETL are to: 

 

1. Enhance students’ learning on M‐level programmes within the consortium with regard to Spatial Literacy by developing innovative curricula that: 

a. exploit developments in new technologies; and b. cater for the increasingly diverse disciplinary backgrounds of students on such programmes. 

2. Enhance students’ learning at undergraduate and postgraduate‐research level with regard to Spatial Literacy. 3. Improve the generic/transferable skills of students on M‐level programmes within the consortium. 4. Promote and develop the learning and teaching of Spatial Literacy within: 

a. Cognate disciplines in UK HE; b. Non‐spatial disciplines within UK HE; c. The school and FE sector (SPLINT:er); and d. Beyond (Lifelong‐learning and professional development). 

5. Promote the reward and recognition of staff involved in enhancing learning and teaching of Spatial Literacy. 6. Develop M‐level pedagogy and disseminate the outcomes within the sector. 

 

In order to achieve the above the SPLINT CETL will also:  

 

7. Develop and enhance teaching and learning infrastructure within the consortium. 

 

Page 37: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  35

 

SPLINT Gain institutional interest and involvement within consortium universities

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

4a, 4b High level awareness of CETL across consortium institutions via internal learning & teaching websites & newsletters.

3. Leicester, Nottingham & UCL Web site & launch Events Formal presentations to internal audiences across consortium

How aware of & interested in SPLINT are departments & individuals? The extent, relevance, currency & discipline-specificity SPLINT activities. How many departments or individuals are engaging with SPLINT? What is the extent of interdisciplinary collaboration?

Photos from Leicester & East Midlands CETL launches

Conference & workshop contributions list

4.Leicester: Publications Journal for Excellence in Teaching & Learning (JETL)

As above Articles in Leicester Bulletin & LE1 Magazine Cross-Institutional Flyer promoting SPLINT activities. Interviews with Senior Managers: Prof Bob Burgess, Vice-Chancellor Prof John Fothergill, Pro Vice-Chancellor Learning & Teaching Prof, Kevin Lee. Dean of Graduate studies. Mr. Paul Jackson, Director, Student Support & Development Service Prof Mike Bradshaw, Head of Department of Geography JETL

SPLINT General

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

NA Finalise CETL structure; appoint steering & management committees.

1. Leicester, Nottingham & UCL: CETL structure determined, advisory & management committees appointed.

Is the management structure & steering committee working effectively?

Appointments. Centre Management Committee meeting minutes, workpackages

NA Effective steering & centre committees, all staff appointments completed.

2.Steering committee (in form of advisory committee) & project staff appointed.

Is the management structure & steering committee working effectively?

Appointments. Advisory Committee Meeting minutes

Page 38: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  36

SPLINT Gain institutional interest and involvement within consortium universities

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

5.UCL: Discussions with Michael Worton (Vice Provost) office regarding student recruitment & profiling

As above Interviews with Senior Managers: Prof Ray Harris, Dean of Faculty of Social & Historical Studies Ms. Julia Abbott, Senior Executive Officer to the Vice-Provost

6.Nottingham: Discussions with Prof. David Riley Pro-VC for Teaching and Learning to discuss institutional presence of CETLs (2nd August 2007) & Prof. Sir Colin Campbell (VC) 22nd May 2006

As above Interviews with Senior Managers: Prof Alan Dodson, Pro Vice-Chancellor for e-Learning Prof Charles Watkins, Head of School of Geography

3, 4a, 4b, 5, 6 Engagement of ideas at internal learning & teaching working groups.

7. UCL: 9-30/3/06 Keynote address at Teaching & Learning at UCL: the way forward, UCL London

How aware of & interested in SPLINT are departments & individuals? The extent, relevance, currency & discipline-specificity SPLINT activities. How many departments or individuals are engaging with SPLINT? What is the extent of interdisciplinary collaboration?

Involvement in: MSc in Electronic Communication & Publishing, School of Library, Archive & Information Studies GIS for Transport Studies GIS in Archaeology

8. Leicester: SPLINT Director invited to sit on University of Leicester Teaching Enhancement Forum, Learning & Teaching Committee, Employability Working Group; CULN geography working group

As above Minutes & activities of these committees

9. SPLINT Contributions to the University of Leicester Teaching Enhancement Forum

As above  Taught Postgraduate Imagining HE Seminar Series & Pilot of National Taught Postgraduate Survey Collaboration with the Interdisciplinary science Programme (Undergraduate projects)

10.Nottingham: Site Manager invited to join Educational Development Committee (first meeting held 7th November 2006), also input to PGCHE new lecturer training event, mobile learning interest group and e-learning group meetings

As above

Page 39: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  37

SPLINT Gain institutional interest and involvement within consortium universities

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

4a, 4b, 4c, 4d Promote pioneering use of VR in teaching via organisation of workshops at all 3 institutions.

11.Demonstration of VR/SPLINT facilities to staff within respective institutions.

How aware of & interested in SPLINT are departments & individuals? The extent, relevance, currency & discipline-specificity SPLINT activities. How many departments or individuals are engaging with SPLINT? What is the extent of interdisciplinary collaboration?

The number of departments or individuals who subsequently engage with VR in teaching & learning/VR facilities.

12.UCL: The refurbished CASA facility has been used for VR / 3D demonstrations to the Demographics User Group.

As above

13.Leicester: VR facilities have been demonstrated to the Departments of Chemistry, Psychology, Genetics, Engineering & Archaeology.

As above Development of a 3D Spatial Memory test in conjunction with Department of Psychology.

14.Nottingham: Facilities have been demonstrated to both e-learning and ‘pervasive media’ groups, as well as the centre for geospatial Science, and the Departments of the Built Environment, Classics and Civil Engineering.

As above

4a, 4b, 5 Appoint candidate for one 3 month teaching internal fellowship scheme specific to spatial literacy.

15. Leicester & UCL: SPLINT visiting fellowship awarded to Prof Richard LeGates (San Francisco State University)

What is the level of interest in the scheme? What activities/outputs resulted? Feedback from Fellowship holders.

Interview with Prof Dick LeGates

16. SPLINT fellows’ contributions to activities & outputs.

As above Contribution to SPLINT/CEBE Workshop on Teaching GIS for Planning Students & Practitioners, University of Cardiff 24/4/2007 Workshop evaluation forms SPLINT Working paper CEBE Working Paper

Page 40: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  38

SPLINT Gain institutional interest and involvement within consortium universities

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

4d, 5 Enable staff secondment to International Institution for Spatial Literacy Teaching & Learning (e.g. NSF SPACE at USB).

17. UCL: Trips to University of California Santa Barbara - National Science Foundation funded SPACE program.

What is the level of interest in the scheme? What activities/outputs resulted?

18. Development of Geospatial Analysis Handbook & website

As above Geospatial Analysis Handbook & website www.spatialanalysisonline.com

Website user figures

 

SPLINT External Dissemination Activities:

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

4a Establishment of a regular 6-monthly online newsletter informing all UK geospatial technology-related programme leaders on consortium progress

19. Leicester, Nottingham & UCL: Publicity & dissemination to other geospatial technology programme leaders.

How aware & interested in SPLINT are other geospatial technology programme leaders, agencies & individuals? The extent, relevance & currency of SPLINT activities. How many departments or individuals are engaging with SPLINT? What is the extent of interdisciplinary collaboration?

GEES Newsletter/Planet Presentation at GEES Field Teaching Workshop, Urra Almeria. August 2006 Exhibited at the Terrafuture events at the Ordnance Survey – 20th Sept 2005 & 19th Sept 2006 (http://www.ordnancesurvey.co.uk/oswebsite/partnerships/research/terrafuture/2005/exhibitors.html) Exhibited at the Virtual Fieldwork event at the University of Worcester – 16th May 2007

4a, 4b, 4c, 4d Other dissemination activities. 20. Published material / publicity beyond geospatial programmes.

As above HEFCE Annual Review Parliamentary Monitor Report for Cabinet Office Digital Exclusion Team CEUS editorial

21. Formal presentations to external audiences at conferences & workshops

As above Conference & workshop contributions list

Page 41: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  39

SPLINT External Dissemination Activities:

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

22.UCL: The refurbished CASA facility has been used for VR / 3D demonstrations to: the Greater London Authority, Google, Ordnance Survey & the Demographics User Group.

As above

23.Leicester: VR facilities have been demonstrated to the Universities of Sheffield, York, City, Bradford & Infoterra Ltd., as well as UCAS students and secondary school geography teachers

As above

24.Nottingham: Facilities have been demonstrated to Simmons Aerofilms; Southwell School; City University (Dave Mountian); Sutton Trust & Augmentra, as delegates at GISRUK 2006

As above

 

Page 42: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  40

EPSLL-1 Conceptualising and Benchmarking Spatial Literacy

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

1a, 1b, 2, 4a, 4b, 4c, 4d

Design of benchmark measures for spatial literacy

25. Leicester: Review of literature regarding spatial literacy from both psychology & geography perspectives

What is Spatial Literacy & how does it map onto & inform what we do? Has progress been made in defining spatial literacy? Has the notion of spatial literacy been raised as an important issue in teaching & learning?

Development of VR model on Spatial Thinking/Memory with Department of Psychology, University of Leicester..

26.Low level axes of spatial literacy defined on the basis of cross-disciplinary materials.

As above Informal Leicester Workshop on defining Spatial Literacy (24/4/05) Presentation & paper What do we mean by Spatial Literacy in a GIS Context? – 4/4/2006 GISRUK, Nottingham

27.Development of methodology to map low-level axes of SL to AAG/University Consortium for Geographic Information Science’s Body of Knowledge (2006) Mapping of Body of Knowledge GI tasks to low-level axes

As above Mapping results from teaching perspective showing working methodology & outcomes.

28.Structured interviews to establish student perception regarding spatial literacy issues arising in teaching material Draft high level theoretical framework regarding GI tasks & spatial literacy & the ‘spatial literacy continuum’ concept

As above Interviews with Leicester 2006-7 MSc students Draft journal paper to Journal of Geography in Higher Education - Spatial Literacy: a pedagogic model for masters courses in GIS 

1b, 2, 4a Application of survey assessing inbound benchmark across MSc students & undergraduates.

29.Development & approval of Anglicised online version of AAG Spatial Skills Test (SST) Participation of GIS Masters students at Leicester, UCL & Nottingham at start & end of taught component of 2006/7 Masters programmes. Basic analysis of 2006/7 SST results.

Is the AAG SST appropriate, what does it measure? How do students perform in the SST? What types of spatial tasks are problematic How does performance vary by disciplinary background & increasing experience of GIS?

Online Anglicised SST Pre-course SST results Post course results

1b, 2, 4a Evaluation of relationships between performance & literacy tests by background, module type & learning style.

30.Evidence base has begun to build, but will require development across multiple cohorts & years prior to meaningful quantitative analysis.

As above

 

Page 43: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  41

EPSLL-2 Pedagogic Strategies for enhancing teaching in geospatial technologies generally and spatial literacy in particular

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

1b, 2, 4a Mapping of the selected pedagogic learning theory dimensions of Conole et al. (2004) against pre-SPLINT GIS practice.

31.Mapping of the selected pedagogic learning theory dimensions of Conole et al (2004), Dykes et al. (2007) & Laurillard against current GIS teaching & learning approaches. at all 3 sites using structured interviews with staff & students & analysis of teaching materials.

How can we best diagnose what is happening in a module from a teaching & learning perspective? Can Conole or Laurillard’s frameworks assist with this task & provide pointers for further improving the student experience?

Interviews with staff Interviews with students Draft of paper for submission to JGHE - Diagnosing pedagogic practices of MSc GIS courses as a means from which to develop new teaching and learning strategies

32.Introduction of new practices & reflective diaries into 2006/7 Programming Module following analysis of 2005-6 Laurillard mapping results.

As above Examples of students’ reflective diaries Student comments in 2006/7 interview transcripts.

1a, 1b, 2, 4a Design of exemplar case study teaching materials to exploit different pedagogies & learning theories.

33. Nottingham & Leicester: Development of podcasts for field equipment & GIS software.

Does the use of podcasts facilitate students’ use of field equipment & GIS software? Do students benefit from using video & audio based podcasts for revising & in preparation for practical work?

Podcasts for different field equipment Student focus group feedback on MSc Mobile Field Equipment Day (Leicester) Student feedback & video diary (Nottingham) Dearing Award for Teaching & Learning presented to Nick Mount for development of podcasts (Nottingham)

34. Leicester: Development & implementation of students’ reflective journals in the ‘Programming for Spatial Scientists’ module.

Does the use of reflective diaries enrich staff/student pedagogic interaction?

Diaries show a richness of student reflection. Student perceptions on the journaling process within 2007 interview transcripts.

Page 44: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  42

EPSLL-3 Developing the Curriculum

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

3 Mapping of existing curricula against the requirements of the Roberts’ Report & Joint Skills Statement (2001)

As above

1a, 1b, 2, 4a, 4b Evaluation of existing curricula in relation to spatial literacy benchmarks.

35. Leicester & UCL: Analysis of Urban Planning Curricula as regards attitudes & content on spatial literacy & GIS

To what extent does spatial literacy matter as an explicit consideration in ‘spatial’ disciplines?

SPLINT Working paper

CEBE Working Paper

1a, 1b, 2, 4a, 4b Development of refined collaborative curricula that utilise different learning styles to address disciplinary diversity in spatial literacy.

The notion of the “combined curriculum” has been dropped.

As above

36. Nottingham & Leicester: Software & hardware co-ordination such that sharing of mobile field exercises & VR learning units (when fully tested) will be facilitated between sites.

Have purchasing decisions been made that will facilitate sharing of SPLINT learning units across the consortium when they reach maturity? Has learning unit focus been considered when undertaking the development of new SPLINT materials such that the final outcome will be a complementary set of materials that can be used as widely across the GIS/geography curriculum as possible?

Core mobile field equipment (e.g. Dell Axim PDAs) chosen at both Leicester & Nottingham. Joint purchase agreements for VR software (Multigen Creator, Vega & Blueberry) undertaken to facilitate sharing of models. Joint purchasing agreement on Augmented Reality software from Virtalis together with a common core set of hardware purchases to allow sharing of AR developments between sites & student cohorts.

 

Page 45: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  43

SEED Workshops

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

1a, 1b, 2, 4a, 4b, 4c, 4d

Develop workshops on: The special characteristics of spatial information Visualisation & user interaction Management of geospatial data Geodemographics & data integration New technologies & spatial literacy

37. UCL, Leicester & Nottingham: Wide range of SPLINT workshops developed & organised for a range of audiences with different interests in spatial literacy. Contributions to events developed by other organisations.

The extent, relevance, currency & discipline-specificity of the workshop programme & presentations Participant details (e.g. disciplinary background) , evaluation forms, details of downloads of workshop resources.

Workshop materials, delegate lists, feedback forms etc for: SPLINT/GEES conference & workshop on The Place of GIS in the Curriculum, 11/5/2005 Leicester Spatial Literacy in Teaching: Communicating GIScience – 24/2/06 Royal Geographical Society, London Geographically Weighted Regression Workshop at GISRUK 4-5/4/06 Spatial Literacy, Student Recruitment & Widening Participation 12/6/06, UCL. 3D Laser Scanning 8,12,13/12/06 UCL, London Teaching & Researching Geospatial Analysis: principles, techniques & software tools – 11/4/07 GISRUK, Maynooth Ireland Geodemographic Analysis: Applications for Higher Education – 22/3/07 Contribution to the Spatial Technology Gallery 18/4/07 AAG Conference, San Francisco Geodemographics & the Social Sciences Workshop, ICOSS, Sheffield

SPLINT/CEBE Workshop on Teaching GIS for Planning Students & Practitioners, University of Cardiff 24/4/2007

Introducing GIS into Secondary Education 5/7/07 Leicester

Geography Teacher’s Conference, 13/7/07 UCL

1a, 1b, 2, 4a, 4b Develop pedagogic manual to accompany learning materials] make available on the web & garner commercial publisher interest to achieve sustained wide dissemination

38. UCL: Development of Instructor manual for Geographic Information Systems & Science at www.wiley.com/go/longley

The extent of usage, relevance & currency of the resources.

Instructor manual for Geographic Information Systems & Science at www.wiley.com/go/longley Book sales currently over 40,000 units.

Page 46: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  44

SEED Workshops

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

Develop website to support state-of-the-art teaching text & materials.

39. Development of Geospatial Analysis Handbook & website. www.spatialanalysisonline.com

As above Geospatial Analysis Handbook & website. www.spatialanalysisonline.com Website users over 11,500 for 2007.

SEED Teaching Materials – Beyond Consortium

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

2, 4a, 4b, 4c, 4d Produce teaching materials for interdisciplinary audience in text book form, with online instructor support, for a range of outreach disciplines.

40.UCL: Longley et al. (2005) Geographic Information Systems & Science. Wiley, London

The extent of usage, relevance & currency of the resources.

Book sales currently over 40,000 units.

41.Online instructor manual available online at www.wiley.com/go/Longley

As above Download details are not available from Wiley.

42.Development of www.spatial-literacy.org website with case study resources for range of relevant applications, and surname profiler ’museum booths’.

As above www.spatial-literacy.org website. User figures show site has received over 700,000 unique visitors.

43.Development of ‘Handbook of Geospatial Analysis’ book & website.

As above Geospatial Analysis Handbook & website. www.spatialanalysisonline.com Website users over 11,500 for 2007.

44.Educational Position Paper for HEFCW teaching Centre for Education for the Built Environment. Transactions

As above Singleton, A.D., Davidson-Burnette, G., Longley, P. (2007) University Market Area Analysis for Widening Participation. CEBE Working Paper 12.

2, 4a, 4b, 4c, 4d Produce online course materials for student & instructor use.

45. UCL: New course in ‘Turning Data into Information with ArcGIS 9’ developed as part of ESRI Virtual Campus Course. Free access to software licence holders.

As above Access details not available.

Page 47: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  45

VLSL 1‘State of the Art’ teaching laboratories

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

7 Adaptation of teaching laboratories across all 3 sites with docking laptops, projections facilities & VR stations.

46.Leicester: Adaptation of teaching laboratory with high spec PCs, projection facilities – opened Jan 2006 Virtual Reality theatre opened Feb 2006 VR modelling environment readies March 2006 Portable Stereo-projector purchased.

Do staff & students find the new facilities fit for the teaching & learning purpose? Are all new facilities being used to the full/gaining in use? Have the facilities attracted the interest of other users?

Photos of facilities Student focus group feedback on MSc Mobile Field Equipment Day (Leicester) Use of facilities for other activities e.g. Metier workshop

47.Nottingham: Establishment of a visualisation suite & projections environment - April 2006 Refurbishment of IESSG complete – April 2006

As above Photos of facilities Student focus group feedback

48.UCL: SPLINT classroom refurbishment CASA demonstration suite Geomatics classroom refurbishment Geomatics laboratory refurbishment & upgrade.

As above Photos of facilities

Page 48: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  46

VLSL-3 Pedagogic Strategies for improving Spatial Literacy using VR

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

1a, 1b, 2 Design pedagogic strategies for improving spatial literacy within lab teaching of geospatial technologies using VR.

49.Leicester: Development of urban case study virtual model (University of Leicester campus) for wayfinding & 3D model building exercises

The extent of usage, relevance & currency of the resources Is 3D visualisation in a VR context an effective teaching tool?

Tour of the Leicester campus making use of the 3D Campus Model Student focus group feedback on MSc Mobile Field Equipment Day (Leicester)

50.3D campus model used in the first instance to exploring the potential role of 3D models & realism issues with Year 3 Applications of GIS class (2005/6 & 2006/7) & MSc GIS visualisation module (2006/7).

As above Module evaluation forms

51.Developed & tested a GPS mission tool & tested with 2006/7 MSc Students. Tool exhibited using mobile projection system at the Virtual Fieldwork event at the University of Worcester May 2007

As above

Example of GPS Mission Tool in action Student focus group feedback on MSc Mobile Field Equipment Day (Leicester)

52. Data collation & fieldwork towards use of VR for field course familiarisation. Case study area: Almeria Region, SE Spain. Protoype 3D visualisation for smaller landscape zone, Tabernas badlands, Almeria, developed as UG dissertation project.

As above

53.Nottingham: Developed and tested a procedure for using lab-based stereo visualisation for class sizes of 25-30 utilising a fake GPS signal to link to mobile mapping applications on PDAs in the lab. This was deployed across the GIS curriculum and reached over 250 students in period 2006-2007.

As above

Page 49: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  47

VLSL-3 Pedagogic Strategies for improving Spatial Literacy using VR

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

54.Desktop VR – Hawkcombe Stream Interactive Map: an exemplar interactive map to accompany a rivers module was created using Shockwave 3D. This explored web-based interactive 3D models rather than big screen stereo projection

As above

1a, 7 Meetings & decisions across consortium regarding focus & form of new learning & teaching models in subjects in particular need of spatial literacy skills (EPSLL) to promote ‘ownership’ of materials across consortium sites for geospatial technology programmes.

55. Leicester & Nottingham Cross-site liaison regarding PDA equipment

As above

56.Leicester: Cross-departmental discussions regarding the development of spatial literacy in human & physical geography fieldwork.

As above

57.Nottingham: Meeting with coordinators of the Visual Learning Lab CETL at Nottingham to discuss joint strategies – 21st Sept 2006 Meetings with Human Geography colleagues – 15th Nov 2006 Presentation to the Centre for Geospatial Science group to explore collaboration – 15th Dec 2006 Meetings with human geography colleagues to review prototype human geography field capture application – 1st June 2007 Field day to explore physical geography uptake – Cumbria, 18th June 2007

As above

Page 50: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  48

VLSL-3 Pedagogic Strategies for improving Spatial Literacy using VR

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

1a, 7 Successful identification of 4 exemplar studies, thought well suited for VR treatment.

58.Leicester: Use of VR for teaching GI algorithms (GPS Mission Tool) & Campus Map

The extent of usage, relevance & currency of the resources Is 3D visualisation in a VR context an effective teaching tool?

VR tools for visualising algorithms & familiarising students with landscape have been developed. Example of the GPS Mission Tool in action Student focus group feedback on MSc Mobile Field Equipment Day (Leicester)

59.Use of VR for field course familiarisation & landscape evolution modelling (Almeria test area) Attendance at GEES events (Worcester 2007; Almeria 2006) has confirmed wide interests in Almeria regions as popular field destinations for UK Universities.

As above

60.Nottingham: Use of VR for pre & post field course familiarisation & further developments– Lake District text area

As above Student feedback on Cumbria VR Practical Student video diary

61.Development of 3D Nottingham Campus models for wayfinding & navigation

As above

1a, 1b, 7 Design pedagogic strategies for innovative geospatial technologies in the field.

62. Leicester: Implementation of practical exercises into MSc in GIS, & selected units within Undergraduate modules at 1st, 2nd & 3rd year levels.

The extent of usage, relevance & currency of the resources

Student focus group feedback on MSc Mobile Field Equipment Day (Leicester) Photographic evidence of student engagement with a variety equipment Practical materials

63.Development & first trials of Podcasts as a means of supporting equipment usage within enquiry-based independent study

As above Student focus group feedback on MSc Mobile Field Equipment Day (Leicester)

64.Trial of new equipment in 1st/2nd year Physical Geography fieldtrips.

As above Photographic evidence of student engagement with a variety of equipment Practical materials

65.Nottingham: Researched & developed a PDA-based software test-bed for basic spatial literacy experiments

As above Test-bed report

Page 51: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  49

VLSL-3 Pedagogic Strategies for improving Spatial Literacy using VR

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

66.Implementation of Practical exercises resulting from test-bed report into MSc in GIS modules ‘Programming for Geographical Applications’ & ‘ Data Capture, Storage & Management’

As above Practical materials Student focus group feedback

67.Development & implementation of practical exercises for undergraduate programmes, including 3rd year GIS module and Cumbria field trip.

As above Student feedback on Cumbria VR Practical Student video diary

68. Development of new fieldtrip module for 2007-2008 session ‘ Mobile and Field GIS’. This will be open to MSc in GIS students and 3rd year undergrads

As above

69.Initial development of a virtual model for rural/urban case study of Keswick

As above

70.Course: Industrial Strength GPS – Surveying in the Field.

As above

1a, 1b, 4a, 7 Meetings & decisions regarding practical pioneering examples of in-field virtual reality in support of consortium L&T at all consortium sites.

71.Leicester & Nottingham: Attendance at Developments in Field Teaching Workshop – 28/8/06 – 7/9/06 Sorbas, SE Spain. Notts/Leics liaison & discussions with Virtalis in respect of mobile VR/AR purchase & development Procurement of equipment relating to field GIS & AR Development of joint Notts/Leics workpackage for Augmented Reality (May 2007)

Contributions to Developments in Field Teaching Workshop – 28/8/06 – 7/9/06 Sorbas, SE Spain. Notts/Leics liaison & discussions with Virtalis in respect of mobile VR/AR purchase & development Equipment relating to field GIS & AR Joint Notts/Leics workpackage for Augmented Reality ( May 2007)

Page 52: SPLINT CETL Interim Evaluation Report for HEFCE final CETL... · pedagogic underpinnings of spatial literacy • SPLINT has resulted in both HE and secondary level teachers working

  50

VLSL-3 Pedagogic Strategies for improving Spatial Literacy using VR

Programme Outcome

2005-2007 Target Outcomes

2005-2007 Activities Evaluation Questions Evaluation Evidence

1a, 7 Design & development of headset virtual reality sets for use in the field (design to conform with legal responsibilities regarding accessible tuition)

72.Leicester & Nottingham Teams reviewed the state-of-the-art in Augmented Reality (AR) Head-Mounted Display (HMD) technology. This resulted in: Defining a specification for an in-field mobile AR solution to be developed by Virtalis in conjunction with the SPLINT team; The procurement of AR computing equipment that will allow both sites to exchange developments & expertise over the lifetime of the CETL.

Has the feasibility of the augmented reality concept been established? What progress has been made towards implementation?

Screen shots from demo software at May 2007. Progress significantly ahead of schedule owing to HEFCE time schedule on capital purchasing.

73.Leicester: Poster on augmented reality approach, Virtual Fieldwork event at the University of Worcester May 2007 Augmented Reality teaching unit, MSc Mobile Computing Workshop

As above Poster Student focus group feedback on MSc Mobile Field Equipment Day (Leicester)