Object Manipulations and GesturesCan Enhance STEM Learning

PAI 82140021

Juan Cristóbal Castro‐Alonsoa,b; Paul Ayresb; Fred Paasb,c,d

a Center for Advanced Research in Education (CIAE), Universidad de Chile, Chileb School of Education, University of New South Wales, Australiac Department of Psychology, Education, and Child Studies, Erasmus University Rotterdam, The Netherlandsd Early Start Research Institute, University of Wollongong, Australia

9th Embodied and Situated Language Processing (ESLP) ConferencePucón, Chile, 6‐9 October 2016

2/18

Castro‐Alonso, J. C., Ayres, P., & Paas, F. (2015). The potential of embodied cognition to improve STEAM instructional dynamic visualizations. In X. Ge, D. Ifenthaler & J. M. Spector (Eds.), Emerging technologies for STEAM education: Full STEAM ahead (pp. 113‐136). New York, NY: Springer

• Transient Information Effect• Embodied Cognition (Human Hand Actions)• Hand Actions, STEM, and Spatial Ability• Hand Actions and STEM

• Manipulations and STEM• Gestures and STEM

• Visuospatial Abilities• Hand Actions and Visuospatial Abilities

• Manipulations and Spatial Ability• Gestures and Working Memory

• PAI Project• Instructional Implications

Outline

3/18

• Cognitive load theory(1)• We have a limited working memory• Applications for multimedia learning(2)

• Transient information effect• Three simultaneous cognitive tasks in working memory(3,4)

• Process the current visible information• Remember the previous elements (no longer visible)• Integrate both streams of information in order to comprehend the material

Transient Information Effect

(1) Sweller, J., Ayres, P., & Kalyuga, S. (2011). Cognitive load theory. New York, NY: Springer(2) Mayer, R. E. (Ed.). (2014). The Cambridge handbook of multimedia learning (2nd ed.). New York, NY: 

Cambridge University Press(3) Ayres, P., & Paas, F. (2007). Making instructional animations more effective: A cognitive load approach. 

Applied Cognitive Psychology, 21(6), 695‐700(4) Lowe, R. K. (1999). Extracting information from an animation during complex visual learning. European 

Journal of Psychology of Education, 14(2), 225‐244

4/18

Embodied Cognition

(1) Barsalou, L. W. (2010). Grounded cognition: Past, present, and future. Topics in Cognitive Science, 2(4), 716‐724(2) Wilson, M. (2002). Six views of embodied cognition. Psychonomic Bulletin & Review, 9(4), 625‐636(3) Geary, D. C. (2008). An evolutionarily informed education science. Educational Psychologist, 43(4), 179‐195

• Cognition is embodied or grounded(1,2)

• Connected to the environment• Connected to the body

• Human hand actions in object manipulations and gestures

• Evolutionary educational psychology(3)• Biologically primary abilities

• Evolved and effortless• Learned outside of institutions

• Biologically secondary abilities• Not evolved and effortful• Learned inside the institutions

• Use primary abilities to foster secondary abilities

5/18

Hand Actions, STEM, and Spatial Ability

Castro‐Alonso, J. C., Ayres, P., & Paas, F. (2015). Animations showing Lego manipulative tasks: Three potential moderators of effectiveness. Computers & Education, 85, 1‐13

6/18

Manipulations and STEM• Positive effects for object manipulations

• Doing the manipulations(1)

• Observing others doing the manipulations (e.g., in visualizations)(2)

• Concrete versus abstract manipulatives• Concreteness fading(3)

(1) Miller, J. E. (1998). Three big hands‐on noncomputer models for the biology classroom. The American Biology Teacher, 60(1), 52‐53

(2) Castro‐Alonso, J. C., Ayres, P., & Paas, F. (2015). Animations showing Lego manipulative tasks: Three potential moderators of effectiveness. Computers & Education, 85, 1‐13

(3) Fyfe, E. R., McNeil, N. M., Son, J. Y., & Goldstone, R. L. (2014). Concreteness fading in mathematics and science instruction: A systematic review. Educational Psychology Review, 26(1), 9‐25

7/18

Gestures and STEM

(1) Pouw, W. T. J. L., Mavilidi, M.‐F., van Gog, T., & Paas, F. (2016). Gesturing during mental problem solving reduces eye movements, especially for individuals with lower visual working memory capacity. Cognitive Processing, 17(3), 269‐277

(2) Brucker, B., Ehlis, A.‐C., Häußinger, F. B., Fallgatter, A. J., & Gerjets, P. (2015). Watching corresponding gestures facilitates learning with animations by activating human mirror‐neurons: An fNIRS study. Learning and Instruction, 36, 27‐37

• Positive effects for gestures• Doing the gestures(1)

• Observing others doing the gestures (e.g., in visualizations)(2)

8/18

Gestures and STEM

(1) Castro‐Alonso, J. C., Ayres, P., & Paas, F. (2014). Learning from observing hands in static and animated versions of non‐manipulative tasks. Learning and Instruction, 34, 11‐21

9/18

Visuospatial Abilities• Working memory includes a visuospatial subcomponent(1)

• The subprocessor is related to spatial ability(2)• “Skill in representing and transforming symbolic or nonlinguistic information 

through space.”(3)

• Commonly measured spatial abilities are mental rotation and spatial visualization(4)

(1) Baddeley, A. (2012). Working memory: Theories, models, and controversies. Annual Review of Psychology, 63(1), 1‐29. doi: 10.1146/annurev‐psych‐120710‐100422

(2) Salthouse, T. A., Mitchell, D. R. D., Skovronek, E., & Babcock, R. L. (1989). Effects of adult age and working memory on reasoning and spatial abilities. Journal of Experimental Psychology: Learning, Memory, and Cognition, 15(3), 507‐516. doi: 10.1037/0278‐7393.15.3.507

(3) Terlecki, M. S., & Newcombe, N. S. (2005). How important is the digital divide? The relation of computer and videogame usage to gender differences in mental rotation ability. Sex Roles, 53(5‐6), 433‐441. doi: 10.1007/s11199‐005‐6765‐0

(4) Linn, M. C., & Petersen, A. C. (1985). Emergence and characterization of sex differences in spatial ability: A meta‐analysis. Child Development, 56(6), 1479‐1498. doi: 10.2307/1130467

10/18

Manipulations and Spatial Ability

(1) Yeh, S.‐C., Wang, J.‐L., Wang, C.‐Y., Lin, P.‐H., Chen, G.‐D., & Rizzo, A. (2014). Motion controllers for learners to manipulate and interact with 3D objects for mental rotation training. British Journal of Educational Technology, 45(4), 666‐675

• Manual and mental rotations• Computerized manual training with 3D 

shapes(1)

• Females (not males) benefited:• > scores on MRT• > perceived playfulness

11/18

Gestures and Working Memory

(1) Marstaller, L., & Burianová, H. (2013). Individual differences in the gesture effect on working memory. Psychonomic Bulletin & Review, 20(3), 496‐500

• Doing gestures (pointing) to explain equations(1)• Working memory measured with a dual task• Gestures benefitted those with low working memory capacity

12/18

PAI Project• Females tend to underperform in

• STEM areas• Visuospatial abilities

• Experiment to compare• Scores in computer visuospatial tests• For

• Males (M) versus females (F)• STEM students (S) versus non‐STEM students (nS)

• Hipotheses• H1: M > F• H2: S > nS• H3: MS > FS > MnS > FnS

13/18

• Mental Rotation

PAI Project

14/18

(1) Della Sala, S., Gray, C., Baddeley, A., Allamano, N., & Wilson, L. (1999). Pattern span: A tool for unweldingvisuo–spatial memory. Neuropsychologia, 37(10), 1189‐1199. doi: 10.1016/S0028‐3932(98)00159‐6

PAI Project• Visual Memory Span

• Visual patterns task(1)

15/18

PAI Project

• Spatial Memory Span• Corsi block test(1)

(1) Milner, B. (1971). Interhemispheric differences in the localization of psychological processes in man. British Medical Bulletin, 27(3), 272‐277.

16/18

(1) Kane, M. J., Hambrick, D. Z., Tuholski, S. W., Wilhelm, O., Payne, T. W., & Engle, R. W. (2004). The generality of working memory capacity: A latent‐variable approach to verbal and visuospatial memory span and reasoning. Journal of Experimental Psychology: General, 133(2), 189‐217. doi: 10.1037/0096‐3445.133.2.189

PAI Project• Visuo‐spatial working memory

• Dual tasks(1)

17/18

Instructional Implications

• Primary abilities can foster learning secondary STEM abilities• Doing and observing object manipulations• Doing and observing gestures

• Visuospatial abilities• Are important for STEM and primary tasks• Tend to be underperformed by females

• Current project• Measuring computerized visuospatial abilities • Investigate effects of gender and STEM versus non‐STEM disciplines

Thank you!

18/18