1  

FINAL REPORT 

Development of Experiential Activities on the Toyota Lab for NTID’s Deaf and Hard‐

of‐Hearing Student Population 

Principal Investigators 

Andres L. Carrano  (Department of Industrial and Systems Engineering, COE) Wendy A. Dannels  (Department of Engineering Studies, NTID) John Kaemmerlen  (Department of Industrial and Systems Engineering, COE) Dino Lauria (Laury)  (Department of Engineering Studies, NTID) 

 

[1] SUMMARY

This  proof‐of‐concept  proposal  seeks  to  lever  collaboration  between  COE  and  NTID  faculty  to  adapt, incorporate and deliver a 2‐part series of experiential activities into one course (with 8‐10 sections) for NTID’s associate degree programs  in engineering studies. These activities, currently offered only to COE engineering students,  utilize  active  and  collaborative  learning  principles  within  the  state‐of‐the‐art  Toyota  Production Systems Lab located in COE, to emphasize the skills of problem solving and continuous improvement, and team building.  These  activities  are  typically  staged on  a  real  assembly  line  for  automotive  components  and  take place during a “live” production run where the students perform as operators and systems analysts. According to  industry  feedback,  hands‐on  exposure  to  the material  and  experiences  in  the  lab  by  the NTID  student population will  provide  them with  tools,  skills  and  techniques  that  are  valued  by  prospective  employers. Additionally,  it  is  expected  that  the  delivery  format,  which  heavily  relies  on  active/collaborative  learning approaches, will be particularly attractive  to deaf and hard‐of‐hearing students. A video and pictures of  the facility and some of  the activities can be  found  in  the  lab website at: www.rit.edu/ToyotaLab  (use windows media player).  

[2] PROPOSAL

The  target  audience  for  this  proposal  was  comprised  of  first  year  students  entering  the  “Engineering Fundamentals”  course  (0813‐220)  during  the  AY  2010‐2011.  This  course  is  offered  by  the  Department  of Engineering Studies in the National Technical Institute for the Deaf. This is a required course for deaf and hard of hearing students who will be pursuing their technical associated degrees in AT, CADT, CIMT, or NAMA. This course is offered every Fall and Winter in several sections (6‐8 sections with 8‐10 students each). Finally, there may be the occasional deaf and hard of hearing student from the NAPE (NTID Pre‐BACC program) who could also benefit this type of activity. The total number of students who will participate in the proposed activity falls in the range of 45‐60 students. This is the cumulative number for the academic year (among several sections in both Fall and Winter).   This proposal aims to incorporate innovative lab experiences that will facilitate and enhance the delivery and retention of some of  the current course objectives as well as of additional ones. The specific cognitive skills targeted  by  the  proposed  activity  are  knowledge,  comprehension  and  application  on  Bloom’s  taxonomy (Bloom and Krathwohl, 1956) on the following topics:  

A specific problem solving methodology (PDCA) 

A continuous improvement framework (Toyota House) 

Technical Communication (A3 proposal) 

Teamwork  

2  

Systemic thinking  The activities in the lab involve experiential approaches, that is, exposing the students to a situation on a real assembly line and asking them to perform. This delivery format, used for nearly 10 years in the Toyota lab, has proved to be extremely effective with engineering students. One of the reasons for this success is because this approach is soundly rooted in proven learning approaches of active learning and collaborative learning.  Active learning involve activities that engage students into an activity, besides listening to a lecture and taking notes, that help them learn and apply course material. Essentially, active learning is a learn‐by‐doing approach that  results  in one of  the highest percentages of  knowledge  retention  (Dale, 1972). The  “cone of  learning” approach  developed  by Dale  (1972)  shows  that  the  highest  percentage  of  knowledge  retention  (measured after two weeks) is achieved when students participate in a hands‐on activity. Cooperative learning is a process whereby students interact with one another while they learn and apply course material.  Some of the benefits of  cooperative  learning  that  have  been  realized  include  improved  student‐faculty  and  student‐student interaction,  higher  information  retention,  improved  teamwork,  better  development  of  interpersonal  and communication skills, better attitude  towards subject matter, and  lower  levels of anxiety  (Felder and Brent, 1994). Johnson et al.  (1991), found that one of the reasons for the higher retention achieved  in cooperative learning approaches is due to the process of cognitive rehearsal, in which students, like professors, learn best when they teach the subject to one another.   With proper adaptation of the material, it is expected that this delivery format will be particularly attractive to deaf  and  hard‐of‐hearing  students. One  of  the  team members  on  this  proposal, Wendy Dannels,  has  had significant  experience  teaching  lean  concepts  to  these  audiences  (Department  of  Defense,  2010).  Similar experiences  delivered  in  engineering  courses  have  helped  students  secure  co‐op  and  permanent  job opportunities. It  is anticipated that students, enriched by this hands‐on experience on key skills, will become more attractive to prospect employers. Additionally, the active and collaborative learning approach is likely to foster an enhanced retention of knowledge on the participants.   

[3] APPROACH

Consistent with the approach described in the grant proposal, the following process was followed:  Summer 2009‐2010  

The NTID  investigators  spent  time  in  the  Toyota  lab  becoming  familiar with  the  environment.  This includes  familiarization  with  the  lab  equipment  and  procedures  and  practice‐runs  of  the  lab experiences. 

The  four  investigators met  to develop  consensus of  the objectives of  this  effort,  review  contextual issues  (e.g.  student  backgrounds),  develop  the  specifics  of  the  approach  and  further  define  the timeline. 

The  specific  content  to  be  delivered  in  the  two  labs  and  the  lecture  session  was  developed  and adapted. 

A rubric assessment tool was developed (see appendix I) 

A detailed instructional plan was developed (see appendix II)  

Fall 2010‐2011: 

The  specifics of  the  lab exercises  to be used were presented  to  three NTID  instructors  in “train  the 

trainer” sessions, conducted in the lab. 

The expectations of the graduate student lab assistants were communicated. 

3  

    

Delivery of first series of lab/lecture: The first delivery of the lab and lecture exercises occurred in fall quarter  2010‐1  to  4  sections  of  students.    In  the  first week,  there were  lab  sessions,  then  lecture sessions.    Following  the  lab  sessions,  the  ISE  instructors  and  lab  assistants met,  compiled  a  set  of observations and suggestions for improvement for the lab exercise in the 2nd week, and communicated those to the NTID instructors.  Those were incorporated as appropriate into the 2nd lab exercises.   

Administration of rubric and collection of qualitative feedback was completed.  

Brainstorm and debrief meeting with  instructors: At  the end of  fall quarter,  the  ISE  instructors  and NTID  instructors held a debrief meeting  to discuss positive and negative aspects of  the process and results  to  date,  and  agreed  to  changes  for  the winter  quarter  “round  2”.  Changes  to  content  and delivery methods were made as appropriate (the changes were not significant as the student feedback overall was very positive as described below).  

Winter 2010‐2011 

Delivery of  lab experiences to NTID students by a team of NTID/COE  instructors: the second delivery occurred  in  the same sequence of  lab,  then  lecture,  then  lab again, over 3 sessions.  In  this quarter, only one section of the class opened to the students. 

The rubric was administered and qualitative feedback was collected.   

Several meetings  in which  the  instructors met  to discuss survey results and share  their observations and experiences.  

The  investigators  reviewed  the  results  from  rubric  assessment  and  compared  them with  previous quarter.  

A short summary containing feedback and improvement suggestions was written.   

Spring AY 2010‐2011 

Instead of writing a journal article, two of the investigators wrote a follow‐up proposal, based on the results and experience gained through this PLIG effort, to the National Science Foundation. At the time of writing of this final report, the outcome of that process had still not been announced.   

  

[4] RESULTS

Number of participants: 

KGCOE instructors – 2 (A. Carrano and J. Kaemmerlen) 

NTID instructors – 3 (W. Dannels – Co‐Pi), Ron Till and Marcus Holmes  

Lab assistants – 3 (all KGCOE‐ISE graduate students) 

NTID students – 32 (spread over 5 sections in two academic quarters) 

Assessment of  Impact: The grant proposal  identified  four major  topics being  focused on  that needed  to be evaluated via the rubric and/or follow‐up debriefing.  The four areas and a summary of specific results are: 

Application  of  a  problem  solving  methodology  (Plan‐do‐check‐act)  –  the  students  were  shown  and practiced a methodology called “A3 problem solving”  

Application  of  a  continuous  improvement  framework  –  the  students  were  given  the  expectation  of improving  the performance of  the production  line  from  the  initial  results  they obtained,  so  they had  to develop ideas, get agreement in teams, try them, and evaluate the results while in the lab 

4  

Ability to work  in teams – the  lab exercises were all team based.   The NTID  instructors did a good  job of making  sure  students  tried different  roles during  the  exercises,  and  that decision making was done by consensus as much as possible 

Development of  systems  thinking  skills –  the  lab assistant who  supported  the effort  in  the  “2nd  round” (winter quarter) commented  that  the students  interacted with her  (with  the  support of a  sign  language interpreter) during the continuous improvement portion of the lab much more than the groups had in fall quarter, which was a good improvement and produced better performance  

 

Student survey  results:  In  the proposal,  it was stated  that we would collect student  feedback using a  rubric assessment.   We developed and used a 5 question survey  in both quarters.    In the second quarter, although the sample size was very small, survey responses averaged a 4.0 or better on a 1 to 5 scale.  

The detailed student response for the three of the most meaningful questions is plotted in the next figures: 

 

 

 

0

2

4

6

8

10

12

14

16

Unsatisfactory Below Average Neutral Above Average Outstanding

How would you rate your experience in the Toyota lab?

Section E

Section D

Section C

Section B

Section A

0

2

4

6

8

10

12

14

16

Poorly designed below average Neutral Above Average Outstanding

Which rating best describe the quality of the exercises?

Section E

Section D

Section C

Section B

Section A

5  

 

 As part of the effort, and based on a four‐page  long article (A3 Medical Case), a 16‐minutes video clip being signed  in American Sign Language was produced and captioned. Students were given the choice of watching the video or reading the material (1/3 read the case, 1/3 watched the video and 1/3 did both).  This approach seemed to work well. Also, by providing the schedule of open  lab hours, the TPS Lab gave NTID students the opportunity to work on their assignments independently went pretty well in the latter round.  This is evidence that collaboration can be easily done between two colleges.  Finally, the  increased emphasis on safety substantially  improved the  learning experience  for students  in “2nd round”. (appendix V)  

[5] CONCLUSIONS

This  proposal  showed  the  potential  of  experiential  learning  in  deaf‐and‐hard‐of‐hearing  students.  The approach was well received and allowed for NTID students to experience engineering  in a hands‐on manner. This increased their inclination to pursue a career in an engineering field.  Also,  this  proposal  fostered  a  cross‐college  collaboration  that  would  not  have  happened  otherwise.  The proposed activities currently take place on a given college (COE) and within courses that restrict participation to students outside engineering. However, the technically‐inclined NTID students greatly benefited from these experiences and would  likely place themselves  in a better position to secure a  job or a co‐op. Toyota Motor Manufacturing &  Engineering North America  has  expressed  interest  in  attracting  deaf  and  hard‐of‐hearing students who possess this type of knowledge and skills.   More  importantly,  the  success  in  this  project  served  as  a  foundation  to  pursue  external  funding  from  the National  Science  Foundation's  program  Transforming  Undergraduate  Education  in  Science,  Technology, Engineering and Mathematics.   An NSF‐TUES proposal titled "Integration of experimental  learning to develop problem solving skills in deaf and hard of hearing STEM students" was submitted on May 2011. 

0

2

4

6

8

10

12

14

16

No Some Neutral Yes Absolutely

Are you more encouraged to study engineering?

Section E

Section D

Section C

Section B

Section A

6  

[6] REFERENCES

1. Bloom,  B.S.  and D.R.  Krathwohl  (1956)  Taxonomy  of  Educational Objectives, Handbook  1,  Cognitive Domain, Longmans, New York.  

2. Dale, E.  (1972). Audio‐Visual Methods  in Teaching. 3rd Edition. Holt, Rinehart, and Winston, Austin, Texas,     p. 235. 

3. Felder, R.M., and R. Brent  (1994). Cooperative  learning  in  technical  courses: Procedures, pitfalls, and payoffs. Report to the National Science Foundation (ERIC Doc. Reproduction Serv. No. ED 377038). 

4. Johnson, D.W., R.T.  Johnson and K.A. Smith  (1991) Active Learning: Cooperation  in  the College Classroom, 2nd Edition, Interaction Book Co., Edina, MN. 

5. Department  of Defense.  “Performance Matters:  Lean  Training  for Deaf  Employees”.  Lean  Six  Sigma  program Office. January 2010. Page 10. 

7  

APPENDICES

8  

APPENDIX I: Rubric Assessment Tool

 

 

 

9  

APPENDIX II: Instructional Plan

 

 

 

 

 

 

 

 

 

 

10  

 

11  

 

 

 

12  

APPENDIX III: Student survey data

13  

 

14  

 

 

 

 

 

 

 

 

15  

APPENDIX IV: Faculty Evaluation Form

Faculty Observation Evaluation Form Date:______                    Faculty:_____________ 

 AREA ONE: Specific Problem Solving Methodology  

Performance  Criteria/Benchmark 

Beginning 1  Developing 2    Accomplished 3   Exemplary 4 

* Explain how the PDCA cycle works * Apply PDCA 

Misidentify each letter of PDCA 

Misinterpret one essential part of PDCA 

Only minor PDCA information is lacking 

Provide above average articulate thought ‐ explain PDCA perfectly 

 Student 1       ________    ________          ________       ________  Student 2       ________    ________          ________       ________  Student 3       ________    ________          ________       ________  Student 4       ________    ________          ________       ________  Student 5       ________    ________          ________       ________  Student 6       ________    ________          ________       ________  Student 7       ________    ________          ________       ________  Student 8       ________    ________          ________       ________  AREA TWO: Teamwork  

Performance  Criteria/Benchmark 

Beginning 1  Developing 2    Accomplished 3   Exemplary 4 

* Perform collaborative learning activities and share experience with others 

One‐person show  Less than half of team members participated 

More than 3/4 of team members participated 

Excellent team participation ‐ everyone contributes to the group effort 

 Team 1        ________    ________          ________       ________  Team 2        ________    ________          ________       ________  Team 3        ________    ________          ________       ________  Team 4        ________    ________          ________       ________ 

16  

APPENDIX IV: Faculty Evaluation Form Data

 

 

17  

APPENDIX V: Safety Documentation

 

 

Toyota Lab Safety Awareness Assignment 

1. The first thing to do when you start the lab activity is:  a. see if anyone else is there.  b. put on safety glasses.  c. ask if it is time to work.  d. start the machine.  2. If you spill liquid on the lab floor, you should:  a. step over it.  b. use your safety glasses.  c. wear heavy boots.  d. tell the first responder (i.e. lab assistant) first and then clean it up.   3. Running in the lab is:  a. OK, if you are alone.  b. OK, if you are in a hurry.  c. OK, never.  d. OK, if the machines are off.   

Use safety glasses Speed ≠ Quality ≠ Safety

Don’t launch pallets from the curve of the conveyor

Use ladder on Bays

Wear gloves when manipulating sharp objects

Don’t run!

Avoid placing head or hands under conveyor

TOYOTA PRODUCTION SYSTEMS LABSAFETY RULES

18  

4. Eye protection is good because:  a. it looks good.  b. it helps you see in the dark.  c. it can keep your face clean.  d. it protects your eyes from foreign objects.   5. If you cut your finger, you should wait until the end of class to tell the instructor.  a. True  b. False  6. You should always lift heavy objects alone.  a. True  b. False     Retrieved and modified per Ed S.’s sheet 12/01/10