keiwa college english placement test study
TRANSCRIPT
KeiwaăCollegeăEnglishăPlacementăTestăStudyă1995ďź1998ă157
KeiwaăCollegeăEnglishăPlacementăTestăStudyăăăăăăăăăăăăăăăăăăă1995ďź1998
JamesăBďźăBrown
Abstract
TheăprogressăofăstudentsăinăaăskillsďźbasedďźăcoordinatedăEnglish
languageăcurriculumăatăKeiwaăCollegeăisăevaluatedăbyăthe
readministrationăofătheăplacementătestătoăstudentsăwhoăhave
completedăLevelă3ăinăoneăorămoreăofătheăskillăareasďźăStudents
whoăstartăatăLevelălăshowătheăgreatestăimprovementďźăwhile
thoseăwhoăbeginăatăLevelă2ăshowăimprovementăinăsomeăareasďź
Introduction
ăăăăăInă1995ăKeiwaăCollegeăundertookăaărevisionăofătheăEnglish
languageăcurriculumďźăTheăoriginalăcurriculumăofăEnglishălanguage
classesăconsistedăofăthreeâlevelsâofăEnglishădividedăintoătwo
courseďźtypesăwithădifferentăfocusesărespectivelyăăOneătrack
focusedăonăreadingăandăwritingăwhileătheăotherătrackăemphasized
conversationďźăTheăreadingăandăwritingăclassesămetăonceăaăweek
foră90ăminutesďźăwhileăsomeăofătheăconversationăsessionsămet
twiceăweeklyăforă45ăminutesăperăsessionďźăStudentsăenteredăthe
firstăclassesăinătheirăfirstăyearăandămovedătoătheăsecondăand
thirdălevelsăinăsubsequentăyearsăuponăsuccessfulăcompletionăof
eachăcourseďźăThereăwasănoăplacementăprocedureăimplementedďź
soăclassesăwereăofămixedălevelsďźăTeachersăwereăfreeătoăchoose
theirăownătextbooksăandădevelopătheirăownăevaluationăprocedures
forăeachăofătheăsectionsăofăeachăcourseăatătheăsameâlevelďźâ
ăăăăăTheănewăcoreăcurriculumďźăinăcontrastďźăconsistsăofăthree
levelsăofăcoursesăinăfourăskillăareasďźlevelsăoneăthroughăthreeăin
eachăofăreadingďźăwritingďźălisteningďźăandăspeakingďźăStudentsătake
aplacementătestăuponăentryăintoăKeiwaăCollegeăandăareăplaced
atătheăappropriateălevelăinăeachăskillăareaďźăStudentsămayăplace
inăaăhigherălevelăinăsomeăskillsăthanăothersďźăAllătheăteachersăof
CORE Metadata, citation and similar papers at core.ac.uk
Provided by Niigata Regional Repository
158
theăvariousăsectionsăofăeachăcourseăuseătheăsameătextbookăandďź
withătheăexceptionăofăSpeakingďźăskillďźbasedătestsăareăstandardized
acrossăsectionsăofăeachăcourseďźăinăotherăwordsďźăităisăaăcoordinated
curriculumďź
ăăăăăăTheăPlacementăTestăusedăinătheănewăcurriculumăisăan
inďźhouseďźdevelopedăplacementăinstrumentďźăconsistingăofăa
listeningăsectionăwithă30ăproblemsďź15ăminutesďźďźareading
sectionăwithăfourăreadingsăandă20ăquestionsďź45ăminutesďźďźăa
grammarăsectionăwithă60ăproblemsďź30ăminutesďźandăaăwriting
sampleăbasedăonăaăchoiceä¸omăamongăseveralătopicsďź30ăminutesďźďź
Theăwholeătestătakesătwoăhoursďź
ăăăăăInă1997ătheăfirstăofătheăstudentsăwhoăhadăenteredătheănew
curriculumăină1995ăreachedăLevelăThreeăinăvariousăskillăareasďź
TheăLanguageăCunicUlumăReformăCommitteeădecidedătoăadminister
theărelevantăportionsăofătheăPlacementăTestătoăLevelăThree
studentsăandăcompareătheăresultsătoăthoseăthatătheyăhadăachieved
onătheăPlacementăTestăthatătheyăhadătakenăuponăentryďźăThis
paperăpresentsătheăresultsăofăthatăstudyďź
TheăData
Meaftďź StdďźDevďźďźăStdďźăErrorďźVarianceďźCoefďźăVerďźďź Countďź
1ă2ăďź346 3ďź989 ďź782 15ďź915 32ďź313 26
Minimumďź é´Miĺźąin
Figďź1ďź
19971995ăListeningăPlacementăTestăScoresăofăThoseăWăhoăReachedăLevelă3ăin
Meanďź StdďźăDevďźďź StdďźErrorďźăăVarianooďźăCoofďźăVarďźďź Countďź
10ďź929 4ďź552 ďź304 20ďź721 41ăďź653 224
Figďź2ďź1995ăListeningăPlacementăTestăScoresăofăAllăStudents
KeiwaăCollegeăEnglishăPlacementăTestăStudyă1995ďź1998ă159
ăăăăăăTheăresultsăshownăinăFigďź1areătheăscoresăonătheă1995
ListeningăPlacementăTestăofăthoseăstudentsăwhoăwereăinăLevelă3
ină1997ďźăThereăareă30ăquestionsăonătheăListeningăPlacement
Testďźăsoătheămeanăwasăaboută41ďź ďźăTheăhighăscoreăwasă22ăwhile
theălowăscoreăwasăfiveďźăIfăweăcompareătheăresultsăofăthese
studentsăwhoăeventuallyăreachedăLevelă3ătoătheăclassăofâ95ăasăa
wholeďźFigďź2ďźďźweăcanăseeăthatătheyăwereăslightlyămoreăproficient
withăaămeanăscoreăofăaălittleămoreăthanăoneăpointďź1ďź417ďź
higherďźăTheăhighăscoreăofătheăwholeăclassăwasăaăpointăhigher
thanăthoseăwhoăwentăonătoăLevelă3ďź
ăăăăăAstatisticalăcomparisonăofătheseătwoăgroupsăshownăbelow
ďźFigďź3ďźindicatesăthatăthereăisănoăsignificantăstatisticalădifference
betweenătheăwholeăgroupăofăenteringăfreshmenăină1995ăand
thoseăamongăthemăwhoăwentăonătoătakeăLevelă3ăclassesďź
DFďź
ăăăăuĺŠairâăéä¸Test
XCountďźăăăYCountďźăăăĺ1eanăXďź UnçirodătăVelueďź
ďź05ăPSďź1
Figďź3ďźComparisonăofăListeningăPlacementăTestăScoresăofăAllă1995ăFreshmen
andăThoseăWhoăWentătoăLeve1ă3ăină1997
ăăăăăSinceănoămoreăthanăaďź051evelăofăsignificanceďźpăinăthe
dataădisplayďźisărequiredătoădemonstrateăaăstatisticallyăsignificant
differenceăďź95ďź probabilityăthatătheăresultsădidănotăhapPenăby
chanceďźďźtheălevelsăshownăinătheătableăaboveăindicateăaălackăof
statisticallyăsignificantădifferenceăbetweenătheătwoăgroupsďź
ăăăăăHavingădemonstratedăthatăstudentsăwhoăwentăonătoăLeve1
3wereănotăsignificantlyădifferentăinălisteningăskillsăină1995ăfrom
theirăpeersăwhoădidănotďźăweăcanăcompareătheirăinitialăscoresăon
theăListeningăPlacementăTestătoăthoseătheyăreceivedăwhenăthey
tookătheătestăagainăwhileătheyăwereăinăLevelă3ďź
160
Meanďź StdďźDeyďźďźăStdďźErrorďźăVerienceďźăăCoefďźăVarďźďź Countďź
22ďź429 3ďź048 ďź576 9ďź29t 13ďź59 28
Figďź4ďźListeningăPlacementăResultsăofă1997ăLevelă3ăListeningăStudentsăWho
EnteredăatăLeve10neăină1995
AquickălookăatătheămeanăinăFigďź4indicatesăthatăprogressing
fromăLevelălătoăLevelă3ăinălisteningăresultedăinăanăimprovement
ofăaboută10ăpointsďź33ďź ďźonătheăPlacementăTestďź
ăăăăăStatisticalăcomparisonďźFigďź5ďźindicatesătheăobviousďźthat
thereăisăaboutăaă5ăină10ďź000ăchanceăthatătheseăresultsăcould
haveăhappenedăatărandomďźahighlyăsignificantăfindingďź
ăăăPâiroâtä¸Ď05éť
cFďźăăăăăăăăăăMoanăXăYďźăăăăP塹irodătΨ01uoďź
25 10ďź192ăăăăăăăă11ďź506
ăăăăăăăăăăăăăăăăăăăăăăPâďź0005
ď˝´ăteďź2ăa5ăďź5ďźdă1ătedăwithămi55ingăvé1uă5ďź
Pigďź5ďźComparisonăListeningăScoresă9ďźă5197
ăăăăăSomeăofătheăstudentsătakingătheăListeningăPlacementăTest
ină1997ăplacedăintoăLevelă2ăListeningăină1996ďźăWeăthoughtăit
wouldăbeăinterestingătoăseeăifăthereăwasăasădramaticăanăimprovement
inătheirăscoresăafterăonlyătwoăyearsăofăclassesăasăthereăwasăfor
thoseăwhoăplacedăinăLeve10neăină1995ďźăaăyearăearlierďź
Meanďź StdďźăbĺvďźďźăăStdďźăErrerďź Î¨arianceďźCoefďźăVerďźďź Countďź
18ďź526 4ďź477 1ďź027 20ďź041 24ďź1ă64 19
Figďź6ďź1996ăListeningăMacementăTestăofăThoseăWhoăReachedăLevelă3ăină1997
ăăăăăAcomparisonăofăFigďź6withăFigďź1showsătheădifference
inămeanăscoresăbetweenăthoseăwhoăplaceăinăLevelălăandăthose
KeiwaăCollegeăEnglishăPlacementăTestăStudyă1995ďź1998ă161
whoăplaceăinăLevelă2ďźăTheăscoreăofăthoseăwhoăplacedăintoăLevel
2ină1996ăisăaboută6ăpointsďźăorăaboută20ăpercentďźăhigherăthan
thoseăwhoăplacedăintoăLevelălăină1995ďź
ăăăăăComparingăthisăgroupâsscoresăwithăthoseătheyăachieved
onătheăPlacementăTestăină1997ďźFigďź7ďźshowsăconsiderable
improvementăwithăaăhigherămeanăthanăthoseăstudentsăwho
startedăină1995ďźFigďź4ďźďźăTheăgapăbetweenătheăfirstătestăscores
andăthoseătakenăină1997ăisănotăasăhighďźăhoweverďźăonlyă6ďź1
pointsăorăaboută20ăpercentďźăăăăăăăăăăăăăăăăăăăăăă°
Meanďź StdďźăDovďźďźăăStdďźErrorďźăăVarianceďźăăCoofďźăVarďźďź Countďź
24ďź6 2ďź633 ďźs33 6ďź933 10ă704 10
ĺ˛ĺtissift
Figďź7ďźListeningăPlacementâăResultsăofă191ir7ăLevelă3ăListeningăSĺ dentsăWho
EnteredăatăLevelăTwoăină1996
NeverthelessďźăaăstatisticalăanalysisăofătheăstudentsâscoresďźFigďź
8ďźshowsăaăhighlyăsignificantăimprovementďź
Pâéăâ âçŤä¸Ďâ 5t
cFďźăăăăăăăăăăăĺ1eanăăźYďźăăăăPairedătăvalueďź
9 2ďź8 2ďź905
ăăăăăăăăăăăăăăăăăăăăăăăăăďźOO5ăPäšą01
ď˝´oteďź90a50ďź5ďźdeletedăvithăm155ingăvaluo5ďź
ăăăăăăăăăăăăăăFigďź8ďźCompariăsonăLiăsteningă961ď˝Îł71
ďźTheămeanădifferenceăshownăinăFigďź8isădifferentăfromăthatăshownăin
Figsďź7andă6ďźăThisăisădueătoătheămissingăvaluesďź
ăăăăăWhatăaboutătheăscoresăonătheăReadingăportionăofăthe
PlacementăTestďźăTheăReadingăportionăofătheăPlacementăTest
consistsăofă20ăquestionsăwithăfourăreadingsăofăincreasingădifficultyďź
ăăăăăăTheăfirstăstepăisătoădetermineăwhetherăthereăwasăany
sign墨ficantădifferenceăbetweenăstudentsăwhoădidănotăgoăonăto
Levelă3ăandăthoseăwhoădidăatătheătimeăofătheă1995ăPlacement
TestătakenăwhenătheyăallăenteredăKeiwaăCollegeďźăFigsďź9through
162
11showătheăresultsăofăthatăcomparisonďźăFigďź
thereăwasănoăstatisticallyăsignificantădifference
groupsăonătheăReadingăPlacementăTestďź
11indicatesăthat
betweenătheătwo
Moanďź StdďźăDevďźďźăStdďźăErrorďźăVarianceďź CoofďźăVârďźďź Countďź
7ďź527 2ďź741 ďź37 7ďź513 3Sďź414 55
Figďź9ďź
19971995ReadingăPlacementăTestăScoresăofăTlloseăWhoăReachedăLevelă3壟n
Meenďź StdďźăDevďźďźăStdďźăErrorďźăVarianceďźăCoefďźăVarďźďź Countďź
7ďź371 3ďź1e8 ďź213 1eďź1ă63 43ďź2S2 224
Figďź10ďź1995ăReadingăMacementăTestăScoresăofăAllăStudents
DFďź
ăăăă0ĺŠčśŁiroâăťăź705é
ĂCountďźăăYCountďźăăMeanăXďź
ďź1ăPSďź375
Figďź11ďźComparisonăofăReadingăPlacementăTestăScoresăofăAllălă995ăFreshmen
andăThoseăWhoăWentătoăLevelă3ăină1997
ăăăăăăAsăwithătheăListeningăPlacementăTestďźătheăReading
PlacementăTestăwasăadministeredătoăstudentsăinăLeve13Reading
classesătoădetermineăhowămuchďźăifăanyďźăprogressăhadăbeenămade
duringătheăcouďźrseăofătheirăstudyăfromăLeve11ďź
ăăăăăăAquickăglanceăatăFigďź12ărevealsăthatătheămeanăforăthe
testăgivenăină1997ăhasăjumpedămoreăthană3ăpointsăorăaboută15
percentďźăFigďź13ăindicatesăthatăthisăincreaseăisăhighlyăsignificantďź
â
KeiwaăCollegeăEnglishăPlacementăTestăStudyă1995ďź1998 163
10ďź667 2ďź747 ďź44 7ďź544 25ďź749 39
Meanďź
Minimumďź
StdďźDovďźďź
ĺ4aximumďź
StdďźErrorďź
Ranăeďź
Varianceďź
Sumďź
CeefďźăVerďźďź
SumSu塹redďź
Ceuntďź
čMissin
6 16 to 416 4724 16
Figďź12ďźReadingăPlacementăResultsăofă1997ăLevelă3ăReadingăStudentsăWho
EnteredăatăLeve10neăinălă995
ăăăPâiăoâéä¸Ďââé
cFďźăăăăăăăăăăĺ10anăăä¸YďźăăăăP塹1redătăvoluoďź
38 32ă¨1 6ďź196
ăăăăăăăăăăăăăăăăăăăăăăăăăăpâďź0005
ď˝´ăteďź16嚥ăĎdeletedăwithămiĺźąčźvaluă5ďź
ăăăăăăăăăăăăăăăFigďź13ďźComparisonăReadingăScoresă95197ďź
ăăăăăďźTheădiscvepancyăinămeanădifferentialsăisădueătoămissingăvaluesďź
ăăăăăăAsăwithătheăListeningăPlacementăTestďźăweăstudiedăthe
ReadingăscoresăforăthoseăstudentsăwhoăenteredăLevelă2ăReading
ină1996ďźăFigsďź14ăthroughă16ăshowătheăresultsăofăthisăinvestigationďź
11ďźćĽ95ăăăăă2ďź514ăăăăăăďź577 6ďź322 21ďź13ćĽ 191
Meanďź
Mćśmumďź
StdďźDeyďźďź
ĺlaximumďź
StdďźăErrorďź
Ranăeďź
Varianceďź
Sumďź
CoofďźăVorďźďź
SumăSăueredďź
Countďź
čĺlis5inăďź
6 17 11 226 2802 0
Figďź14ďź1996ăReadingăMacementăTestăofăThoseăWhoăReachedăLevelă3ăină1997
11ďź846 2ďź478 ďź687 6ďź141 20ďź919 13
Meanďź
Minimumďź
StdďźăDevďźďź
Maximumďź
StdďźErrorďź
Ranăeďź
Varianoeďź
Sumďź
CoofďźăVarďźďź
SumăSăuaredďź
Countďź
čĺli55inăďź
9 17 8 154 1898 6
Figďź15ďźReadingăPlacementăResultsăofă1997ăLevelă3ăReadingăStudentsăWho
EnteredăatăLevelăTwoăină1996
164
ăăăăăăăăăăăăăăăăăăăăăăďź05ăPSďź1
Noteďź6ca5eďź5ďźdeletâ dăwithămi55ingăvelue5ďź
ăăăăăăăăăăăăFigďź16ďźComparisonăReadingă96ďź97â
âTheădiscvepancyăinămeanădifferentialsăisădueătoămissingăvaluesďź
Figďź16ăindicatesăthatăthereăisănoăsignificantădifferenceăbetween
theăscoresăachievedăbyătheăstudentsăină1996ăandăthoseăachieved
byătheăsameăstudentsăină1997ďźăCarefulăreadersăwillăhaveănoticed
thatătheămeanăofătheăLevelă2ăplacementăscoresăforăl996ăare
actuallyăhigherăthanăthoseăofăstudentsăwhoăenteredăină1995ăand
tookătheătestăatăLevelă3ăină1997ďźăStatisticalăcomparisonăofăthese
twoăscoresďźăhoweverďźăindicatesănoăsignificantădifferenceăbetween
theătwoăgroupsďźďźPleaseăreferătoătheăDiscussionăpartăofăthis
paperăforăfurtherăinformationăaboutătheămeaningăofătheseăscoresďźďź
ăăăăăFiănallyăďźăwhatăaboutătheăscoresăonătheăGrammarăPlacement
TestďźTheăGrammarăPlacementăTestăconsistsăofă60ăitemsďźăIn
1997ităwasăadministeredătoăstudentsăinăLevelă3ăWritingăclassesďź
FirstătheăGrammarăscoresăofăthoseăwhoăwentăonătoăLevelă3
Writingăwereăcomparedătoătheăscoresăofăthoseăwhoădidănotďź
Sinceăthereăisăalmostăaă3ďźpointăgapăbetweenătheăscoresăofăthe
twoăgroupsătheăstatisticalăcomparisonăisăshownăbelowăinăFigďź
19ďźItădemonstratesăthatăalthoughătheăgroupăthatăwentăonăto
Levelă3ăWritingăscoredăslightlyăhigherďźăthereăisănoăstatistically
significantădifferenceăbetweenătheăscoreăgroupsďźăDifferences
couldăbeăaccountedăforăbyărandomăvariationsďź
Moanďź StdďźăDevďźďźăStdďźăErrorďźăVarianceďź CoefďźăVerďźďź Countďź
37ďź564 11ďź805 1ăďź592 139ďź362 31ďź427 55
Figďź17ďź
19971ă995ăGrammarăPlacementăTestăScoresăofăThoseăWăLoăReachedăLevelă3ăin
KeiwaăCollegeăEnglishăPlacementăTestăStudyă1995ďź1998 165
Meenďź StdďźăDovďźďź StdďźăErrorďźăVerianceďź CoofďźăVerďźďź Countďź
34ďź759 11ďź611 ďź776 134ďź812 53ďź404 224
Minimumďź ďźăMissin
Figďź18ďź1995ăGrammarăMacementăTestăScoresăofăAllăStudents
DFďź
ăăăăăUnpâiăâ dătďź1ĺ05ç
XCountďźăăăYăCountďźăăăMeanăXďź UnăeiredătăValueďź
ďź05ăPĺďź1
Figďź19ďźCompariăsonăofăGrammarăPlacementăTestăScoresăofăAllă1995ăFresimen
andăThoseăWhoăWentătoăLeve13inălă997
ăăăăăăNextătheătestăscoresăachievedăonătheăPlacementăTest
givenăină1997ďźFigďź20ďźwereăcomparedătoăthoseăachievedăin
1995ďźTheămeanăscoreăincreasedăfromă37ďź564ătoă46ďźăanăincrease
ofămoreăthană8ăpointsăoră13ăpercentďźăFigďź21ăshowsĺš˝ ç˝?â ç ¤@this
increaseăcannotăbeăaccountedăforăbyărandomăfactorsăandăis
statisticallyăhighlyăsignificantďź
Meanďź StdďźDovďźďź StdďźăErrorďź VorlanoeďźăăCoofďźăVarďźďź eeuntďź
46 7ďź15 1209 51ďź118 15ďź543 35
tVlinimumďź ďźăMissin
Figďź20ďźGrammarăPlacementăResultsăofă1997ăLevelă3ăWritingăStudentsăWho
EnteredăatăLevelăOneăină1995
ăăăP饯iăoâtďźăăe5t
DFďźăăăăăăăăăăăăĺleanăXďźYďź Pairedătăvalueďź
ăăăăăăăăăăăăăăăăăăăăăăăPSăOOO5
éĽotoďź20ăcaseďź5ďźdeletodăwithămissingăvaluesďź
ăăăăăăăăăFigďź21ďźComparisonăGrammarăScoresă95ďź97ďź
ďźTheădiscvepancyăinămeanădifferentialsăisădueătoămissingăvaluesďź
166
ăăăăăAsăwithătheăListeningăandătheăReadingăPlacementăTestďź
theăGrammarăPlacementăTestăresultsăofăstudentsăwhoăplaced
intoăLevelă2ăWritingăină1996ďźFigďź22ďźwereăcomparedătoătheir
scQresăonătheătestăină1997ďźFigă23ďźwhenătheyăwereăinăLevelă3
Writingďź
Meenďź StdďźăDevďźďźăS1ădďźăErrorďź VorianoeďźăăCoefďźăVarďźďź Ceuntďź
50ďź75 1ďźs93 ďź946 3ďź5e3 3ďź73 4
ăălinimumăďź ďźăMissin
Figďź22ďź1996ăGrammarăPlacementăTestăofăThoseăWhoăReachedăLevelă3ăină1997
Meenďź StdďźăDovďźďź StdďźErrorďźăVarianceďźăCoefďźăVarďźďź Countďź
52ďź75 2ďź5 1ďź25 625 4ă739 4
Minimumďź ďźăMissin
Figďź23ďźGrammarăPlacementăResultsăofă1997ăLeve1ă3ăWritingăStudentsăWăho
EnteredăatăLeve1ăTwoăină1996
Pairedăéä¸ăro5é
DFďźăăăăăăăăăăăăĺleanď˝ăä¸Yďź Pairedătăvalueďź
ďź1ďźPĺďź375
ăăăăăăăăăăăăăăăăFigďź24ďźCompariăsonăGrammară96ďź97
TheăresultsăofătheăcomparisonďźFigďź24ďźshowăthatăthereăwasăno
statisticallyăsignificantădifferenceăbetweenătheăscoresăachievedăin
1996andăthoseăreachedăină1997ďź
Discussion
TheăresultsăofătheăstudyăsuggestăthatăstudentsăenteringăatăLevel
linăListeningăshowămarkedăimprovementăbyătheătimeăthey
reachăLevelă3ďźăThereăareăseveralăfactorsăthatămightăplayăaărole
inăthisăimprovementďźăOneăfactorăcouldăbeăthatăinitialălevels
KeiwaăCollegeăEnglishăPlacementăTestăStudyă1995ďź1998ă167
wereăsoălowăthatăanyăimprovementăwouldăskewăstatistical
evaluationďźăIndeedďźăwithăanăinitialămeanăscoreăofă12ďź346ăpoints
outăofă300nătheă1995ăplacementătestďźăaăscoreăofăaboută41
percentďźăthisămightăseemătoăbeăaăcontriăbutingăfactorďźăNeverthelessďź
atenďźpointăincreaseăinătheăscoreăonătheătestăsuggestsăthatămore
thanăsimpleămathematicalăartifactsăareăatăworkăhereďźăEspecially
whenăoneăexaminesătheădataăfromătheăgroupăwhoăplacedăinto
Levelă2ăină1996ăandăhowătheyăfaredăină1997ďźăimprovementădue
toăteachingăandătheănewăcurriculumăseemătoăbeătheăsignificant
factorďźăStartingăatăaboută62ďź ďźătheyăincreasedătheirămeanăscore
toă82ďź inălessăthanătwoăyearsďźăImprovementsăinălisteningăcompreďź
hensionămayăalsoăbeăinfluencedăbyătheăfactăthatănotăonlyăallăthe
ListeningăandăSpeakingăclassesďźăbutăalsoămanyăofătheăReading
andăWritingăclassesăareătaughtăinăEnglishďźăThisďźăcombinedăwith
theăfactăthatămanyăotherăclassesăoutsideăofătheăcoreďźcurriculum
areăalsoătaughtăinăEnglishďźămayăbeătheămostăimportantăfactorăin
skillăimprovementďź
ăăăăăăInterestinglyďźăinăaăquestionnaireăofă4thďźyearăstudents
conductedăină1998ăbyăProfsďźăKanayamaăandăWilliamsďźKanayama
ďźWilliamsă1998ďźonăstudentăperceptionsăofălanguageďźskillăprogressďź
improvementăinălisteningăatăLevelălăwasăcitedăasătheăhighest
ďźamongăallăskillăareasďźwithăaăgradualădroppingăoffăinăLevelă2
andăaăfurtherădeclineăinăLevelă3ďźăStudentsăthemselvesăthought
thatăprogressăwasăgreatestăinătheăearlierălevelsăofălisteningďź
ăăăăăReadingăscoresăbyăcomparisonădoănotăshowăsimilarălevels
ofăimprovementădespiteătheăfactăthatăinitialăscoresăină1995ăwere
slightlyălowerăthanăthoseăachievedăonătheăListeningăPlacement
Testďź37ďź6ďź comparedătoă41ďź2ďź ďź
ăăăăăThereăareăseveralăfactorsăwhichămightăhaveăplayedăaărole
inătheăproductionăofătheseăfiguresďźăTheămostăimportantăinfluencing
elementăisăprobablyătheăfactăthatăoneăofătheăproblemsăonăthe
ReadingăPlacementăTestăwasăchangedăină1996ďźăWhileătheăoverall
numberăofăquestionsădidănotăchangeďźătheăfactăthatăoneăofăthe
readingsăwasăreplacedămightăsuggestăthatăităwasăaăsubstantially
differentătestďźăAăcomparisonăofătheăoverallăscoresăbetweenăthe
168
1995PlacementăTestăandătheă1996ăPlacementăTestďźăhoweverďź
showsănoăstatisticalădifferenceăbetweenătheătwoătestsďźăHoweverďź
noăcomparisonăofăhowăstudentsăwouldăhaveăscoredăonăthe
modifiedăReadingăPlacementăTestăină1995ăisăpossibleďźăsoăwe
cannotăknowăforăsureăifătheăchangeăinătheătestămightăbeăresponsible
forăhowătheăscoresăturnedăoutďź
ăăăăăTheăfactăthatăstudentsătakingătheătestăină1996ăandăagain
ină1997ăshowedăaăsmallădropăinătheirăscoresăsuggestsăthatăthe
testăhadăbecomeăsomewhatămoreădifficultďźăThisăinăturnăwould
accountăforătheăfactăthatăstudentsăplacingăinăLevelălăină1995
wouldănotăshowătheădramaticăimprovementsăinăReadingăthat
theyădidăinăListeningďź
ăăăăăăTheăGrammarătestăonătheăotherăhandăshowsătheăsame
trendsăasătheăListeningătestďźăInitialămeanăscoresăofă62ďź6ďź ină1995
wereăbroughtăupătoă76ďź7ďź byă1997ďźăStudentsăenteringăLevelă2
Writingăină1996ăscoredăaămeanăofă84ďź6ďź ăonătheăGramrnarăPlacement
Testăandăincreasedăthatăscoreătoă87ďź9ďź ďźăAsătheădataăshowsďź
howeverďźăthisăincreaseăisănotăstatisticallyăsignificantďźăAsăwith
veryălowăscoresăshowingăenormousăimprovementădueătoăsmall
mathematicalăincreasesďźăratherăhighăscoresăremainăstatistically
unăaffectedăbyăsimilarăincrementsďźăInăadditionďźătheărelativelyălow
numbersăofăthoseăwhoătookătheătestăină1997ămayăbeăanăinfluencing
factorďź
ăăăăăăOneăinterestingăfeatureăofătheădateăthatăshouldănotăbe
overlookedăisătheădifferencesăinăStandardăDeviationďźStdďźăDevďź
onătheădataădisplaysďźfromătheăscoresăachievedăbyăincoming
freshmenăină1995ăandăthoseătheyăachievedălaterăină1997ďźăEven
moreăconspicuousăisătheăStandardăDeviationăofăthoseăwhoăplaced
intoăLevelă2ăWritingăină1996ďźăandăhowătheyăfaredăină1997ďź
StandardăDeviationăindicatesăhowăfarăawayăfromătheămeanăscores
areăclusteredďźăTheăhigherătheăStandardăDeviationďźătheăgreater
theărangeăofăproficiencyăamongătheătestătakersďźăAănarrowingăof
theăStandardăDeviationăindicatesăthatătheăstudentsăwereăall
comingătoăbeăableătoăpeăĄormăatăsimilarălevelsăofăproficiencyăin
eachăgroupďź
KeiwaăCoUegeăEnglishăPlacementăTestăStudyă1995ďź1998ă169
Conclusion
ăăăăăăCarefulăstatisticalăanalysisăofăstudentăpeăĄormanceăisăa
necessaryăpartăofăanyălanguageăprogramďźăRegrettablyănoăsuch
evaluationăwasăcarriedăoutăduringătheăperiodăofătheămoreătraditional
EnglishălanguageăcurriculumăatăKeiwaăCollegeăthatăpreceded
curriculumăreformăină1995ďźăThereforeăweădoănotăhaveăaăbodyăof
dataăthatăwouldăallowăusătoăcompareătheărelativeăadvantagesăor
disadvantagesăofăimplementingăaăcoordinatedăcurriculumďźăIn
languageăprogramsăwhereăstudentsăareănotăinitiallyăplacedăby
testingďźăthisăkindăofăyearďźbyďźyearăassessmentăisăveryădifficultďź
Asideăfromăplacementătestingďźăveryălittleăstandardizedăexamination
isăattemptedăonăstudentăbodiesăasăaăwholeăinămanyăcollegeďźlevel
langUageăprOgramsďź
ăăăăăWhichăbringsăusătoătheăreliabilityăofătheăKeiwaăPlacement
TestďźăInăretrospectďźăităwouldăhaveăbeenămoreăreliableătoăhave
institutedăaăwellďźestablishedătestingăinstrumentăsuchăasăan
lnstitutionalăTOčtestăorătheăMichiganăTestăinsteadăofădeveloping
anăinďźhouseăplacementăprocedureďźăModeledăonăotherătestsďź
includingăplacementătestsăusedăinăIntensiveăEnglishăProgramsăin
theăUSďźătheăKeiwaăPlacementăTestădidănotăundergoătheărigorous
testingănecessaryătoădevelopăhighălevelsăofăconfidenceăinăits
resultsďźăTheăalterationăofătheăReadingăportionăofătheătestăin
1996seemedătoăhaveăhadăsomeăeffectăonătheăscoresăstudents
wereăableătoăachieveďźăNeverthelessďźătheăbulkăofăităremained
unchangedăandăwasătestedăwithoutăimplementationăină1994ăand
hasăbeenăusedăsinceăthenďźăCrossăcomparisonsăofăresultsăfrom
1995toă1998ďźătheămostărecentăresultsďźăindicateăthatăthereăareăno
statisticallyăsignificantădifferencesăinăplacementăscoresăforăanyăof
theăthreeăareasăshownăinăthisăpaperďźăInternalăconsistencyďźăat
leastďźădoesănotăseemătoăbeăaămajorăproblemďź
ăăăăăInătheăfutureďźăitămightăbeăgoodătoămoveăawayăfromăthe
inďźhouseăplacementăprocedureătoăaătestedălanguageăproficiency
instrumentďźăInăthisăwayďźăanalysisăofăyearďźtoďźyearăperformance
andăimprovementsăcanăbeăcarriedăoutăwithătheăassuranceăthat
dataăretrievedăisăaccurateăenoughătoăbeăusedăwithăconfidenceďź
170
References
KanayamaďźăAďźďźWilliamsďźăJďźăQuestiďźmnaireăofă4thä¸ăθι7ăSé°Żç˘s
onäź˝ĺ nguageăProgramďźďźKeiwaăCollegeďźJulyă1998ďź