Universidade Federal do Rio de Janeiro

AVALIAO DE PROFICINCIA LINGUSTICA DE PILOTOS: O DISCURSO DO CANDIDATO E SUA INFLUNCIA NO COMPORTAMENTO E JULGAMENTO DO

EXAMINADOR

Vanessa dos Santos Janurio Machado

2010

AVALIAO DE PROFICINCIA LINGUSTICA DE PILOTOS: O DISCURSO DO CANDIDATO E SUA INFLUNCIA NO COMPORTAMENTO E JULGAMENTO DO

EXAMINADOR

Vanessa dos Santos Janurio Machado

Dissertao de Mestrado submetida ao Programa de Ps-Graduao Interdisciplinar Lingustica Aplicada da Universidade Federal do Rio de Janeiro como quesito para a obteno do Ttulo de Mestre em Lingustica Aplicada.

Orientadora: Profa. Dra Aurora Maria Soares Neiva

Rio de Janeiro Maio de 2010

Avaliao de proficincia lingustica de pilotos: o discurso do candidato e sua influncia no comportamento e julgamento do examinador

Vanessa dos Santos Janurio Machado Orientadora: Professora Doutora Aurora Maria Soares Neiva

Dissertao de Mestrado submetida ao Programa de Ps-Graduao Interdisciplinar Lingustica Aplicada da Universidade Federal do Rio de Janeiro UFRJ, como parte dos requisitos necessrios para a obteno do ttulo de Mestre em Lingustica Aplicada.

Examinada por:

_________________________________________________

Presidente, Profa. Doutora Aurora Maria Soares Neiva PPG Interdisciplinar Lingustica Aplicada

_________________________________________________

Profa. Doutora Myrian Azevedo de Freitas PPG em Lingustica UFRJ, Titular

_________________________________________________

Profa. Doutora Slvia Beatriz Alexandra Becher Costa PPG Interdisciplinar Lingustica Aplicada UFRJ Departamento de Letras PUC-RJ, Titular

_________________________________________________

Profa. Doutora Ktia Cristina do Amaral Tavares PPG Interdisciplinar Lingustica Aplicada UFRJ, Suplente

_________________________________________________

Profa Doutora Selma Borges Barros de Faria Depto de Letras Anglo-Germnicas UFRJ, Suplente

Rio de Janeiro Maio de 2010

Dedico este trabalho ao autor de minha vida, Cristo Jesus, a meu marido Emerson por todo companheirismo e cumplicidade durante esta empreitada e a meus pais que sempre investiram em mim.

Ofereo tambm a todos os examinadores de proficincia lingustica que participaram desta pesquisa, por acreditarem na realizao deste trabalho.

AGRADECIMENTOS

Primeiramente a Deus, sem o qual no haveria flego de vida e todas as coisas seriam desconexas, por ter me inspirado todo o tempo, por me dar sade e foras para pesquisar mesmo quando no tinha tanta vontade de prosseguir.

Ao meu marido Emerson Machado, pelo encorajamento em todos os meus projetos, por sempre acreditar em minha capacidade, enxugar minhas lgrimas nas horas difceis e por compreender minhas tantas ausncias.

A meus pais, Wilson e Maria Helena Janurio, que me dirigiram os primeiros passos, me orientaram e investiram em minha formao, por sempre me ajudarem na realizao de sonhos, pelo amor que sempre me deram, por me encorajarem a ser independente, autnoma e forte. Vocs so a minha glria! Sem vocs, eu nunca chegaria at aqui.

A minha orientadora Aurora por ter aceito meu projeto de pesquisa e acreditar na possibilidade de concretizao desta pesquisa, pela liberdade de suas idias, por sua crena e esperana em mudanas positivas na universidade e no mundo, por doar seu tempo e nos proporcionar momentos to divertidos dentro e fora da sala de aula.

ANAC, por permitir meu aperfeioamento profissional, por me confiar a tarefa de implementao dos requisitos de proficincia lingustica, que me possibilitou colocar em prtica muitas idias na esfera pedaggica e lingustica, responder a necessidades e assim concretizar minhas potencialidades.

Fernanda Alves e Silva por todo apoio nos momentos de dificuldade, pela solidariedade, amizade e empatia incrveis! Words cannot express...

Ao comandante Tito Walker pelas contribuies, companheirismo e por compartilhar emergncias vivenciadas em voo, alm de tantas reflexes na confeco de exames. Uma lenda viva!

Tatiana Jordo pelo gerenciamento de algumas crises (risos), pela compreenso e apoio nos momentos finais, pelas palavras de encorajamento nas horas de mudanas importantes e, sobretudo pela amizade.

Ana Lcia Monteiro, que desde o incio me encorajou na realizao deste projeto e abriu caminhos com o tema no meio acadmico que tanto me facilitaram a caminhada.

Nathlia Xavier pela ajuda nas transcries e interesse pelo tema. Voc tem um grande futuro pela frente!

Aos demais colegas da ANAC que torceram e contriburam direta ou indiretamente com este trabalho.

A Henry Emery, por seu entusiasmo com o assunto, pela ajuda e aventura na Bodleian Library, em Oxford, em busca de textos, por seu profissionalismo e seriedade com os quais vem impactando pessoas ao redor do globo com o tema ingls para aviao.

A meus colegas de mestrado, companheiros ao longo desses anos de aula, pelo interesse que sempre expressaram em minha pesquisa, pelas contribuies e parceria que me deram a sensao de no estar sozinha diante deste desafio.

Aos professores do programa que fizeram parte de minha trajetria, me inspiraram e contriburam para minha formao.

banca examinadora, pela leitura atenta de meu trabalho e valiosas sugestes e orientaes.

Aos examinadores de proficincia lingustica do Brasil que desde o incio acreditaram que era possvel fazer um trabalho de excelncia, destacando nosso pas na atividade de avaliao lingustica de pilotos, a despeito de tantas dificuldades e recursos escassos. Pelo comprometimento, resistncia durante o curso de formao na ANAC, que tanto lhes exige em criatividade, disciplina e tempo extra, minha admirao e reconhecimento. Sem vocs esta pesquisa no seria possvel. A mensagem da prxima pgina pra vocs!

Destaco especialmente os examinadores que se voluntariaram a participar diretamente

deste estudo. Obrigada pelo tempo, seriedade e receptividade de vocs. Obrigada por compartilharem comigo angstias, perseguies e os mais diversos sentimentos gerados pela interao com pilotos. Os benefcios trazidos por este trabalho tm vocs como pedras fundamentais.

We are the champions, my friends And we'll keep on fighting till the end

We are the champions We are the champions

No time for losers 'Cause we are the champions

Of the world

(Freddie Mercury, 1977)

Janurio Machado, Vanessa dos Santos. Avaliao de Proficincia Lingustica de Pilotos: O Discurso do Candidato e sua influncia no Comportamento e Julgamento do Examinador / Vanessa dos Santos Janurio Machado. - Rio de Janeiro: UFRJ, 2010. xx, xxxf.: il.; xx cm. Orientador: Aurora Maria Soares Neiva Dissertao (Mestrado) Universidade Federal do Rio de Janeiro, 2010 Faculdade de Letras, Programa Interdisciplinar de Ps-Graduao em Lingustica Aplicada, 2010. Referncias Bibliogrficas: f. 290-301.

1. Exames de proficincia lingustica para aviao. 2. Interao entre pilotos de avio/ helicptero e examinadores de proficincia lingustica. 3. ICAO. 4. ANAC 5.Linguagem como ao e cooperao. 6. Segurana do trfego areo internacional. 7. Interao e Discurso Tese. I. Neiva, Aurora Maria Soares.

II. Universidade Federal do Rio de Janeiro, Faculdade de Letras, Programa Interdisciplinar de Ps-Graduao em Lingustica Aplicada. III.Ttulo.

RESUMO

AVALIAO DE PROFICINCIA LINGUSTICA DE PILOTOS: O DISCURSO DO CANDIDATO E SUA INFLUNCIA NO COMPORTAMENTO E JULGAMENTO DO

EXAMINADOR

Vanessa dos Santos Janurio Machado

Orientadora: Professora Doutora Aurora Maria Soares Neiva

Resumo da Dissertao de Mestrado submetida ao Programa de Ps-Graduao Interdisciplinar Lingustica Aplicada da Universidade Federal do Rio de Janeiro UFRJ, como parte dos requisitos necessrios para a obteno do ttulo de Mestre em Lingustica

Aplicada.

Este trabalho enfoca a interao entre examinadores e candidatos participantes de exames orais de proficincia lingustica no contexto aeronutico.Tais exames tm a finalidade de certificar pilotos de avio e helicptero que conduzem voos internacionais e vm sendo exigidos pela ANAC (Agncia Nacional de Aviao Civil), autoridade de aviao civil brasileira, em cumprimento aos requisitos internacionais de proficincia lingustica estabelecidos pela OACI (Organizao de Aviao Civil Internacional). A anlise da conversao nos permite observar como as aes so moldadas pelo contexto e tambm o moldam, influenciando as aes subsequentes dos participantes, bem como o entendimento do que est acontecendo.(NEVILE e WALKER, 2005, p.3, grifo nosso). Sob esse prisma, so analisadas interaes entre examinadores e pilotos com nfase na influncia que a fala daquele exerce sobre a reao desse e vice-versa. Os dados gerados sugerem que determinados padres comportamentais podem promover intimidao do examinador, invertendo a assimetria entre examinador e candidato durante entrevistas de proficincia lingustica, principalmente quando h uma relao hierrquica entre os interagentes. A despeito do desvio comportamental em relao ao padro esperado durante exames orais, nos casos aqui analisados, no foi verificado uso equivocado da escala de nveis da ICAO por parte do examinador. Entretanto, o perfil e a relao entre os interagentes pareceram relevantes para avaliaes mais justas. Dessa forma, este estudo leva reflexo sobre que aspectos deveriam ser observados a fim de que haja maior confiabilidade e consequente validade em entrevistas de proficincia orais que se destinem ao atendimento dos requisitos de proficincia lingustica da ICAO.

Palavras-chave: Avaliao, proficincia lingustica, Santos Dumont English Assessment, ICAO, segurana de voo, intimidao, assimetria, ANAC, comportamento, examinador.

Rio de Janeiro Maio de 2010

ABSTRACT

PILOTS LANGUAGE PROFICIENCY EVALUATION:CANDIDATES DISCOURSE AND ITS INFLUENCE IN THE BEHAVIOUR AND JUDGEMENT OF THE

EXAMINER

Vanessa dos Santos Janurio Machado

Orientadora: Professora Doutora Aurora Maria Soares Neiva

Abstract da Dissertao de Mestrado submetida ao Programa Interdisciplinar de Ps-Graduao em Lingustica Aplicada da Universidade Federal do Rio de Janeiro UFRJ, como parte dos requisitos necessrios para a obteno do ttulo de Mestre em

Lingustica Aplicada.

This thesis focuses on the interaction between examiners and candidates who take part in language proficiency oral exams in the aeronautical context. Such exams have the purpose of certifying airplane and helicopter pilots who conduct international flights and they have been demanded by CANA (Civil Aviation National Agency), the Brazilian Civil Aviation Authority in compliance with the international language proficiency requirements established by ICAO (International Civil Aviation Organization). Conversation Analysis makes it possible to observe how actions are both shaped by context and also shape context by influencing participants subsequent actions and understandings of what is happening. (NEVILE e WALKER, 2005, p.3, emphasis added). Within this perspective, interactions between examiners and pilots are analyzed with emphasis on the influence that the speech of the former exerts over the reaction of the latter and vice-versa. The data suggest that some behavior standards can promote intimidation of the examiner, inverting the asymmetry between examiners and candidates during language proficiency interviews, mainly when there is a hierarchical relation between interactants. In spite of the behavioral deviation in relation to the standards expected during oral exams, in the cases analyzed in this research, no misuse of ICAO rating scale from the examiner was observed. However, the profile of the interactants and the relation between them seemed to be relevant for fairer evaluations. Thus, this study expects to promote reflection among those involved in language proficiency testing, more specifically on aspects that should be observed so as to allow greater reliability and consequently more validity in oral proficiency interviews aimed at complying with ICAO language proficiency requirements.

Key words: Language proficiency, evaluation, Santos Dumont English Assessment, ICAO, flight safety, intimidation, asymmetry, ANAC, behavior, examiner.

Rio de Janeiro May, 2010

SUMRIO

1 INTRODUO 16 1.1 MINHA RELAO COM O TEMA E O SURGIMENTO DAS PERGUNTAS DE PESQUISA

22

2 EXAMES DE PROFICINCIA LINGUSTICA: HISTRICO, INQUIETAES E O CONTEXTO AERONUTICO

30

2.1 AVALIAAO DE PROFICINCIA LINGUSTICA: UMA TRAJETRIA

30

2.2 VARIVEIS: UMA AMEAA VALIDADE 32 2.3 TEMAS NORTEADORES DE PESQUISA NA EREA DE TESTAGEM DE IDIOMAS

35

2.4 ESTUDOS BRASILEIROS SOBRE AVALIAAO ORAL DE LNGUAS

37

2.5 ESTUDOS SOBRE AVALIAAO DE LNGUAS NO CONTEXTO DOS REQUISITOS DE PROFICINCIA LINGUSTICA DA ICAO

38

2.6 ESTUDOS SOBRE O SANTOS DUMONT ENGLISH ASSESSMENT 44 2.7 O SANTOS DUMONT ENGLISH ASSESSMENT 50 2.7.1 Pre -Test 50 2.7.2 Proficiency Test 52

3 FUNDAMENTAO TERICA 58 3.1 AS CARACTERSTICAS DE UM EXAME DE PROFICINCIA LINGUSTICA

58

3.1.1 Os examinadores: entrevistador e avaliador 64 3.1.2 Os candidatos 68 3.1.3 A coconstruo do discurso 69 3.2 ANLISE DO DISCURSO: ALGUMAS CATEGORIAS ANALTICAS FUNDAMENTAIS

73

3.2.1 Enquadre, alinhamento e laminao 75 3.2.2 Estruturas de participao 77 3.2.3 Assimetria 80 3.2.4 A preservao da face 81 3.2.5 Pistas de contextualizao 84

4 METODOLOGIA DE PESQUISA 87 4.1 O PERFIL DA PESQUISA 88 4.2 O CONTEXTO DA PESQUISA 91 4.2.1 Os locais de pesquisa 91 4.3 OS SUJEITOS DE PESQUISA 91 4.3.1 Eu enquanto sujeito participante de pesquisa 92 4.3.2 Os examinadores 93 4.3.3 Os candidatos 95 4.4 OS INSTRUMENTOS DE GERAO DE DADOS 97 4.4.1 Gravaes em udio 99 4.4.2 Entrevistas 101 4.5 CATEGORIZAO E ANLISE DE DADOS 102 4.6 QUESTES TICAS 104

5 ANLISE DE 3 INTERAES ENTRE EXAMINADORES E CANDIDATOS DURANTE O PROFICIENCY TEST

111

5.1 CONTEXTO E PARTICIPANTES DA INTERAO I 117 5.1.1 Transcrio e anlise dos dados da interao I 118 5.1.1.1 Enquadre : situao de entrevista 121 5.1.1.2 Enquadre: conversa entre amigos 126 5.1.1.3 Os impactos sociais na carreira de pilotos 131 5.2 CONTEXTO E PARTICIPANTES DA INTERAO II 133 5.3 CONTEXTO E PARTICIPANTES DA INTERAO III 146 5.4 CONCLUSO DA ANLISE 158

6 CONSIDERES FINAIS 163

REFERNCIAS BIBLIOGRFICAS 168

ANEXO A ESCALA DE NVEIS DA ICAO 175 ANEXO B FICHA DE INSCRIO PARA O PROFICIENCY TEST 177 ANEXO C AUTORIZAO DE FALANTES QUE PRODUZIRAM OS COMANDOS DO PROFICIENCY TEST

178

ANEXO D CONSENTIMENTO INFORMADO 179 ANEXO E ROTEIRO DE ENTREVISTA SEMI-ESTRUTURADA - INTERAO I

180

ANEXO F ROTEIRO DE ENTREVISTA SEMI-ESTRUTURADA - INTERAO II

183

ANEXO G ROTEIRO DE ENTREVISTA SEMI-ESTRUTURADA - INTERAO III

190

LISTA DE SIGLAS E ABREVIATURAS

ACTFL American Council on Teaching of Foreign Languages Oral Proficiency Interview ALTE Association of Language Testers in Europe ANAC Agncia Nacional de Aviao Civil CAND Candidato CAE Certificate in Advanced English CEFR Common European Framework of Reference CELPE-BRAS Certificado de Proficincia em Lngua Portuguesa para Estrangeiros CPE Certificate of Proficiency in English CPI Comisso Parlamentar de Inqurito DAC Departamento de Aviao Civil EPO Entrevista de Proficincia Oral ESP English for Specific Purposes EUROCONTROL European Organization for the Safety of Air Navigation EXAM Examinador FCE First Certificate in English FSI Foreign Service Institute GER Gerncia Regional ICAO International Civil Aviation Organization IELTS International English Language Testing System ILTA International Language Testing Association INSPAC Inspetor de Aviao Civil JLTA Japan Language Testing Association KET Key English Test L1 Primeira Lngua LE Lngua Estrangeira MEA Minimum Enroute Altitude MPR Manual de Procedimentos OACI Organizao de Aviao Civil Internacional PC Piloto Comercial PET Preliminary English Test PELA Proficiency in English Language for Air Traffic Controllers Test PLA Piloto de Linha Area PP Piloto Privado RITCME Recruitment, Induction, Training, Co-ordination, Monitoring and Evaluation SDEA Santos Dumont English Assessment SERAC Servio Regional de Aviao Civil UCLES University of Cambridge Local Examinations Syndicate UEPN Unidades Especializadas Polilxicas Nominais UFRJ Universidade Federal do Rio de Janeiro UR Unidade Regional

LISTA DE ILUSTRAES

Figura 3-1: CEFR e os exames de Cambridge 66

Figura 4-1: Adaptao do quadro apresentado por Nunes (2007) 103

LISTA DE QUADROS

Quadro 4-1: As fases da pesquisa e os aspectos ticos contemplados 105 Quadro 5-1: O perfil dos interagentes como fatores intervenientes 113 Quadro 5-2: Quadro-resumo dos enquadres 159

CONVENES DE TRANSCRIO (adaptadas de Schnack, Pisoni e Osterman, 2005)

[texto] Falas sobrepostas

Colchete esquerdo indica o incio da sobreposio de vozes. Colchete direito indica o final.

=

Fala colada Indica que no h espao entre a fala de um interlocutor e outro.

(1.8) Pausa

Representa ausncia de fala ou vocalizao. A pausa medida em segundos ou dcimos de segundos.

(.) Micropausa

Equivale a menos de 0.2 segundos de ausncia de fala ou vocalizao.

,

Entonao contnua

Indica entonao contnua, como ao listar itens.

.

Entonao descendente

Indica entonao descendente e final.

? Entonao ascendente

Indica entonao ascendente.

_

Interrupo abrupta da fala

Interrupo abrupta da fala em curso.

: Alongamento de som

Indica alongamento de vogal ou consoante.

> texto< Fala mais rpida

Indica fala mais rpida em relao ao contexto anterior e posterior de fala.

Fala mais lenta

Indica fala mais lenta em relao ao contexto anterior e posterior de fala.

texto Fala com volume mais baixo

Indica fala mais baixa em relao ao contexto anterior e posterior de fala.

MAISCULA Fala com volume mais alto

Indica volume mais alto em relao ao contexto anterior e posterior.

Texto Slaba, palavra ou som acentuado

Indica slaba, palavra ou som acentuado.

Texto em Negrito

Trecho destacado sobre o qual h comentrios especficos

(xxx) Utilizado em substituio a nomes que possam identificar o interlocutor ou a empresa em questo, no intuito de manter em sigilo a identidade dos participantes.

[ ] Alterao de termo utilizado pelo respondente para preservao de identidade dos participantes.

16

1 INTRODUO

A vontade dos homens de chegar ao cu fez com que eles concebessem uma torre gigante, a Torre de Babel, mas pagaram caro por isso. A partir da, suas lnguas foram confundidas. Hoje, para chegarmos aos cus dispomos de mquinas poderosas, velozes e confortveis: os avies. Contudo, a necessidade de falarmos uma mesma lngua, mostra-se fundamental, para chegarmos perto de Deus com mais segurana. (OLIVEIRA, 2007, p.16)

Entre 1976 e 1996, mais de 1.100 (ICAO, 2004, p.1-1)1 mortes foram causadas por

acidentes aeronuticos, em que a proficincia lingustica inadequada de pilotos e

controladores de trfego areo foi um dos fatores humanos determinantes. A

representatividade do papel das comunicaes entre pilotos e controladores em acidentes e

incidentes ficou evidente tambm nos relatrios produzidos pela Organizao de Aviao

Civil Internacional (ICAO)2, rgo regulador da aviao civil no mbito internacional, pelo

Conselho Nacional de Transportes e Segurana dos Estados Unidos3, e por autoridades

competentes no Reino Unido (ICAO, 2004, p.1-1).

Tais falhas nas comunicaes radiotelefnicas levaram a ICAO a adotar, em maro

de 2003, maior rigor nos requisitos de proficincia lingustica, exigindo a avaliao formal

de pilotos de avio e helicptero4 e determinando que tripulantes que no atinjam os nveis

de proficincia considerados operacionais sejam impedidos de conduzir voos internacionais

a partir de 5 de maro de 2008.

1 As tradues de textos que constam da bibliografia em ingls so de minha inteira responsabilidade.

2 Em ingls, International Civil Aviation Organization.

3 Em ingls, National Transportation Service Board (NTSB).

4 A ICAO exige a avaliao de controladores, pilotos de avio e helicptero, dirigveis, aeronaves de

susteno vertical (powered-lift), tambm chamadas em portugus de aeronaves de decolagem vertical. A ICAO recomenda a avaliao formal de mecnicos de voo, pilotos de planador e balo livre (ICAO, 2006, p. 1-8). No Brasil, optou-se por avaliar formalmente apenas os pilotos de avio e helicptero e os controladores de voo. (ICAO, 2006, p. 1-8)

17

Como pas membro e signatrio da ICAO, o Brasil5 est na fase de implementao

de tais requisitos, buscando assegurar que seus pilotos e controladores sejam proficientes na

lngua inglesa a fim de que sua comunicao oral seja clara, precisa e objetiva,

proporcionando assim maior segurana de voo. O insucesso de tal implementao poder

agravar ainda mais a crise area vivida recentemente no pas6, pois aeronaves brasileiras

podem sofrer restries de acesso no exterior e pases como os EUA e outros da Europa

podem orientar suas aeronaves a no mais pousar em solo brasileiro.

Para garantir a proficincia de pilotos e controladores, a avaliao das habilidades

de falar e compreender, no somente a fraseologia7, mas tambm o ingls de uso corrente,

faz-se necessria. Tal avaliao deve ser realizada atravs de um instrumento de medida

vlido, confivel, eficaz e apropriado (ICAO, 2004, p. vii).

Segundo Messick (1989b, p.5), para que testes de proficincia lingustica sejam

considerados vlidos devem aludir aos aspectos fundamentais de validade, os quais so:

significado, relevncia e utilidade da pontuao, suas implicaes como base para tomada

de deciso e o valor funcional dos pontos em termos de consequncias sociais de seu uso.

De acordo com McNamara e Roever (2006), teorias sobre validade em avaliao

educacional tm se voltado tambm para o uso de testes e o papel dos mesmos como base

para tomada de deciso a respeito de indivduos. Segundo os autores, embora a construo

do desempenho seja o principal assunto terico em termos de validade das inferncias feitas

5 Desde a Conveno de Chicago, em 1944, o Brasil consta do primeiro grupo da ICAO, significando dizer

que considerado uma das maiores potncias em aviao no mundo. Temos, hoje, a segunda maior frota de helicpteros e a terceira maior frota de avies do planeta. 6 Tal crise, alm dos atrasos de voo por problemas no espao areo brasileiro, teve como pontos mais

expressivos os acidentes da GOL (SET/2006) e da TAM (JUL/2007), os quais causaram mortes em nmeros nunca vistos no pas. 7 Segundo a ICA 100-12 (BRASIL, 2006, p. 175), A fraseologia um procedimento estabelecido com o

objetivo de assegurar a uniformidade das comunicaes radiotelefnicas, reduzir ao mnimo o tempo de transmisso das mensagens e proporcionar autorizaes claras e concisas. De acordo com o documento, quando estritamente necessrio, tanto os controladores de trfego areo como pilotos podero utilizar frases adicionais, devendo, no entanto, afastarem-se o mnimo possvel da fraseologia. A ICAO recomenda que sejam utilizadas palavras e expresses que possam garantir melhor compreenso nas transmisses radiotelefnicas, que se evite palavras e expresses cujas pronncias possam causar interpretaes diversas e que na fraseologia inglesa , sejam utilizadas preferencialmente palavras de origem latina.

18

a partir de entrevistas orais em Chalhoub-Deville e Deville (2004), o carter social da

interao tambm foi conceituado de pontos de vista macrosociolgicos.

Por determinar mudanas na carreira de pilotos experientes e contribuir para o

aumento da segurana de vidas a bordo de aeronaves, os impactos sociais e a justia da

avaliao em questo no podem ser ignorados. No caso de pilotos, as consequncias

sociais so extremamente severas, pois, sendo reprovado no teste, o tripulante condutor de

voos internacionais (que j est em patamar elevado dentro do plano de carreira comum na

profisso) ser impedido de voar para o exterior. Tal impedimento levar demisso de

muitos e ascenso de outros nem to experientes em termos operacionais quanto os

primeiros, gerando um conflito com a necessidade de segurana. Em contrapartida, a

aprovao inadequada de candidatos compromete a segurana de voo e a reputao do

Brasil enquanto autoridade de aviao civil.

Este estudo poder nos auxiliar a situar os problemas dos impactos sociais, a relao

entre a experincia operacional em voos internacionais e o nvel de proficincia

demonstrado, sobretudo quando nos depararmos com os resultados de avaliaes orais. A

presente pesquisa tambm busca compreender algumas tenses existentes entre examinador

(especialista da lngua inglesa) e candidato (piloto) no momento crtico que vivenciam: o

exame oral. Ciente de que o resultado conferido ao candidato ser influenciado por tais

tenses, a partir desta anlise poderemos entender de que forma isto ocorre. Cabe ressaltar

que tais tenses so mutuamente experimentadas, pois se para o candidato o exame

determinante de sua carreira, para o examinador, o mesmo pode se tornar um evento

intimidante, pela identidade de especialista que o candidato evidencia atravs de seu

discurso.

A ICAO exige, para fins de certificao no idioma, que o exame consista em

entrevista oral. O processo de avaliao destinado a atender os requisitos internacionais e

19

criado pelo Brasil o Santos Dumont English Assessment, composto por duas etapas: Pre-

Test8 (feito no computador e pr-requisito para a segunda etapa) e Proficiency Test

(entrevista face a face, conforme demanda a ICAO).

O Proficiency Test objeto de maior preocupao dentro do processo de avaliao

proposto, uma vez que seu resultado influenciado pela interao entre o piloto (candidato)

e o entrevistador e h maior subjetividade envolvida na emisso de julgamento.

Segundo Luoma (2004, p.170), o teste oral especial por sua natureza interativa. A

autora alega existir variabilidade na avaliao, j que a mesma envolve avaliadores

humanos. Logo, procedimentos especiais so necessrios para garantir a validade e

fidedignidade das pontuaes. A autora afirma ainda que na rea de exame de proficincia

lingustica, confiabilidade e validade so as maiores qualidades tcnicas que especialistas

buscam (2004, p. 175).

A confiabilidade (tambm chamada de fidedignidade) est relacionada

consistncia dos resultados. Em outras palavras, um candidato que demonstre o mesmo

desempenho no deve receber uma nota diferente, independentemente do examinador e da

verso do teste que est realizando. A respeito de tal qualidade tcnica, Luoma afirma:

Fidedignidade importante, pois indica que as pontuaes so interdependentes, de forma que podemos confiar nelas para tomar decises. Pontuaes no confiveis, por outro lado, podem levar a nivelamentos errados, promoes injustificadas, ou notas desmerecidamente baixas, por exemplo, porque a pontuao utilizada para tomada de deciso foi influenciada pelas circunstncias da ocasio da testagem, que no a habilidade dos candidatos, e em uma outra ocasio poderiam ter sido completamente diferentes. (LUOMA, 2004, p. 176)9

8 Desde fevereiro de 2010 at o momento da publicao deste trabalho, a ANAC interrompeu

temporariamente a utilizao do Pre-Test e est estudando uma reestruturao da primeira etapa do Santos Dumont English Assessment. 9Reliability is important because it means that the scores are dependable, so that we can rely on them in

decision-making. Unreliable scores, on the other hand, can lead to wrong placements, unjustified promotions, or undeservedly low grades on report cards, for example because the particular scores that were used to make the decisions were influenced by the circumstances of the testing occasion rather than the ability of the examinees, and they would have come out differently on another occasion. (LUOMA, 2004, p. 176)

20

O procedimento mais comum por parte de bancas examinadoras para assegurar a

fidedignidade a calibrao de seus examinadores, o que tem sido feito atravs de cursos e

oficinas para Examinadores credenciados da ANAC e da fiscalizao corrente10 com o

intuito de padronizar os critrios de avaliao e a interpretao adequada do desempenho de

candidatos durante a entrevista. Entretanto, sabido que neste tipo de avaliao no h

iseno total de pessoalidade e o comportamento do examinador durante a mesma pode

afetar diretamente o desempenho do candidato, bem como os resultados do exame.

Nunan (1992, p.3)11 afirma que a pesquisa um processo sistemtico de

questionamento, o qual consiste de trs componentes: (1) uma pergunta, um problema ou

hiptese, (2) dados e (3) anlise e interpretao dos dados. Logo, podemos afirmar que o

processo de avaliao uma pesquisa em si, pois sistemtica e h os trs elementos:

(1) uma pergunta: Qual o nvel de proficincia do candidato e que evidncias

respaldam tal classificao?;

(2) dados: a produo oral do candidato durante o processo de avaliao; e

(3) anlise e interpretao dos dados: em que nvel a produo oral do candidato

se enquadra segundo a escala de nveis da ICAO?

Considerando ainda que os dados analisados na entrevista oral so prioritariamente

de carter qualitativo, o que classificaria esta pesquisa/avaliao como qualitativa, retomo

a questo da pessoalidade trazendo novamente a voz de Nunan (1992, p.3)12: a pesquisa

10 Anlise por amostragem dos testes enviados ANAC por parte de INSPAC (Inspetores de Aviao Civil

Lei 7565, Art. 197 ) do rgo. Tal anlise feita no sentido de observar se a verso declarada pelo examinador credenciado foi a que realmente usou e se o nvel conferido ao candidato est de acordo com a Escala de Nveis da ICAO. Caso o nvel conferido no esteja de acordo, o credenciado e a entidade para a qual trabalha recebem um relatrio detalhado com aes corretivas a serem adotadas. 11

research is a systematic process of inquiry consisting of three elements or components: (1) a question, problem or hypothesis, (2) data, (3) analysis and interpretation of data. (NUNAN, 1992, p.3) 12

Qualitative research, on the other hand, assumes that all knowledge is relative, that there is a subjective element to all knowledge and research, and that holistic, ungeneralisable studies are justifiable (an ungeneralisable study is one in which the insights and outcomes generated by the research cannot be applied to contexts or situations beyond those in which the data were collected. (NUNAN, 1992, p.3)

21

qualitativa (...) considera que (...) h um elemento subjetivo em todo conhecimento e

pesquisa. Assim sendo, a interferncia de fatores idiossincrticos na avaliao inevitvel.

O que se deve buscar, em meu entendimento, impedir o prejuzo da justia na avaliao.

Desta forma, o foco deste trabalho a investigao de como a pessoalidade e a

relao do indivduo com seu contexto institucional se d durante a interao oral entre

pilotos e examinadores no ato da entrevista. Tal anlise tem como pano de fundo a atuao

profissional de examinadores de proficincia lingustica credenciados pela ANAC. Durante

a conduo da pesquisa, exerci um duplo papel: o de autoridade de aviao civil e

pesquisadora. Muitos dados foram gerados durante minha atuao profissional e analisados

com meu olhar de pesquisadora.

Trabalharei com algumas asseres acerca do comportamento de examinadores

durante a entrevista oral derivadas da reflexo de vrios autores e a minha prpria.

Espero que este trabalho seja til para a comunidade aeronutica internacional

inserida direta ou indiretamente na tarefa de implementao dos novos requisitos de

proficincia lingustica da ICAO por permitir reflexo acerca das tenses decorrentes da

interao face a face entre examinadores e candidatos, sobretudo quando h um elo de

ligao institucional entre ambos.

At aqui, abordei as conjunturas internacionais geradoras do problema de pesquisa e

suas implicaes. Agora, narrarei de que maneira ocorreu meu encontro com este estudo,

apontando o movimento de criao que o antecedeu, bem como as questes que procurarei

responder atravs dele.

22

1.1 MINHA RELAO COM O TEMA E O SURGIMENTO DAS PERGUNTAS DE

PESQUISA

A escolha por este estudo visa possibilitar a integrao entre o tema de trabalho a

que me dedico atualmente e a pesquisa em Lingustica Aplicada.

Aps oito anos envolvida no ensino da lngua inglesa nos mais diversos cursos de

idiomas e adotando vrias metodologias distintas, ingressei em 2003 no Sistema de Aviao

Civil, mais precisamente no Departamento de Aviao Civil (DAC).

Com formao em Pedagogia e ps-graduao em Relaes Internacionais, tendo

sido aprovada em concurso naquela rea, inicialmente dediquei-me ao tratamento

pedaggico de exames tericos de proficincia tcnica para pilotos e mecnicos de

manuteno aeronutica. Tal tratamento consistia no ajuste do ndice de facilidade de itens

de testes em exames de natureza objetiva, o clculo do ndice de diferenciao das questes,

a reviso de enunciados e alternativas com relao clareza, bem como o cuidado com a

abrangncia do contedo previsto.

Ao final de 2004, tomei conhecimento dos novos requisitos de proficincia

lingustica da ICAO e sendo indicada para participar da implementao dos mesmos no

Brasil, tive como primeira inquietao o processo de avaliao que utilizaramos para

certificar pilotos como aptos a realizarem voos internacionais no que tange ao domnio da

lngua inglesa.

A partir de breve pesquisa, o grupo de trabalho do qual fazia parte averiguou que,

desconsiderando os pilotos privados (PP) do pas e certificando apenas pilotos comerciais

(PC) e de linha area (PLA), empregados em empresas areas, nosso pblico-alvo era de

pouco mais de 5.000 tripulantes. Seria ento importante planejar tal avaliao tendo em

mente o prazo internacional que a ICAO havia dado aos pases para que seus pilotos j

23

apresentassem a certificao ao preencher planos de voo internacionais: 5 de maro de

2008.

Existiam ainda os pilotos no vinculados a empresas (PP, PC e PLA) que

recorreriam prpria ANAC e no a examinadores credenciados de empresas areas para

realizar suas avaliaes.

Sendo uma das exigncias da ICAO que o exame consistisse em uma entrevista face

a face, percebi a necessidade de eliminar os candidatos sem possibilidades de aprovao na

mesma, dividindo a avaliao em duas etapas: PRE-TEST e PROFICIENCY TEST. A

primeira, de carter eliminatrio, seria feita no computador e a segunda consistiria na

entrevista em si. Desta forma, faramos melhor uso do tempo, de recursos humanos e

materiais.

O quadro funcional era outro problema. A Agncia no dispunha de examinadores

qualificados para a avaliao de forma a atender aos 5.000 candidatos dentro do prazo

estipulado. Ento, de forma semelhante ao que j feito em exames de proficincia tcnica

(check prtico de pilotos), ns credenciaramos examinadores nas empresas areas de

grande porte, principalmente, e nos centros de treinamento. A ANAC ficaria diretamente

responsvel pela avaliao de proficincia lingustica de pilotos de empresas menores que

no desejassem se credenciar e dos no vinculados a empresas. Teramos que disponibilizar

pessoal, espao fsico, computadores, mecanismos de agendamento de testes, enfim, toda a

infra-estrutura nas Gerncias Regionais (GER)13.

Tendo o Grupo de Trabalho aceito a proposta, partimos para uma sondagem nas

Gerncias Regionais, chamadas SERAC (Servio Regional de Aviao Civil) poca14.

13 A partir de dezembro de 2009, as GER passaram a se chamar UR (Unidades Regionais). Sem autonomia

administrativa, tais unidades encontram-se em fase de extino. 14

Antes da criao da ANAC, atravs da lei 11.182 de 2005, havia o Departamento de Aviao Civil (DAC), que denominava as atuais Gerncias Regionais (GER) de Servios Regionais de Aviao Civil (SERAC).

24

Averiguamos as necessidades de cada localidade15 para se adequar ao Santos Dumont

English Assessment: sala de provas, nmero de computadores disponveis para o PRE-

TEST, de funcionrios para a realizao de inscrio, agendamento e atendimento antes e

depois do teste. Nossa suspeita se confirmou: no havia pessoas com formao adequada

para entrevistar candidatos em nenhuma Regional.

A transio finalmente ocorreu. A ANAC, criada em Setembro de 2005, foi

instalada em Maro de 2006 e com sua instalao, houve mudana de chefia. No contexto

do servio pblico, cada mudana implica num perodo de familiarizao da nova chefia

com as atividades, projetos e cronograma. Os prejuzos ao cronograma justssimo desde o

incio foram inevitveis.

Em Outubro de 2006, com a definio do escopo do processo de avaliao e

batismo: Santos Dumont English Assessment16, iniciamos a aplicao do Proficiency Test

(entrevista oral) em carter experimental.

Diante de minhas dificuldades na conduo das quatro primeiras entrevistas, surgiu

uma grande motivao para pesquisar sobre validao de exames de proficincia

lingustica. A projeo de um futuro prximo em que teria que treinar pessoas sem o

background na aviao e os impactos sociais (MESSICK, 1989b) gerados pela avaliao

tambm foram fatores motivadores.

Sendo assim, decidi participar do processo seletivo para o ingresso no Mestrado do

Programa Interdisciplinar em Lingustica Aplicada da Faculdade de Letras da UFRJ,

apresentando meu projeto de pesquisa. Inicialmente, tal projeto consistia em fazer anlise

comparativa da proficincia lingustica demonstrada por pilotos na avaliao formal e em

rota, durante a conduo de voos internacionais, de forma a validar o Santos Dumont

15 Estive nos SERAC 1 (Belm), 2 ( Recife), 3 (R.J), 4 (S.P.), 5 (Porto Alegre), 6 (Braslia), 7 (Manaus) e

EAC-CT (Escritrio de Aviao Civil de Curitiba) 16

Homenageamos o patrono da Aviao brasileira, j que a concepo do processo se findou exatamente no ms do centenrio do primeiro voo.

25

English Assessment. Porm, uma vez que esta anlise implicava em autorizao especial da

diretoria da ANAC para o acesso cabine de voo durante as operaes internacionais, fui

levada a mudar meu tema. Em plena crise area, a alta cpula da Agncia no

disponibilizara tempo para discusso deste assunto, estando envolvida na CPI do apago

areo. No contexto acadmico, este procedimento considerado normal, pois,

(...) ainda que voc comece com uma pergunta de pesquisa especfica, provvel que se pegue modificando-a conforme progride, refinando e reformulando-a progressivamente e at levantando novas questes, [por motivos prticos de coleta de dados ou porque] (...) torna-se mais familiarizado com a situao que est investigando. (ALLWRIGHT & BAILEY, 1991, p. 38)17

Temendo falta de dados para a pesquisa, decidi deitar olhares sobre o um incmodo

que me assolou desde a primeira conduo do PROFICIENCY TEST: o comportamento do

examinador e seus impactos na validade do exame oral processo a cujos dados tive total

acesso, pois, entrevistei, treinei, avaliei e fiscalizo os examinadores de proficincia

lingustica credenciados da ANAC.

Realizei um estudo em carter preliminar, no qual analisei as relaes existentes

entre examinadora e candidato em um contexto institucional. Tal estudo foi realizado com

base na anlise do discurso oral, tendo como fonte de dados uma interao ocorrida entre

um piloto e eu, no papel de entrevistadora, durante a aplicao do Proficiency Test. Nessa

anlise, verifiquei que me senti intimidada pela identidade de especialista demonstrada pelo

piloto atravs de seu discurso ao expressar profundo conhecimento do funcionamento da

aeronave, suas partes, procedimentos adotados durante o voo e sobre o processo de

formao de aviadores. Por desconhecer grande parte do que o candidato mencionara, me vi

inevitavelmente intimidada e resolvi investigar as seguintes questes na interao:

17 Even if you start out with a specific research question you are likely to find yourself modifying it as you go

along, refining and reformulating it progressively, and even raising new questions, as you become more familiar with the situation you are investigating. (ALLWRIGHT & BAILEY, 1991, p. 38)

26

- Como o discurso do piloto pode influenciar o comportamento do examinador e

vice-versa?

- Quais as possveis consequncias desse discurso na avaliao?

- Quais as implicaes deste estudo para a formao do examinador?

Advinda dessas questes teramos outra:

- Como a atuao do entrevistador durante a entrevista (gestos, parfrase,

diminuio do ritmo de fala para adequar-se s dificuldades do candidato,

falta de clareza nas instrues, m preparao do ambiente da avaliao,

seleo mal feita de questes ou da verso do teste a ser aplicado) pode

interferir no nvel de proficincia que o candidato demonstra?

Cheguei a tais perguntas atravs do olhar despreparado que levei para o campo de

pesquisa, tal como Erickson (1988, p. 1085) diz que o etngrafo deve faz-lo. Outro evento

que contribuiu para que adotasse tais perguntas foi o processo de treinamento de

Examinadores em que fui confrontada com a intimidao que vrios deles, ainda sem muito

conhecimento aeronutico pareciam sofrer por parte de pilotos, seus candidatos durante a

entrevista oral. A assimetria j prevista em contextos institucionais como os exames em tela

foi no mnimo curiosa: ao invs do examinador se colocar como dominante, segundo a

viso de Linnel (1991), houve momentos em que o candidato/ piloto com sua identidade de

especialista pareceu dominar a interao. Tal inverso levou-me a refletir nos impactos que

a avaliao sofreria, pois se o candidato mostrou-se o par mais qualificado, abordando o

assunto com uma propriedade que o examinador no tem, como impedir que a avaliao da

competncia lingustica propriamente dita no seja afetada?

Logo, a lacuna que esta pesquisa visa preencher como os resultados obtidos no

Proficiency Test podem sofrer interferncia inapropriada de examinadores de forma a no

27

retratar o real nvel de proficincia dos pilotos candidatos certificao na lngua inglesa,

invalidando o teste.

Vale ressaltar que este tema ainda muito novo. Conforme ser esclarecido no

captulo 2, alm deste trabalho sobre avaliao de proficincia lingustica de pilotos, mais

especificamente o Santos Dumont English Assessment, h apenas algumas monografias

desenvolvidas no Brasil sobre o assunto, bem como um artigo publicado.

Como parte da minha qualificao e buscando um envolvimento maior com o tema,

participei de vrios cursos e eventos, os quais destaco a seguir para que o leitor perceba a

partir de que ponto de vista interpretarei os significados construdos pelos participantes

da pesquisa (MOITA LOPES, 1994, p.334):

a) Curso de Trfego Areo Internacional - VARIG, RJ

b) Seminrio Regional y Taller de la OACI sobre el Lenguaje en la Aviacin Buenos

Aires, Argentina

c) Instructor Development: Aviation English FAA Academy, USA

d) Curso de Trfego Areo Internacional Base Area do Galeo, RJ

e) Course for English Language Examiners using ICAO language descriptors

Mayflower College, UK.

f) ICAO Regional Workshop on Language Proficiency Requirements Implementation

Paris, Frana

g) ICAO Second Aviation Language Symposium Montreal, Canad

h) Taller Regional de Planes de Implementacin de Requisitos de Proficiencia

Lingustica Lima, Peru

i) Train the raters course Oxford academy, UK.

j) Aeronaultical English Train the Testers Workshop Singapore Aviation Academy

Singapura, Singapura

28

k) WAME (Where Aviation Meets English) Forum evento sediado pela Compagnia

Aerea Italiana (Alitalia) Roma, Itlia

Ainda como parte do meu trabalho, participei de uma sesso de simulador no

equipamento B767, momento em que pude presenciar um treinamento voltado para a

interao de pilotos e controladores, com o objetivo de familiarizar o controlador com a

realidade de trabalho do piloto dentro da cabine. Participei tambm de uma sesso na

Oxford Academy, tradicionalmente conhecida por capacitar os futuros pilotos das British

Airways. Para conhecer um pouco mais sobre os interlocutores que vm ganhando mais e

mais ateno da OACI e de todo o pessoal que se ocupa de fatores humanos na preveno

de acidentes (pilotos e controladores), visitei as seguintes torres de controle: do Aeroporto

de Oklahoma City (U.S.A.) Santos Dumont (RJ), Congonhas e APP (Approach Control) de

So Paulo.

Este trabalho est organizado em seis captulos.

At aqui, apresentei o surgimento do problema gerador deste trabalho e as questes

de pesquisa advindas do mesmo, bem como minha relao com o estudo proposto.

No captulo 2, apresentarei alguns estudos sobre exames de proficincia lingustica

diretamente relacionados com minha pesquisa e o Santos Dumont English Assessment,

detalhando suas partes, os descritores holsticos e escala de nveis utilizadas na avaliao de

pilotos.

No captulo 3, apresentarei a fundamentao terica que pretendo utilizar para

analisar os dados gerados durante a pesquisa, enfatizando os elementos da anlise do

discurso e suas categorias analticas, bem como a Sociolingustica Interacional.

Em seguida, no captulo 4, abordarei a metodologia a ser utilizada no

desenvolvimento de meu trabalho. Apresentarei o estudo de trs casos que tiveram o

Proficiency Test como pano de fundo. Descreverei o contexto de pesquisa, os sujeitos,

29

locais de pesquisa, instrumentos e procedimentos para gerao de dados: observao,

gravaes em udio, entrevistas, questionrios e retrospeco protelada ou estimulada

(Stimulated Recall).

No captulo 5, apresentarei os dados e sua anlise, e finalmente, no 6, minhas

ltimas consideraes.

30

2 EXAMES DE PROFICINCIA LINGUSTICA: HISTRICO, INQUIETAES E O CONTEXTO AERONUTICO

Neste captulo, apresentarei um breve histrico da evoluo de estudos na rea de

exames de proficincia lingustica, analisando, sobretudo as mudanas sofridas na

abordagem de exames orais. Farei um breve relato de alguns estudos realizados em

respostas a inquietaes de pesquisadores preocupados com a validade de exames e

apresentarei um panorama sobre a produo de trabalhos relativos a testes de proficincia

lingustica no contexto dos requisitos da ICAO em mbito internacional e nacional.

Finalmente, apresentarei o Santos Dumont English Assessment, descrevendo as partes do

processo de avaliao criado pelo Brasil para testagem de pilotos.

2.1 AVALIAAO DE PROFICINCIA LINGUSTICA: UMA TRAJETRIA

A avaliao de proficincia lingustica tem como objetivo julgar o nvel de

competncia lingustica que uma pessoa apresenta para desempenho futuro, tendo em vista

uma anlise de necessidades. O conceito de proficincia pode ser aplicado tanto ao uso

global de uma lngua como a uma habilidade lingustica em particular (leitura, fala, escrita e

compreenso oral) e no absoluto, mas relativo, podendo ser usado em termos do

propsito que o rege. Logo, ao invs de dizer que um candidato proficiente em lngua

oral, pode-se, de uma maneira mais informativa dizer que tal pessoa proficiente para

proferir palestras, discutir assuntos tcnicos de uma determinada rea ou comunicar-se

eficientemente ao pilotar aeronaves em voos internacionais, como o caso dos candidatos

participantes desta pesquisa.

Historicamente, o uso do termo proficincia foi se modificando de acordo com a

viso de linguagem refletida nas abordagens de ensino e aprendizagem de idiomas. Ao final

dos anos 50, quando a viso de linguagem era estruturalista, pensava-se na lngua como

31

sendo divisvel em pequenas partes e saber uma lngua significava saber como combinar

essas pequenas partes para formar estruturas gramaticalmente corretas. poca, a avaliao

de idiomas era feita atravs de testes de item isolado (discrete-point test) e a confiabilidade

foi muito enfatizada, pois era importante que a avaliao fosse realizada de maneira

consistente e sem variaes. Testes de mltipla escolha foram amplamente utilizados j que

considerava-se que impediam a subjetividade (com apenas uma resposta correta) e

variaes decorrentes dela na atribuio de notas.

Segundo Alderson & Banerjee (2002, p. 92), os primeiros exames orais surgem nos

anos 50, com a entrevista de proficincia oral (EPO)18 desenvolvida pelo Foreign Service

Institute (FSI). Tais exames tinham como objetivo avaliar a habilidade oral de militares

americanos que assumiam postos no exterior.

Ao final da dcada de 60, a viso de linguagem que mais se destacou foi a

funcionalista. Logo, a lngua que antes era vista de maneira descontextualizada e

fragmentada passa a ser vista em seu contexto de uso, com foco nas funes da linguagem

(pedir permisso, dar esclarecimento, etc.). Diante dessa mudana, o enfoque da avaliao

de idiomas tambm sofre modificaes, deixando de estar na confiabilidade e passando

validade. Agora, importava saber se os objetivos do teste estavam sendo atendidos de fato.

Se o intuito fosse avaliar o desempenho oral, o candidato teria que ser submetido a uma

situao em que tivesse que demonstrar esse desempenho. Nesse caso, a entrevista oral era

adequada e no mais um teste de mltipla escolha. Estando o foco no uso da lngua, a

avaliao se torna mais subjetiva e propcia a variaes j que examinadores iro julgar o

desempenho do candidato.

Embora tenham se destacado em pocas distintas, a confiabilidade e a validade so

vistas hoje como qualidades que se complementam e tecnicamente, so os aspectos que

18 Adotei a traduo para OPI presente no trabalho de SAKAMORI (2006, p. 3). O termo original em ingls

OPI (Oral Proficiency Interview) foi tambm traduzido neste trabalho como EPO.

32

profissionais da rea de avaliao mais procuram nos exames. Para ser considerado vlido,

um teste deve ser confivel, pois, se houver variaes em relao s condies de sua

aplicao, modificaes no desempenho de candidatos podero ocorrer, e a amostra de tal

desempenho no ser significativa, afetando a validade do teste.

2.2 VARIVEIS: UMA AMEAA VALIDADE

Sendo verdade que a avaliao oral face a face vlida para avaliar o desempenho

oral de candidatos j que ao interagir com o examinador eles demonstraro a capacidade de

falar, necessrio que as variveis durante a conduo da entrevista sejam controladas e

minimizadas para garantir a confiabilidade. Logo, para que seja confivel, no basta que

uma avaliao seja composta de exames bem elaborados. preciso que entrevistadores

recebam uma formao19 especfica para seguir os procedimentos do exame de forma

padronizada.

medida que interaes entre candidatos e examinadores so sempre diferentes

umas das outras, variaes so inevitveis. Porm, no sentido de garantir a validade do

exame, deve-se observar at que ponto tais variaes ameaam sua confiabilidade.

De acordo com Alderson & Banerjee (2002, p. 92), foi apenas na dcada de 80 que a

testagem direta de idiomas se tornou comum graas ao interesse na abordagem

comunicativa. As Entrevistas de Proficincia Oral (EPOs), foram amplamente aceitas como

testes diretos vlidos at o final dos anos 80 quando vrias crticas surgiram, fazendo com

que houvesse uma proliferao de pesquisas na rea. Segundo os autores:

Anlises do discurso, da conversao e do contedo mostram claramente que a entrevista de proficincia oral apenas um dos vrios possveis gneros de tarefas orais, e que a linguagem gerada pelas EPOs no a

19 Apesar de sugerir uma viso mecanicista, em alguns momentos usarei o termo treinamento como sinnimo

de formao por ser um termo muito utilizado no meio aeronutico. Oponho-me viso mecanicista por seu reducionismo e privilgio de atividades repetitivas sem atitude crtica. Minha viso de formao no prescinde da reflexo e compreenso da prtica pedaggica nem de um contnuo aperfeioamento e adaptao s necessidades do indivduo.

33

mesma gerada por outros tipos de tarefa, que envolvem diferentes tipos de relaes de poder e interao social entre os interagentes. (ALDERSON & BANERJEE, 2002, p. 92)20

Como exemplo dos estudos da poca, ao questionar a validade das EPOs, van Lier

(1989) analisa o que elas so e que papis interagentes assumem durante a entrevista. Esse

artigo distinguiu-se dos estudos anteriores porque ao invs de enfocar questes referentes

aos procedimentos de avaliaes e atribuies de notas, van Lier (1989) buscou definir mais

claramente a natureza da avaliao de proficincia oral, ou seja, se as EPOs poderiam ser

equiparadas a uma conversa ou no:

O que eu tenho a dizer, portanto no tem a inteno de crtica EPO como um tipo de teste ou de movimento de proficincia em geral. Ao contrrio, ao olhar para a entrevista de dentro, como ela era, eu quero mostrar que tipo de atividade ela e que tipos de tarefas so realizadas pelos participantes em uma EPO. (VAN LIER, 1989, p.492)21

Ao fazer tal anlise, o autor conclui que uma conversa tem como caracterstica no

s a interao face a face, mas tambm o no planejamento, a imprevisibilidade da

sequncia e de seu resultado, bem como a distribuio igualitria de direitos e deveres na

conversa. Por outro lado, EPOs esto longe de apresentar tais caractersticas principalmente

se forem altamente planejadas e nunca sero iguais em sua totalidade. Para o autor, a

entrevista uma contingncia assimtrica, pois o entrevistador tem um plano e ir conduzir

e controlar a interao de acordo com esse plano. Nas EPO, as tomadas de turno de fala so

mais estruturadas do que numa conversao, ficando o maior turno sempre a cargo do

candidato, que tambm no tem controle nenhum sobre o tpico seguinte a ser abordado.

20Discourse, conversation and content analyses show clearly that the oral proficiency interview is only one

of the many possible genres of oral test tasks, and the language elicited by OPIs is not the same as that elicited by other types of task, which involve different sorts of power relations and social interaction among interactants (ALDERSON & BANERJEE, 2002, p. 92). 21

What I have to say is therefore not intended as a criticism of the OPI as a type of test or of the proficiency movement in general. Rather, by looking at the interview from within, as it were, I want to show what kind of activity it is and what kinds of work are done by the participants in an OPI (VAN LIER, 1989, p.492).

34

Amplamente citado, o trabalho de van Lier (1989) encontra anuncia em Mc

Namara & Roever (2006, p. 47), que ao concordarem com van Lier, enfatizam a falta de

naturalidade existente numa entrevista de proficincia oral, principalmente se o candidato

sabe que seu resultado ter impacto direto sobre sua carreira.

Outro tipo de varivel com a qual pesquisadores tm se preocupado o efeito do

comportamento do interlocutor na conduo do exame uma vez que qualquer variao na

maneira de apresentar as tarefas para o candidato pode influenciar sua performance

subsequente. Nesse sentido, Richards & Malvern (2000) analisaram a acomodao do

discurso por parte de examinadores no nativos no sentido de ajustarem a linguagem usada

em EPOs proficincia dos candidatos. Os pesquisadores analisaram entrevistas de 34

aprendizes de francs com dois examinadores no nativos do idioma e os dados sugeriram

que houve de fato acomodao dos entrevistadores ao nvel de proficincia dos candidatos.

Segundo eles, estudos anteriores j mostravam evidncias de que examinadores nativos

faziam ajuste de seu discurso ao nvel de proficincia de candidatos e que a fequncia de tal

ocorrncia era inversamente proporcional ao nvel de proficincia do examinando. Porm,

nesse estudo, Richards & Malvern (2000, p. 270) esclarecem que os examinadores tambm

eram professores dos entrevistados e que tais entrevistas ocorreram em sala de aula.

Segundo os autores, outra fonte de preocupao de estudiosos na rea de testagem de

idiomas so entrevistas nas quais os interagentes j se conhecem muito bem e onde h

tpicos previsveis (tais como famlia, escola, frias, amigos, hobbies, etc.). Nelas a

validade comunicativa se perde, pois o contedo da entrevista j teria sido ensaiado em

aula.

Ainda sobre o comportamento do entrevistador, Reed & Cohen (2001, p. 86)

apontam para a possibilidade de que o comportamento do examinador exera influncia

sobre a entrevista e consequentemente sobre a avaliao. Estudos amplamente citados como

35

o de Brown (2003), detalhado no captulo 3 a seguir, e o de Lazaraton (1996) sugerem que

o apoio dado pelo entrevistador ao candidato no momento da entrevista implica em risco

confiabilidade dos exames j que o desempenho oral afetado por essa varivel.

Brown (2003) verifica que o estilo do examinador, bem como perguntas

introdutrias antes da modificao de tpicos durante a entrevista fez com que a

performance de uma candidata fosse julgada como sendo melhor. Em outras palavras, a

candidata recebeu notas maiores do que quando entrevistada por um examinador que no

lhe dera tal ajuda. Analisando o apoio dado por examinadores, Lazaraton (1996) pontua

que, se por um lado as prticas de apoio sugerem a presena de processos de uma

conversao na interao durante o exame, sendo um aspecto positivo em termos de

validade, por outro a inconsistncia do apoio por parte do examinador afeta a

confiabilidade, j que alguns candidatos sero privilegiados em detrimento de outros.

2.3 TEMAS NORTEADORES DE PESQUISA NA EREA DE TESTAGEM DE

IDIOMAS

Dentre as revises de literatura realizadas por diversos autores (Alderson &

Banerjee, 2001; Alderson & Banerjee, 2002; Young, 2002; Challhoub-Deville, 2003;

Challhoub-Deville, 2004; Mc Namara & Roever, 2006) destaco a reviso do estado da arte

em testes de idiomas realizada por Alderson & Banerjee (2001 e 2002). Nela, os estudiosos

reuniram os principais temas norteadores de pesquisa na rea de testagem de idiomas. No

volume 1, Alderson & Banerjee (2001) falam sobre efeito retroativo22, tica, poltica e

padres, testagem em nvel nacional, testes para fins especficos, testes informatizados,

auto-avaliao, avaliao alternativa e avaliao de jovens aprendizes. No volume 2

(ALDERSON & BANERJEE, 2002), os autores abordam as novas preocupaes na teoria

22 Traduo para washback effect.

36

de validao de testes, consequncias de testes (tema agora tratado como uma teoria

unificada de validade de construto), desenvolvimento de testes, a natureza dos construtos

(leitura, compreenso oral, habilidades gramaticais, fala e escrita) e finalmente discutem

temas proeminentes na rea.

Dos temas elencados acima, ressalto o efeito retroativo de testes por representar um

aspecto presente na realidade do Proficiency Test e que tem causado grandes polmicas no

mbito dos estudos de exames de lngua. O conceito de validade foi expandido para uma

dimenso em que se consideram tambm os impactos sociais de exames.

O termo efeito retroativo de testes se refere ao impacto que eles apresentam sobre o

ensino e aprendizagem. Tal efeito se reflete na maneira como professores modelam seu

currculo de acordo com as partes, formato e contedo de um exame ou na maneira em que

alunos modificam suas estratgias de aprendizagem para alcanar aprovao ao invs de se

concentrarem no domnio do contedo e competncias aludidos no teste. Logo, o efeito

retroativo afeta tanto o professor e o aluno quanto o mtodo de ensino.

Segundo Alderson & Banerjee (2001, p.214), tal impacto visto como sendo

negativo: testes supostamente foram professores a fazerem coisas que no necessariamente

gostariam de fazer. Entretanto, argumenta-se que testes so alavancas para mudana no

ensino de idiomas: o argumento que se um teste ruim tem um efeito retroativo negativo,

um bom teste deveria ou poderia ter um efeito retroativo positivo. Chapelle (1999) refere-se

a efeito retroativo dentro da validade de construto, refletindo o grande interesse existente no

tema. Alderson & Banerjee (2001, p.214), citam alguns estudos empricos sobre efeito

retroativo e apontam que em geral, estudiosos concordam com o argumento de que h

maior impacto e contedo do ensino por parte de testes de alta relevncia23. Em seu estudo

23Traduo para high-stakes test, adotada tambm por Teresa Helena Buscato Martins, em Martins (2005)

37

sobre a necessidade de exames de proficincia lingustica para professores de ingls no

contexto brasileiro, Martins (2005, p. 93) afirma:

Exames podem, em geral, causar efeito retroativo em qualquer situao acadmica, [sic] entretanto, influenciam principalmente as situaes de sada de um determinado curso e como mecanismo de controle de acesso (gate keeping) ao mercado de trabalho. Os exames podem ser considerados de baixa relevncia (low stakes test) sem que o resultado interfira no encaminhamento da vida do indivduo e de alta relevncia (high-stakes test) por produzirem mudanas importantes na vida do candidato.(MARTINS, 2005, p. 93)

A respeito do uso de exames de proficincia como forma de controle de acesso ao

mercado de trabalho, essa uma realidade muito presente no contexto do exame

investigado neste estudo, o Santos Dumont English Assessment. Pilotos sem aprovao no

exame tm sido impedidos de acessar o mercado de trabalho mesmo almejando voar em

mbito nacional apenas. Martins (2005) aborda o fato, destacando a responsabilidade dos

elaboradores de exames ao afirmar:

Atualmente as empresas que contratam funcionrios para seus quadros de trabalho do preferncia a candidatos que apresentem certificados de exames na sua rea de atuao. Em alguns casos uma forma de desempate entre candidatos a apresentao de um certificado referente sua rea profissional. Nesse caso, o exame considerado de alta relevncia (high-stakes test), pois significaria mudanas importantes de vida. Assim, quanto maior a percepo de relevncia do exame, maior ser a possibilidade de que ele venha afetar as pessoas envolvidas, [sic] portanto muito mais importante para os elaboradores de exames fornecer evidncias adequadas das consequncias de usar esses exames de modo benfico e no prejudicial ao candidato. (MARTINS, 2005, p. 94)

Na prxima seo, abordarei os estudos j produzidos sobre a avaliao de idiomas

em atendimento aos requisitos internacionais de proficincia lingustica da ICAO.

2.4 ESTUDOS BRASILEIROS SOBRE AVALIAAO ORAL DE LNGUAS

No so muitos os estudos j produzidos no Brasil acerca da avaliao oral de lngua

estrangeira. Em sua maioria, tais estudos tratam da avaliao em sala de aula e na lngua

38

inglesa. Vigia-Dias (1995), por exemplo, analisou a construo da consonncia entre

abordagem de ensino e a avaliao da habilidade oral em sala de aula enquanto o estudo de

Amarante (1998) foi enfocado no discurso da avaliao de uma instituio particular de

ensino superior. Um dos aspectos discutidos por Amarante a relao assimtrica entre

entrevistador e candidato nas entrevistas de avaliao oral.

Martins (2005) fez um levantamento de necessidades para elaborao de exames de

proficincia lingustica para professores de ingls como lngua estrangeira. Ao

problematizar a m formao de professores de lngua estrangeira, a autora conclui que os

cursos de Letras no vm cumprindo seu papel de maneira satisfatria. Considerando os

efeitos retroativos de exames no sentido de redirecionar o ensino-aprendizagem, Martins

(2005) sugere a criao de um teste para alunos em fase de concluso do curso de Letras

que enfocasse principalmente a competncia lingustico-comunicativa.

J o estudo de Sakamori (2006) analisou a atuao de entrevistadores na interao

face a face do exame Celpe-Bras24 (Certificado de Proficincia em Lngua Portuguesa para

Estrangeiros). Aps analisar os dados, o autor concluiu que houve variao da atuao dos

entrevistadores de maneira colaborativa e/ou no colaborativa. Sakamori (2006) chama a

ateno para os efeitos de tais variaes e sua influncia na confiabilidade do exame.

2.5 ESTUDOS SOBRE AVALIAAO DE LNGUAS NO CONTEXTO DOS

REQUISITOS DE PROFICINCIA LINGUSTICA DA ICAO

Com exceo dos documentos e peridicos produzidos pela ICAO aqui citados, h

ainda uma grande carncia de estudos que versem sobre a avaliao de proficincia

lingustica voltada para aviao, sobretudo no contexto dos novos requisitos da ICAO.

24 Desenvolvido pelo Ministrio da Educao do Brasil e em uso desde 1998, esse exame certifica os

candidatos estrangeiros em quatro nveis: Intermedirio, Intermedirio Superior, Avanado e Avanado Superior. Ele composto de duas partes: uma prova escrita e outra oral. A avaliao oral uma interao face a face, com durao de 20 minutos.

39

Neste captulo fao referncia a algumas produes da OACI e de estudiosos que

fizeram apresentaes durante o Segundo Simpsio de Proficincia Lingustica da ICAO,

em 2007, por refletirem as preocupaes mais amadurecidas (aps o primeiro simpsio, em

2004) dos profissionais que se ocuparam da elaborao de diretrizes da ICAO no tocante

aos requisitos a serem implementados pelos pases membros. Os temas abordados dividem-

se em duas grandes reas: testagem e treinamento de ingls para aviao. Entretanto, o

critrio adotado para a seleo dos trabalhos aqui comentados teve foco na avaliao e no

no treinamento de proficincia lingustica.

Aps a publicao dos requisitos de proficincia lingustica na nona edio do

Anexo 1, e do Doc 9835, em 2004, a ICAO publicou o Rated Speech Samples (ICAO,

2006), um material de referncia para treinamento de avaliadores de proficincia lingustica

composto de um CD de udio com vrias amostras de pilotos de diversas partes do mundo

interagindo com examinadores em entrevistas orais. Alm do CD, um relatrio com

avaliaes das amostras e embasamento da tomada de deciso de avaliadores foi feito,

estabelecendo uma referncia de como aplicar a escala de nveis. O objetivo central do

material foi prover exemplos de produes orais classificadas em nvel 3, 4 e 5. O Brasil

participou da confeco de tal material enviando amostras de pilotos brasileiros. Tal

material mostrou-se extremamente necessrio j que uma padronizao universal da

aplicao da Escala de Nveis da ICAO (ANEXO A) essencial. Os nveis de proficincia

descritos devem ser aplicados ao uso real da linguagem por parte de tripulantes e

controladores de maneira similar para garantir um padro de comunicao clara e segura no

espao areo. A uniformidade do que considerado operacional em termos lingusticos em

relao aos critrios da escala de nveis (pronncia, estrutura, vocabulrio, fluncia,

compreenso e interaes) deve existir independentemente do teste utilizado ou do pas em

que tal avaliao ocorre.

40

Em mbito nacional e internacional, consenso entre examinadores de proficincia

lingustica, cujo critrio de julgamento a escala de nveis da ICAO, que os nveis mais

desafiadores de sua expertise so o 3 e o 4. Devido irregularidade da Escala de Nveis, o

desempenho de candidatos pode ser enquadrado tanto em um nvel como em outro. Por

exemplo, o advrbio de frequncia utilizado para descrever o nvel 4 do critrio Estrutura

(geralmente) pode ser interpretado como sinnimo do descritor do nvel 3

(no...sempre). Adicionando um comportamento facilitador por parte do examinador a

esta impreciso, poderemos ter um candidato cujo nvel 3 facilmente classificado como 4.

O mesmo ocorre com o critrio Compreenso. Enquanto para o nvel 4 a compreenso na

maioria das vezes precisa em tpicos comuns, concretos e relacionados ao trabalho, no

nvel 3, tal compreenso frequentemente precisa, ou seja, a distino no clara. Da a

relevncia da constante calibragem entre os examinadores para que interpretem a escala de

forma mais semelhante possvel.

No Segundo Simpsio de Proficincia Lingustica da ICAO, Emery (2007) abordou

a relevncia do papel desempenhado por avaliadores de proficincia lingustica no tocante

implementao dos requisitos da ICAO. O autor apontou para a necessidade de regulao

da atividade de avaliao, propondo mecanismos para que se estabelea uma interpretao

padronizada das escalas de nveis de descritores holsticos da ICAO, dentre os quais a

criao de uma Associao de Avaliadores de Lnguas25 internacional.

Roberts (2007) enfocou o papel do interlocutor durante a conduo do teste de

proficincia lingustica. Segundo o autor, essencial que a conduo ocorra de forma justa,

padronizada e objetiva. Conforme enfatiza Roberts (2007, p.1), h certos instintos humanos

que devem ser contidos num teste de proficincia lingustica como a tendncia natural de

25 Association of Language Rates (EMERY, 2007)

41

ajudar pessoas em dificuldade, pois, numa situao de exame, tal ajuda pode influenciar

negativamente os resultados, afetando a confiabilidade do exame. Para Roberts,

[u]ma soluo simples seria o facilitador seguir as instrues do exame sem nenhum desvio. Infelizmente isso no funciona numa situao de exame onde a interao, checagem e clarificao esto entre as competncias testadas. Modelos de interao como as praticadas por examinadores do IELTS, por exemplo, permitem que interlocutores respondam e parafraseiem, quando necessrio, dentro de limites nos quais examinadores so cuidadosamente treinados. Tais examinadores so avaliados no apenas quanto sua habilidade de julgamento mas tambm em relao a como conduzem um teste. (ROBERTS, 2007, p.1)26

O comportamento do interlocutor, conforme abordado por Roberts, tem sido alvo de

preocupao na rea como j citado anteriormente (Lazaraton, 1996; Brown, 2003) e na

realidade de testes para a aviao no diferente, sobretudo porque a escala de nveis da

ICAO contempla a verificao das habilidades de confirmao e esclarecimentos de

informao por parte do candidato. Logo, no treinamento de examinadores, as questes

comportamentais devem ser essencialmente aludidas, pois o que parece relativamente

simples e de bom senso na prtica requer uma certa dose de treinamento e diligncia

(ROBERTS, 2007, p.1)27. Embora alguns profissionais da rea possam argumentar que a

nica forma de se avaliar eficientemente a capacidade de comunicao de um candidato

permitindo que o interlocutor reaja e faa perguntas de acordo com o discurso do candidato,

interrompendo sempre que necessrio para investigar profundamente o conhecimento do

examinando, Roberts (2007, p.1) contra-argumenta que, numa situao to fluida, ser

impossvel que o examinador d a mesma quantidade de input. Logo, teremos situaes em

que um candidato ter recebido uma vasta quantidade de informao e assistncia e outro

26A simple solution would be for the facilitator to follow an exam rubric without any deviation.

Unfortunately this does not work in an exam situation where interaction, checking and clarifying are among the skills being tested. Models of interaction as practiced by IELTS examiners for example, allow the interlocutors to respond and paraphrase when necessary, within limits that the examiners are thoroughly trained in. These examiners are assessed not only on their rating ability but also how they conduct a test. (ROBERTS, 2007, p.1) 27

What seems in theory a relatively straight forward and common sense notion in practice requires a certain amount of training and diligence (ROBERTS, 2007, p.1).

42

no. Para o autor, h necessidade de que se parafraseiem perguntas se queremos testar as

estratgias de clarificao de candidatos; porm, deve haver um limite a ser seguido por

todos os interlocutores. Por exemplo, sugere Roberts (2007, p.3), ao interlocutor pode ser

permitido parafrasear uma pergunta apenas uma vez. Caso o candidato no compreenda

mesmo assim, o interlocutor poderia ser orientado a passar para outra pergunta. Para que tal

comportamento seja seguido de forma padronizada, interlocutores devem ser treinados

quanto ao que uma parfrase apropriada ou no. Outros pontos levantados por Roberts

(2007) so a tica, o local de aplicao de provas e o equipamento a ser utilizado. O autor

finaliza seu trabalho ressaltando que examinadores do IELTS so testados quanto

habilidade de conduo de testes e, para garantir a manuteno dessa habilidade, devem ser

reavaliados constantemente:Se este o caso do IELTS, ento a conduo de testes num

ambiente de to alta relevncia deve primar por nada menos (ROBERTS, 2007, p. 4).28

No mesmo evento, Stevens (2007) abordou a questo da segurana relativa ao sigilo

de exames de proficincia lingustica, considerando as tentativas que vrios candidatos

faro para burlar as medidas de proteo do contedo de exames e controle de certificados

adotadas por provedores de testes. O autor sugere alguns cuidados que possam resultar nas

melhores prticas, reduzindo a chance de sucesso de candidatos desonestos.

Ainda no Segundo Simpsio de Proficincia Lingustica da ICAO, Vecerova (2007)

orientou provedores de servios areos, operadores e reguladores quanto ao processo de

seleo de testes, explicando o que deveriam considerar e por qu. A especialista

apresentou no apenas questionamentos a serem feitos, mas tambm as evidncias

qualitativas de exames que deveriam ser buscadas.

28 If this is the case in IELTS, then test delivery in such a high stakes environment as aviation,

needs to settle for nothing less (ROBERTS, 2007, p. 4).

43

No intuito de detalhar o Doc. 9835 (ICAO, 2004) e atendendo demanda de

operadores areos, provedores de servios areos e organizaes que realizam testagem e

ensino de ingls para aviao, a ICAO publicou a Circular 318 (ICAO, 2009), cujo foco a

harmonizao global de critrios de testagem. Tal circular visa fornecer subsdios para

facilitar a implementao dos requisitos de proficincia lingustica atravs de definies de

conceitos tais como validade, confiabilidade e praticidade. A terceira parte do documento

traz check-lists para que os estados membros possam verificar se os itens preconizados pela

ICAO, para os quais evidncias devero se demonstradas, esto sendo atendidos ou no.

Pouco a pouco a avaliao de proficincia lingustica voltada para a aviao vem

despertando o interesse de especialistas renomados em avaliao de idiomas. Um exemplo

disso a publicao de artigo por Alderson (2009), em que divulga o resultado de sua

pesquisa sobre exames na rea. O autor descreve vrias pesquisas relativas a exames de

ingls voltado para aviao, a implementao dos requisitos da ICAO, bem como a escala

de nveis. Aps levantamento, Alderson (2009) conclui que muitos procedimentos de

avaliao adotados parecem no atender a padres profissionais de testes de idiomas, que a

implementao da poltica de testagem de idiomas inadequada e que um monitoramento

muito mais de perto e cuidadoso da qualidade de testes, bem como dos procedimentos de

avaliao, necessrio.

Outro exemplo da relevncia que a proficincia lingustica de tripulantes vem

ganhando em entidades tradicionalmente voltadas para testagem de idiomas foi o enfoque

no tema em abril de 2010, durante o Colquio anual da Associao Internacional de

Testagem de Idiomas (ILTA)29, na Universidade de Cambridge. Observando a programao

do evento, verifiquei que Alderson (2010) organizou um simpsio exclusivamente sobre a

testagem de ingls para aviao intitulado: Testing Aviation English. No mesmo evento, Ute

29 Em 2010, o Colquio da ILTA teve o seguinte tema: Crossing the threshold: investigating levels, domains

and frameworks in language assessment. Informaes sobre o evento podem ser obtidas atravs do link: http://www.cambridgeesol.org/LTRC2010/docs/ltrc-final-programme-2010.pdf , acessado em 14/05/2010.

44

Knoch analisou os critrios e nveis da escala da ICAO, enquanto Dan Douglas discutiu a

poltica da testagem de ingls para aviao. Henry Emery, citado acima (EMERY, 2007),

apresentou um poster sobre desenvolvimento de testes de proficincia para pilotos. Segundo

informaes passadas a mim pelo autor, em seu poster, abordou o teste criado pela

consultoria Emery-Roberts Aviation English Training em parceria com a Oxford Aviation

Academy, ETA (English Test for Aviation). O exame em questo teve como equipe

desenvolvedora trs especialistas em aviao (instrutores e checadores de vo) e trs

especialistas em linguagem. Segundo o autor, as especificaes do teste apresentam como

objetivos medir a proficincia na lngua inglesa voltada para comunicaes radiotelefnicas

e no ingls geral voltado para aviao, seguindo os descritores holsticos da ICAO.

A seguir, abordarei os estudos j produzidos no Brasil que, de alguma maneira,

analisaram o Santos Dumont English Assessment.

2.6 ESTUDOS SOBRE O SANTOS DUMONT ENGLISH ASSESSMENT

Ainda muito incipiente a rea de estudos sobre o tema da proficincia lingustica

de pilotos enquanto requisito internacional. No Brasil, a exigncia s se efetivou

integralmente para comandante e copiloto que fazem voos internacionais em maro de

2009.

Antes de citar estudos que enfocaram a avaliao de proficincia lingustica

propriamente dita, fao referncia, em ordem cronolgica, a trabalhos produzidos no Brasil

que podem subsidiar uma melhor compreenso das comunicaes radiotelefnicas entre

controladores e pilotos.

Fundamentando-se no arcabouo terico do Ingls Instrumental (ou ESP), Gallo

(2006) fez um levantamento de situaes-alvo de rotina e de emergncia, nas quais os

pilotos precisam ter um bom desempenho em ingls e identificou as necessidades de uso da

45

lngua inglesa pelos pilotos nessas situaes. Os dados pareceram confirmar que o

conhecimento e uso da fraseologia aeronutica por pilotos s suficiente em circunstncias

extremamente limitadas e ritualizadas. Gallo (2006) conclui que um conhecimento mais

abrangente de ingls condio sine qua non para que os pilotos possam estabelecer e

manter uma comunicao eficiente com controladores e com os outros grupos de

interlocutores de seu contexto profissional, em situaes onde surjam complicaes ou

eventos inesperados, para as quais ainda no exista uma fraseologia pronta que possa ser

utilizada e que, alm das habilidades de compreenso e produo oral, os pilotos precisam

ser proficientes na habilidade de leitura e compreenso de textos especficos (tais como

manuais de aeronaves) para um bom desempenho profissional.

Com objetivos tambm educacionais, Oliveira (2007) apresentou a atividade do

controlador de trfego areo, enfocando a lngua franca utilizada na comunicao piloto-

controlador. Ao descrev-la, o autor buscou identificar suas caractersticas lingusticas

principais, oferecendo subsdios aos professores de lngua estrangeira para a produo do

seu prprio material didtico para o ensino dessa linguagem.

No ano seguinte, tambm buscando contribuir para o ensino de ingls junto a

profissionais da aviao, Bocorny (2008) fez um estudo descritivo das unidades

especializadas polilxicas nominais (UEPNs) frequentes em textos especializados oriundos

de manuais de operaes aeronuticas. Ao perceber a dificuldade de alunos de ESP para

aviao em compreender os conceitos representados pelas UEPNs nos manuais, a autora

busca, atravs de seu estudo, encontrar maneiras que possam facilitar a interpretao textual

desses aprendizes. De maneira semelhante, Sarmento (2008) trata do uso dos verbos modais

em manuais de aviao em ingls sob uma perspectiva da Lingustica de Corpus. O objetivo

de seu trabalho gerar subsdios que permitam elaborar materiais didticos que reflitam as

estruturas lingusticas como aparecem em seu contexto de uso. O corpus de estudo

46

composto de trs manuais tcnicos da aeronave BOEING 737, sendo dois manuais de

operaes destinados a pilotos e um manual de manuteno destinado a mecnicos. O

estudo de Sarmento (2008) mostra a relevncia de pesquisas baseadas em corpus para que

se elabore material didtico com propsitos especficos mais apropriados s necessidades

do pblico alvo.

Sem um foco claramente didtico, mas imbuda da problematizao das falhas nas

comunicaes entre pilotos e controladores, Monteiro (2009) investigou possveis ameaas

compreenso oral relativas ao uso da lngua inglesa por parte de pilotos e controladores

brasileiros. A partir de um levantamento sobre o que pilotos e controladores brasileiros

percebem como problema nas comunicaes radiotelefnicas em que devem utilizar a

lngua inglesa, Monteiro (2009) prope uma recategorizao dos fatores identificados

anteriormente considerando os profissionais brasileiros no contexto da aviao

internacional.

Sobre o Santos Dumont English Assessment propriamente dito, estudiosos da rea da

Lingustica Aplicada e Cincias Aeronuticas vm pouco a pouco conhecendo e se

dedicando sua anlise no Brasil.

Relacionando os trabalhos em ordem cronolgica, inicio com duas comunicaes

apresentadas por esta autora durante a XIV e XV Semanas de Estudos Anglo-Germnicos,

na UFRJ, em 2006 e 2007 respectivamente. Janurio Machado (2006) abordou um projeto

criado pela autora para validao do Santos Dumont English Assessment. Tal projeto tinha

como metodologia a anlise comparativa entre performances de tripulantes durante o exame

formal e no desempenho profissional na cabine de comando. A observao do desempenho

de pilotos durante emergncias seria observada em sesses de simulador com a cooperao

do instrutor e as de rotina em voo.

47

Um ano depois, Janurio Machado (2007) faz uma anlise comparativa entre a

performance de dois comandantes de avio durante a aplicao do Santos Dumont English

Assessment. Durante o teste, pilotos foram submetidos a elocues produzidas por falantes

de ingls como LE, cuja L1 o espanhol. Os dados sugerem que o background lingustico

dos candidatos fez com que processassem as mesmas amostras de forma bem distinta.

Enquanto o candidato sem conhecimento do espanhol no compreendeu as amostras, aquele

que tinha proficincia no idioma conseguiu compreender e responder aos comandos do

exame adequadamente. Mais tarde, tal estudo deu origem a um artigo (JANURIO

MACHADO, 2009b).

Outro trabalho pioneiro o de Fernandes (2007), o qual teve como objetivo analisar

as exigncias de proficincia de lngua inglesa para pilotos e controladores de voo,

propostas pela ICAO, a partir de dois exames j existentes: um europeu, PELA Test30,

criado e utilizado pela EUROCONTROL31, e o Santos Dumont English Assessment, ao qual

chamou de SDEA. O autor concluiu que o teste que mais se aproxima do proposto pela

ICAO o PELA, j que o SDEA possui algumas diferenas em relao ao que a ICAO

preconiza, como, por exemplo, a avaliao da gramtica e da fraseologia padro, ambos no

recomendados pela ICAO. Fernandes (2007, p. 6) afirma ainda que apesar de o PELA no

avaliar os pilotos, uma pequena readequao da prova j seria o suficiente para que a

mesma fosse aplicada em pilotos tambm.

No intuito de esclarecer a implementao dos requisitos de proficincia lingustica

para a comunidade aeronutica brasileira, Janurio Machado (2008) abordou as

caractersticas tcnicas do Santos Dumont English Assessment e a no certificao de

escolas ou qualquer entidade que oferea capacitao de pilotos na rea. A autora fez aluso

30 Proficiency in English Language for Air Traffic Controllers Test.

31 European Organization for the Safety of Air Navigation organizao internacional cujo objetivo principal

o desenvolvimento de um sistema nico de Controle de Trfego Areo (ATM Air Traffic Management) na Europa. Essa organizao civil conta atualmente com 38 Estados Membros e tem sede em Bruxelas.

48

tambm ao fato de que a ICAO no certifica testes de Avaliao de Proficincia

Lingustica, nem examinadores, tampouco os credencia, e que qualquer pessoa fsica ou

jurdica que assim se intitule o faz sem legitimidade.

No primeiro semestre de 2009, Oliveira (2009) pesquisou sobre o Santos Dumont

English Assessment, enfocando os critrios para atribuio de valor s habilidades do

candidato. A autora analisou o teste, buscando indcios de credibilidade e validade na

avaliao. Atravs de levantamento realizado por meio de questionrios e entrevistas orais,

a autora averiguou as prticas adotadas pela ANAC na avaliao de pilotos e as comparou

com as recomendaes da ICAO quanto s melhores prticas. Os dados apontaram que a

durao da entrevista, os temas abordados, a complexidade e adequao realidade do

candidato so suficientes. A eficincia no cumprimento de seus objetivos bem como a

confiabilidade e validade da prova foram consideradas timas segundo a percepo dos

trs examinadores; porm, o quesito interstcio para submisso a novo teste, para os

candidatos classificados com nveis 04 e 05, foi considerado regular. A autora conclui

que o interstcio de trs anos para avaliao do nvel 04 deveria ser