adriana dos santos lima - universidade federal...

Adriana dos Santos Lima

Construcao e Validacao de Instrumento para

Aferir a Satisfacao do Estudante com a

Universidade

Niteroi - RJ, Brasil

13 de dezembro de 2017

Universidade Federal Fluminense


Construcao e Validacao deInstrumento para Aferir a Satisfacao

do Estudante com a Universidade

Trabalho de Conclusao de Curso

Monografia apresentada para obtencao do grau de Bacharel emEstatıstica pela Universidade Federal Fluminense.

Orientador: Prof. Hugo Henrique Kegler dos Santos

Niteroi - RJ, Brasil

13 de dezembro de 2017

Universidade Federal Fluminense


Construcao e Validacao de Instrumento para

Aferir a Satisfacao do Estudante com a

Universidade

Monografia de Projeto Final de Graduacao sob o tıtulo “Cons-

trucao e Validacao de Instrumento para Aferir a Satisfacao

do Estudante com a Universidade”, defendida por Adriana dos

Santos Lima e aprovada em 13 de dezembro de 2017, na cidade

de Niteroi, no Estado do Rio de Janeiro, pela banca examina-

dora constituıda pelos professores:

Prof. Dr. Hugo Henrique Kegler dos SantosDepartamento de Estatıstica – UFF

Prof. Dr. Licınio Esmeraldo da SilvaDepartamento de Estatıstica – UFF

Profa. Dra. Ludmilla da Silva Viana JacobsonDepartamento de Estatıstica – UFF

Niteroi, 13 de dezembro de 2017

Ficha catalográfica elaborada pela Biblioteca do Instituto de Matemática e Estatística da UFF

L732 Lima, Adriana dos Santos Construção e validação de instrumento para aferir a satisfação doestudo com a universidade / Adriana dos Santos Lima. – Niterói,RJ: [s.n.], 2017.

79 f.

Orientador: Prof. Dr. Hugo Henrique Kegler TCC ( Graduação de Bacharelado em Estatística) – Universidade Federal Fluminense, 2017.

1.Psicometria . 2. Estudante universitário . I. Título.

CDD 370.0182

Resumo

Universidades de qualidade sao a base para o desenvolvimento da sociedade, e um dosaspectos pelo qual pode-se avaliar a qualidade do servico prestado pelas universidades,consiste em aferir o grau de satisfacao que os estudantes apresentam quanto a sua ex-periencia academica e social nos domınios da universidade. Ate o presente momento, noentanto, nao se tem conhecimento, no Brasil, de um teste psicometrico que meca o nıvelde satisfacao do estudante com a universidade. O proposito deste estudo e desenvolvere validar um instrumento de medida da satisfacao do estudante com a universidade aqual esta regularmente matriculado, e testar suas qualidades psicometricas. Descrevendodesde o levantamento das dimensoes relacionadas a satisfacao do estudante, passandopela validacao dos juızes e por sua aplicacao em grupo focal, a aplicacao em uma amostrade estudantes universitarios, ate a analise dos resultados do instrumento preliminar. Aamostra compos-se de 386 estudantes universitarios de 17 estados brasileitos. Na analiseda confiabilidade, o alfa de Cronbach (α = 0, 83) evidenciou elevada consistencia internado instrumento. A analise fatorial dos resultados sugeriu a presenca de cinco fatores, dosquais o relativo as condicoes de trabalho e o que contem os principais preditores da sa-tisfacao do estudante. Este instrumento representa uma ferramenta util para a otimizacaoda satisfacao do estudante de graduacao que esta regularmente matriculado em cursos pre-senciais do sistema de ensino superior brasileiro, abrangendo tanto universidades publicasquanto privadas.

Palavras-chaves: psicometria; validade; confiabilidade; satisfacao do estudante; estudanteuniversitario.

Sumario

Lista de Figuras

Lista de Tabelas

1 Introducao p. 10

1.1 O Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 11

1.2 Delimitacao do Problema . . . . . . . . . . . . . . . . . . . . . . . . . . p. 11

1.3 Finalidade do Estudo . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 12

1.4 Justificativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 12

1.5 Estrutura do TCC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 12

2 Objetivos p. 13

2.1 Objetivo Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 13

2.2 Objetivos Especıficos . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 13

3 Metodologia p. 14

3.1 Polo Teorico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 15

3.1.1 Sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 16

3.1.2 Propriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 16

3.1.3 Dimensionalidade . . . . . . . . . . . . . . . . . . . . . . . . . . p. 17

3.1.4 Definicao dos Construtos . . . . . . . . . . . . . . . . . . . . . . p. 18

3.1.4.1 Definicao Constitutiva . . . . . . . . . . . . . . . . . . p. 18

3.1.4.2 Definicao Operacional . . . . . . . . . . . . . . . . . . p. 18

3.1.5 Operacionalizacao . . . . . . . . . . . . . . . . . . . . . . . . . . p. 19

3.1.5.1 Fonte dos Itens . . . . . . . . . . . . . . . . . . . . . . p. 19

3.1.5.2 Regra para a Construcao dos Itens . . . . . . . . . . . p. 19

3.1.5.3 Quantidade de Itens . . . . . . . . . . . . . . . . . . . p. 21

3.1.5.4 Tipo de Itens . . . . . . . . . . . . . . . . . . . . . . . p. 21

3.1.6 Analise Teorica dos Itens . . . . . . . . . . . . . . . . . . . . . . p. 22

3.1.6.1 Analise Semantica dos Itens . . . . . . . . . . . . . . . p. 22

3.1.6.2 Analise dos Juızes . . . . . . . . . . . . . . . . . . . . p. 23

3.2 Polo Experimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 25

3.3 Polo Analıtico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 26

3.3.1 Analise Fatorial Exploratoria . . . . . . . . . . . . . . . . . . . p. 28

3.3.1.1 Construcao da Matriz de Correlacao . . . . . . . . . . p. 31

3.3.1.2 Teste de Esfericidade de Bartlett . . . . . . . . . . . . p. 32

3.3.1.3 Medida de Adequacao da Amostra de Kaiser-Meyer-

Olkin (KMO) . . . . . . . . . . . . . . . . . . . . . . . p. 34

3.3.1.4 Determinacao do Metodo de Analise Fatorial . . . . . p. 35

3.3.1.5 Determinacao do Numero de Fatores . . . . . . . . . . p. 36

3.3.1.6 Rotacao dos Fatores . . . . . . . . . . . . . . . . . . . p. 37

3.3.2 Analise Empırica dos Itens via TCT . . . . . . . . . . . . . . . p. 39

3.3.3 Consistencia Interna . . . . . . . . . . . . . . . . . . . . . . . . p. 40

4 Resultados p. 43

4.1 Procedimentos para a Criacao e Aplicacao do Questionario . . . . . . . p. 43

4.2 Analise dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 47

5 Conclusao p. 54

Referencias p. 56

Apendice A -- Respostas da Entrevista p. 58

Apendice B -- Tabela de Dupla Entrada (Itens x Dimensoes) p. 62

Apendice C -- Tabela da Definicao Constitutiva p. 63

Apendice D -- Lista dos Itens p. 64

Apendice E -- Questionario Aplicado p. 66

Apendice F -- Questionario Final p. 74

Lista de Figuras

1 Orgonograma para a Elaboracao de Instrumento de Medida Psicometrico. p. 15

2 Esboco das Tabelas Entregues aos Juızes. . . . . . . . . . . . . . . . . . p. 24

3 Regiao Crıtica da Distribuicao Qui-Quadrado com p(1−p)2

Graus de Li-

berdade. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 33

4 Grafico de Declive. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 37

5 Grafico de Declive dos Fatores. . . . . . . . . . . . . . . . . . . . . . . p. 48

6 Distribuicao dos Itens do Questionario de Acordo com suas Dimensoes

Teoricas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 51

7 Distribuicao dos Itens do Questionario de Acordo com suas Dimensoes

Empıricas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 51

8 Indice de Dificuldade do Item. . . . . . . . . . . . . . . . . . . . . . . . p. 52

9 Poder Discriminativo do Item. . . . . . . . . . . . . . . . . . . . . . . . p. 53

Lista de Tabelas

1 Pontos de Corte Recomendavel para os Valores de KMO. . . . . . . . . p. 34

2 Instrucao para Atribuir os Scores. . . . . . . . . . . . . . . . . . . . . . p. 46

3 Comunalidades e Variancia Especıfica. . . . . . . . . . . . . . . . . . . p. 49

4 Cargas Fatoriais da Matriz Rotacionada via Metodo Varimax. . . . . . p. 50

10

1 Introducao

A universidade desempenha um papel primordial na sociedade em termos da con-

tribuicao social, atraves da pesquisa desenvolvida, ensino, extensao e, ate mesmo, na

economia, ao movimentar bilhoes de dolares por ano. Da importancia da academia bra-

sileira, destaca-se a criacao de ideias, tecnologias e lıderes que irao moldar o Brasil. A

magnitude da boa formacao academica vai alem de um mero reconhecimento perante o

mundo, e esta intimamente ligada ao crescimento economico e as polıticas de relacoes

exteriores, alem da inovacao tecnologica alcancada por meio das pesquisas.

As principais missoes da universidade sao produzir novos conhecimentos e aplica-

los a realidade social brasileira, e formar profissionais conscientes que saibam aplicar tal

conhecimento adquirido, exercendo, portanto, tanto uma funcao social quanto polıtica.

Sendo assim, universidades de qualidade sao a base para o desenvolvimento da sociedade.

A qualidade da universidade pode ser vista por dois diferentes angulos: pela pers-

pectiva da universidade, onde focaliza-se principalmente nos processos administrativos

e nos servicos de rotina prestados aos estudantes, como, por exemplo, o servico de ali-

mentacao; pela perspectiva do estudante, onde enfatiza-se a questao academica, como:

equipamentos, bibliotecas e os docentes.(Browne et al. [1])

No contexto universitario, predominam duas vertentes de estudantes: os que almejam

o mercado de trabalho, e os que pretendem contribuir para a area academica, isto e,

desenvolver pesquisas. Sendo tais linhas igualmente importantes para o movimento da

sociedade, a universidade necessita abranger ambos os campos. Segundo Browne et al.

[1], os “clientes”das universidades mudam constantemente, e por este motivo, para se

oferecer servicos que vao de encontro com os requisitos e expectativas do estudante, a

universidade deve constantemente desenvolver um estudo aprofundado sobre o seu grupo

de enfoque.

Um dos aspectos pelo qual pode-se avaliar a qualidade do servico prestado pelas

universidades, consiste em aferir o grau de satisfacao que os estudantes apresentam quanto

1.1 O Problema 11

a sua experiencia academica e social nos domınios da universidade. Tal satisfacao deve

se dar em todas as esferas da assistencia, desde o convıvio social e academico ate a

infraestrutura que a universidade dispoe. Alem disso, pode ser entendida como uma

associacao da expectativa a priori do estudante com o servico que e de fato prestado, isto

e, ele torna-se satisfeito a partir do momento em que suas expectativas sao concretizadas.

A satisfacao pode ser mensurada atraves de um simples item, na qual pergunta-se

diretamente o quao satisfeito o estudante esta, ou atraves de um instrumento com uma

pluralidade de itens. No entanto, quando mensurada atraves de multiplos itens, sera uma

medida mais precisa e objetiva da satisfacao geral do estudante, alem de indicar com

quais aspectos da assistencia o estudante esta satisfeito ou insatisfeito. (Elliott & Schin

[2]) Sendo assim, para utilizar a satisfacao do estudante como fonte de informacao para a

tomada de decisoes estrategicas com o objetivo de aprimorar a qualidade da assistencia

dada pela universidade, e necessario mensurara-la atraves de um instrumento multi-item.

A preparacao de um instrumento de captacao dessa satisfacao exige metodologia apro-

priada a mensuracao de caracterısticas nao observaveis e se concretiza atraves de um

questionario cujos itens procuram revelar a intensidade com que tal construto (no caso,

a satisfacao) se apresenta em cada estudante.

1.1 O Problema

A questao a ser definida, porem, reduz-se a escolha do metodo a ser utilizado para

determinar tal nıvel de satisfacao. Afinal, como mensurar uma caracterıstica que nao

pode ser medida diretamente? Para isto, com base na literatura, recorre-se aos testes

psicometricos, mais especificamente, neste caso, a psicometria. Esta foi desenvolvida para

captar caracterısticas abstratas e simbolicas, e transforma-las em uma medida objetiva.

1.2 Delimitacao do Problema

Os testes psicometricos inicialmente foram desenvolvidos com objetivo de mensurar

medidas psicologicas. Um exemplo de teste psicometrico objetivo bastante renomado e o

Teste de QI, desenvolvido essencialmente para mensurar a inteligencia de um indivıduo.

No entanto, a psicometria, nos dias atuais, e utilizada em diversas areas do conhecimento.

Isto em razao de que e constatado que a metodologia empregada na criacao de um ins-

trumento de medida psicometrico e capaz de medir diversas outras caracterısticas nao

1.3 Finalidade do Estudo 12

mensuraveis diretamente. Sendo util para mensurar qualquer objeto que nao tenha uma

medida direta. Sendo assim, a teoria na qual os testes psicometricos sao embasados pode

ser facilmente adaptada para a criacao de um instrumento de medida que capte o nıvel

de satisfacao de estudantes universitarios.

1.3 Finalidade do Estudo

A presente monografia busca suprir a lacuna existente quanto aos instrumentos de

mensuracao da satisfacao dos estudantes da graducao no Brasil, com sustentacao nas

normas psicometricas de construcao, de confiabilidade e de validade de instrumentos.

1.4 Justificativa

O objetivo final e gerir, e melhorar, a qualidade das universidades brasileiras. Saber

os fatores que influenciam a satisfacao dos estudantes e o primeiro passo para aprimora-la,

com isso, a criacao de um instrumento que mensure o nıvel de satisfacao dos universitarios

e de extrema importancia para que, alem de verificar se os estudantes estao recebendo

uma assistencia digna e adequada, seu resultado possa ser utilizado para uma posterior

criacao de polıticas publicas que beneficiem tal segmento da populacao.

1.5 Estrutura do TCC

Neste primeiro capitulo introdutorio apresentam-se as informacoes basicas para a fun-

damentacao do projeto proposto. Seguindo para o Capıtulo 2 estao expostos os objetivos

a serem alcancados. O Capıtulo 3 foi escrito com a finalidade de expor todo o passo-a-

passo para a adequada criacao de um teste psicometrico. Nos Resultados (Capıtulo 4) sao

abordados os passos e acoes tomados para a criacao do instrumento de medida proposto

neste estudo, alem da validacao e retencao dos itens importantes para o questionario. Por

fim, o Capıtulo 5 segue com as conclusoes do estudo realizado.

13

2 Objetivos

2.1 Objetivo Geral

Desenvolver e validar, segundo as normas psicometricas, um instrumento de medida

capaz de captar o nıvel de satisfacao de estudantes que estao cursando a graduacao com a

universidade, incluindo a pertinente contextualizacao tanto para usuarios da rede publica

de ensino quanto para rede privada.

2.2 Objetivos Especıficos

• Identificar as dimensoes e facetas do construto “satisfacao dos estudantes com a

universidade”;

• Utilizar a teoria psicometrica para a elaboracao do instrumento;

• Propor um instrumento final.

14

3 Metodologia

Em 1999, Pasquali [3] resumiu toda a teoria para a criacao de um teste psicometrico

em seu livro entitulado Instrumentos psicologicos: manual pratico de elaboracao, e a

fundamentacao teorica da presente monografia foi baseada em tal texto, no que se diz

respeito a organizacao das etapas de construcao de um teste psicometrico. Alem disto, as

Secoes 3.1 e 3.2 foram fundamentadas integralmente em tal obra. Enquanto a Secao 3.3

teve por base teorica uma serie de fontes distintas.

Segundo Pasquali [3] a construcao de um teste psicometrico pode ser subdividida

em tres grandes polos: o polo teorico (Secao 3.1), o polo empırico (Secao 3.2) e o polo

analıtico (Secao 3.3). O polo teorico enfoca a teoria sobre o construto para o qual se quer

criar um instrumento de medida, alem dos itens (topicos) que necessitam ser tratados

para que se desenvolva um instrumento capaz de mensurar tal construto de forma geral e

satisfatoria. O polo empırico (ou experimental) determina o planejamento da aplicacao do

instrumento criado em uma amostra piloto, e a devida coleta valida de informacao para

que se possa avaliar a qualidade psicometrica do instrumento. Por fim, o polo analıtico

define os procedimentos estatısticos que devem ser efetuados nos dados coletados para

validar o instrumento proposto.

A Figura 1 explicita cada um dos tres polos e detalha os metodos e os passos que

devem ser tomados em cada um deles, bem como o produto que decorre da solucao de

cada passo. O instrumento final e alcancado apos a finalizacao de todos os passos.

3.1 Polo Teorico 15

Fonte: Adaptado de: Instrumentos psicologicos: manual pratico de elaboracao. (Pasquali [3])

Figura 1: Orgonograma para a Elaboracao de Instrumento de Medida Psicometrico.

3.1 Polo Teorico

Nesta primeira parte da elaboracao do instrumento deve ser realizada uma pesquisa

aprofundada sobre o tema proposto a fim de, ao final da pesquisa, ter consciencia de todas

as vertentes que o seu objeto pode tomar. No caso de o tema proposto ja ter sido alvo

de estudos anteriores, compartilhando do mesmo objetivo, deve-se buscar reter todas as

informacoes pertinentes disponıveis. Agrega-se a este conhecimento adquirido atraves da

pesquisa, toda a carga teorica e pratica vivenciada pelo pesquisador e/ou por especialistas

na area de interesse. Os procedimentos teoricos variam conforme as informacoes cientıficas

disponıveis.

A deficiencia de informacoes solidas disponıveis, no entanto, nao deve ser usada como

justificativa para omitir toda a especulacao teorica sobre o construto. Neste tipo de

situacao deve-se, obrigatoriamente, buscar toda a evidencia empırica sobre o construto e,

3.1 Polo Teorico 16

a partir disto, chegar a uma teoria sobre o mesmo.

A construcao dos itens torna-se coerente e adequada quando uma base teorica bem

consolidada e, quando possıvel, completa e estabelecida. Em outras palavras, uma base

teorica solida torna viavel a definicao das caracterısticas que irao constituir os tracos

latentes.

3.1.1 Sistema

O primeiro passo para a criacao de um teste psicometrico e a escolha do sistema (ou

objeto) que se pretende medir, ou seja, fixar o universo de interesse. E esta escolha e

feita com base, exclusivamente, no interesse direto do investigador. No entanto, o objeto

em si nao e uma caracterıstica diretamente mensuravel, e deve ser medido a partir de

suas propriedades. Em outras palavras, o sistema pode ser definido como um objeto

hipotetico que somente pode ser avaliado a partir de seus atributos (ou propriedades ou

tracos latentes).

Tal objeto pode ser considerado em varios nıveis dependendo, tao somente, do inte-

resse do pesquisador. Pode-se falar de sistemas universais e sistemas locais. Um sistema

universal e, por exemplo, o nıvel de satisfacao e os subsistemas locais sao os varios sub-

sistemas de interesse. Assim, o nıvel de satisfacao de estudantes pode ser considerado

um subsistema do nıvel de satisfacao geral, ou mesmo, o nıvel de satisfacao de estudantes

universitarios pode ser considerado um sistema quando ele for o interesse direto.

Enfim, a questao a ser resolvida neste primeiro passo delimita-se a escolha, por parte

do pesquisador, do tema para o qual deseja construir um instrumento de medida.

3.1.2 Propriedade

Um sistema e constituıdo por varios aspectos que o caracteriza, e tais caracterısticas

sao denominadas propriedades. Sendo, entao, um sistema constituıdo por diversas pro-

priedades e de suma importancia estabelecer qual ou quais propriedades do sistema serao

definidas como objetos de interesse. Este passo consiste na delimitacao do sistema esco-

lhido em aspectos especıficos os quais se deseja estudar.

Assim, ao definir como sistema de interesse o nıvel de satisfacao de estudantes, pode-

se escolher estudar diversas vertentes deste mesmo tema. Temos como exemplo: o nıvel

de satisfacao de estudantes com o ensino medio profissionalizante, o nıvel de satisfacao

3.1 Polo Teorico 17

de estudantes com o curso de lıngua estrangeira, o nıvel de satisfacao de estudantes com

a universidade, entre outros. Cabe ao pesquisador escolher em qual aspecto esta mais

interessado.

A escolha dos aspectos do sistema de estudo baseia-se, novamente, no interesse do

pesquisador. Neste passo, contudo, a ajuda de livros ındices e de peritos no tema e de

significante importancia com vista a selecionar os atributos que melhor retratem o objeto

de interesse.

3.1.3 Dimensionalidade

Este passo resulta na distincao dos fatores que compoem o construto (atributo). Por

exemplo: Se o sistema de estudo e o nıvel de satisfacao de estudantes, e a propriedade

deste sistema que o pesquisador esta interessado em estudar e o nıvel de satisfacao de

estudantes com a universidade. Pergunta-se: E o nıvel de satisfacao um construto unico

ou deve-se distinguir nele componentes diferentes? A resposta para tal pergunta deve ser

baseada, obviamente, na teoria de tal construto e/ou sobre os dados empıricos disponıveis.

Caso o atributo apresente dois ou mais fatores, nao deve-se ignorar este fato na hora

de elaborar o instrumento de medida, tendo este que contar com itens que captem adequa-

damente todas as dimensoes existentes. Obviamente o pesquisador pode optar por medir

somente uma das dimensoes, porem, neste caso, o atributo de interesse seria redefinido

para a dimensao escolhida.

Voltando ao exemplo anterior, ao qual escolheu-se como atributo de interesse o nıvel

de satisfacao de estudantes com a universidade, caso fosse escolhido entender o nıvel de

satisfacao somente como a satisfacao do estudante universitario com a qualidade do ensino,

o atributo de interesse deveria ser redefinido como o nıvel de satisfacao de estudantes com

a qualidade de ensino da universidade. Porem, tomando a decisao de querer estudar

somente o nıvel de satisfacao de estudantes com a qualidade de ensino da universidade,

nao se faz desnecessario expor toda a teoria do nıvel de satisfacao de estudantes com a

universidade, e em seguida, justificar o estudo de apenas um aspecto dela. Evidentemente,

o interesse especıfico do pesquisador por tal aspecto escolhido pode ser, e sera, justificativa

suficiente para sustentar a escolha.

No entanto, caso o atributo escolhido nao disponha, na literatura, de uma teoria

consolidada fica por conta do psicometrista reunir todo o dado empırico disponıvel. E

a partir disto construir uma teoria para o construto, a qual ira guiar a construcao do

3.1 Polo Teorico 18

instrumento de medida. Os dados coletados atraves do instrumento criado ira decidir se

a teoria formulada tem alguma consistencia.

A definicao da propriedade e dimensionalidade sao os pontos crıticos para a elaboracao

de um instrumento de medida. Isto pois estes dois passos definem e estruturam os cons-

trutos, com base na teoria firmada.

3.1.4 Definicao dos Construtos

Apos a definicao das propriedades do sistema pertinentes para o estudo e de suas

dimensoes, o proximo passo e a definicao dos construtos. Esta definicao consiste na

conceituacao clara e precisa dos fatores para os quais se quer construir o instrumento.

Esta definicao e feita baseada na literatura, nos peritos e/ou na experiencia propria. O

resultado deste passo sao as definicoes constitutivas e as definicoes operacionais de tais

construtos.

3.1.4.1 Definicao Constitutiva

Tendo as dimensoes ja bem delineadas, a definicao constitutiva busca delimitar e des-

crever os construtos de interesse. Isto e, para cada dimensao estabelecida a partir da

revisao bibliografica deve-se definir conceitualmente o que este fator deveria medir em

termos de outros conceitos. Supondo que o atributo de interesse seja a satisfacao de

estudantes com a universidade, que este construto e multidimensional, e que uma das

dimensoes e denominada na literatura como “Qualidade de Ensino”, uma definicao cons-

titutiva para tal fator e “percepcao do estudante quanto ao metodo de ensino empregado”.

Esta etapa e essencial para criar um bom instrumento de medida , pois e a partir dela

que pode-se verificar se o instrumento proposto esta cobrindo grande parte da extensao

conceitual do construto.

3.1.4.2 Definicao Operacional

Este passo pode ser considerado a transicao da fase estritamente teorica da criacao

do instrumento para operacionalizacao dos itens. A definicao operacional e definir como

cada dimensao pode ser expressa em forma de acao. Voltando ao exemplo anterior, uma

definicao operacional para tal dimensao seria pedir para que o respondente dissesse se

acredita que seus professores utilizam o metodo de didatico adequado.

3.1 Polo Teorico 19

3.1.5 Operacionalizacao

3.1.5.1 Fonte dos Itens

Tendo em vista que todos os passos realizados anteriormente foram adequadamente

resolvidos, esta etapa se destina a buscar inspiracao para dar o pontape inicial na cons-

trucao concreta do instrumento. Pode-se buscar informacoes em duas fontes de itens

distintas, sao elas: a entrevista, e outros testes que medem o mesmo construto. A entre-

vista consiste em selecionar alguns indivıduos da populacao alvo do instrumento e pedir

para opinarem em que tipo de comportamento tal construto se manifesta. Por exemplo:

se o instrumento de medida tem por objetivo mensurar o nıvel de satisfacao de estudantes

com a universidade, pode-se questionar os indivıduos selecionados (representantes da po-

pulacao) sobre “O que voce entende por satisfacao com a universidade?”. A outra fonte

de informacao, se baseia na pesquisa de outros instrumentos que medem o mesmo cons-

truto. A partir disto, comeca-se a ter alguma nocao sobre quais itens seriam interessantes

colocar no instrumento que se esta desenvolvendo.

3.1.5.2 Regra para a Construcao dos Itens

Dado que nesta altura ja se tem as fontes que baseiam a construcao de itens, e preciso

agora definir algumas regras para a elaboracao adequada de tais itens. Estas regras, no

entanto, podem ou nao ser aplicadas, a depender do tipo de traco latente a ser medido.

Ao todo, existem 10 regras para a construcao de cada item individualmente e duas

regras para o conjunto de itens que medem um mesmo construto. Sao elas:

1. O criterio comportamental diz que o item deve expressar um comportamento, ins-

truindo o sujeito a realizar a acao de forma clara e precisa. O item deve ser formulado

de modo que nao expresse um comportamento abstrato. Em um teste de aptidao,

por exemplo, um item que obedece o criterio comportamental e quando pede-se para

“reproduzir um texto”, ou “marcar a resposta correta”, ao passo que pedir ao sujeito

que somente “compreenda o texto” nao obedece tal criterio, visto que compreender

e algo abstrato.

2. O criterio da objetividade (ou desejabilidade, ou preferencia) e utilizado somente em

testes de aptidao e testes de personalidade. No primeiro caso, o item deve permitir

uma resposta certa ou errada, deixando a cargo do respondente mostrar se sabe a

resposta certa ou nao. Ja nos testes de personalidade, o item deve cobrir os diversos

3.1 Polo Teorico 20

tipos de comportamento perante a uma situacao, deixando livre ao respondente a

escolha sobre qual das opcoes mais corresponde a sua preferencia.

3. O criterio da simplicidade diz que um item deve expressar uma unica ideia. Itens que

introduzem varias ideias e conceitos geralmente confundem o respondente, e por isso

devem ser evitados. Outro artificio que nao e apropriado utilizar, e a elaboracao de

itens que apresentem explicacoes de termos ou que oferecem razoes ou justificativas.

4. O criterio da clareza diz que o item deve ser formulado de tal forma que possa ser

facilmente entendido ate mesmo pelo extrato mais baixo da populacao alvo. Ide-

almente deve-se usar frases curtas, com expressoes simples e inequıvocas. Deve-se,

ainda, evitar o uso de frases negativas, pois estas tendem a confundir o respon-

dente. Consequentemente, e preferıvel afirmar a negatividade do que negar uma

afirmacao. Por exemplo, e melhor dizer “detesto o atendimento oferecido” do que

“nao gosto do atendimento oferecido”. Deve-se, ainda, levar em conta o linguajar

tıpico da populacao alvo na elaboracao dos itens, porem nao e recomendado o uso

de gırias. Isto pois, alem delas nao serem entendidas por toda a populacao, as gırias

podem ofender o extrato mais alto, assim, fazendo o instrumento perder a “validade

aparente” (item 10).

5. O criterio da relevancia diz que a frase deve ser consistente com o atributo definido,

e com as outras frases que medem o mesmo traco latente. Ou seja, o criterio diz

respeito a pertinencia que o item proposto tem para com o construto – representado

pela carga fatorial na analise fatorial – e a correspondencia de tal item com o traco

– representada pela covariancia entre o item e o fator (traco).

6. O criterio da precisao diz que “o item deve possuir uma posicao definida no contınuo

do atributo e ser distinto dos demais itens que cobrem o mesmo contınuo.”

7. O criterio da variedade diz que e preciso variar a linguagem nas questoes. Pois usar

o mesmo termo em todos os itens, alem de confundir, provoca cansaco e saturacao

no respondente. No caso do uso de escala de preferencias e importante formular

metade dos itens em termos favoraveis e metade em termos desfavoraveis.

8. O criterio da modalidade diz que nao deve-se utilizar expressoes extremadas na

formulacao do item, tais como: excelente, pessimo, etc. Tais expressoes podem, e

devem, ser utilizadas na escala de resposta, medindo assim a intensidade da reacao

do sujeito. Se o proprio item ja vem apresentado de forma extremada, cria-se um

vies na resposta.

3.1 Polo Teorico 21

9. O criterio da tipicidade diz que a as frases devem ser formadas com expressoes

condizentes com o atributo.

10. O criterio da credibilidade diz que a formulacao do item deve ser feita de modo que

nao pareca “ridıculo, despropositado e infantil”. Se a formulacao do item nao estiver

feita de forma adequada, isso contribuira para uma atitude desfavoravel para com

o teste, assim aumentando os vieses da resposta.

11. O criterio da amplitude diz que o instrumento deve conter itens que cubram toda

a extensao de magnitude deste construto. Isto e, os itens devem ser formulados de

modo que consigam captar a diferenca de nıveis de magnitude do traco latente. Por

exemplo, um instrumento que tenha por objetivo medir o nıvel de satisfacao deve

ser capaz de distinguir os sujeitos entre muito satisfeito, satisfeito, pouco satisfeito,

etc.

12. O criterio do equilıbrio e empregado somente para os testes de aptidao e para os

testes de atitudes. Onde, para os testes de aptidao, e demandado que o conjunto de

itens seja composto por itens de baixa, media, e alta complexidade. Ja nos testes de

atitude, os itens devem ser divididos entre fracos, moderados e extremos. Sendo que

a maior quantidade de itens deve ser de dificuldade mediana. Pois acredita-se que

a populacao tenha suas habilidades distribuıdas de forma que se assemelha a curva

normal. Na qual a grande maioria dos sujeitos apresentam habilidade mediana, e

poucos apresentam habilidades ou muito elevadas ou muito baixas.

3.1.5.3 Quantidade de Itens

Para garantir, no instrumento final, a cobertura de, pelo menos, grande parte da

extensao semantica do construto e requerido um numero razoavel de itens. Este numero,

no entanto, e arbitrario. Construtos muito simples dificilmente necessitam de um grande

numero de itens, sendo suficiente apenas uma meia duzia ou menos deles. Porem, em

sua grande maioria, um construto necessita de cerca de 20 itens para ser adequadamente

representado. Isto se da pelo fato de os tracos latentes terem uma grande gama de aspectos

a se considerar.

3.1.5.4 Tipo de Itens

Existem inumeros formatos de resposta possıveis, e e de inteira responsabilidade do

pesquisador decidir qual tipo de item melhor se adequa ao que o seu instrumento se propoe

3.1 Polo Teorico 22

a medir. Os tipos mais comuns sao:

• Escolha forcada: na qual dois itens sao apresentados simultaneamente e o respon-

dente deve escolher aquele que melhor representa o seu pensamento sobre o tema.

• Multipla escolha: na qual sao apresentadas ao indivıduo diversas alternativas sendo

que somente uma e certa, e o sujeito deve escolher a alternativa elaborada de forma

correta.

• Escala de Likert: na qual cada item segue uma escala de pontos que expressam a

intensidade com que o indivıduo esta de acordo com a afirmacao feita. Estas escalas

variam de 3 a mais de 10 pontos, porem as mais utilizadas sao as escalas de 5 e 7

pontos.

3.1.6 Analise Teorica dos Itens

Esta etapa e responsavel por verificar a validade teorica do instrumento proposto.

Esta validade, no entanto, nada tem a ver com a validacao empırica do instrumento que

sera realizada posteriormente. A avaliacao da validade neste passo e feita de forma teorica,

onde e requerido simplesmente que obtenham-se outras opinioes sobre o que foi feito ate

o presente momento.

Apos os itens formulados e importante verificar se eles realmente estao medindo o

construto de interesse, alem, obviamente, de verificar se esta inteligıvel para todos os

extratos da populacao.

Os indivıduos escolhidos para participar de tal etapa nao sao, ainda, uma amostra

representativa da populacao. E sao escolhidos de forma nao aleatoria de acordo com

o que e mais conveniente para o pesquisador. Dois grupos distintos de indivıduos sao

selecionados, um para a analise semantica dos itens, e outro para a analise de concordancia

dos itens.

3.1.6.1 Analise Semantica dos Itens

O objetivo da analise semantica dos itens e verificar se os itens estao formulados de

forma que possa ser compreendido por todos os membros da populacao alvo. Nesta etapa

deve-se atentar a duas caracterısticas distintas: a compreensao pelo extrato mais baixo, e

a validade aparente para o extrato mais sofisticado. No contexto onde o instrumento sera

3.1 Polo Teorico 23

aplicado a uma populacao com sujeitos do ensino fundamental ate universitarios, o extrato

mais baixo sera composto pelos sujeitos do ensino fundamental e o mais sofisticado pelos

universitarios. Ja no situacao em que a pesquisa tera a sua populacao alvo composta

somente por universitarios, compora o extrato mais baixo os alunos ingressantes e o

extrato mais alto os alunos concluintes.

Ha diversas tecnicas eficientes para realizar tal analise. Entretanto, uma tecnica em

especial tem sido vastamente utilizada por apresentar grande eficiencia na avaliacao da

compreensao semantica. Esta tecnica consiste na checagem dos itens com pequenos grupos

de indivıduos, numa situacao de brainstorm. Onde reune-se, em um primeiro momento,

um grupo de 3 ou 4 pessoas do extrato mais baixo da populacao, e apresenta os itens um

por um. A cada item apresentado e pedido para os sujeitos que os reproduza/responda. Se

nao houve problemas na reproducao do item, entao o item e corretamente compreendido.

Porem, caso haja alguma divergencia, ou pergunta por parte dos entrevistados, ou ate

mesmo se o pesquisador perceber que o item esta sendo entendido de forma diferente a

“pretendida”, entao tem-se indıcios que a formulacao nao e a mais adequada possıvel.

Nesta situacao e recomendado que se reformule a questao. Tal processo deve ser repetido

com outros grupos ate o momento que o pesquisador achar necessario para reter o numero

de questoes desejadas. Um item que nao apresenta dificuldade de compreensao em uma

ou duas sessoes pode ser considerado adequado. Ja aquele que apos, ao maximo de, 5

sessoes ainda e mal compreendido, merece ser descartado. Apos as diversas sessoes com

o extrato mais baixo, e com base nestas a selecao dos itens retidos para o instrumento,

e importante pelo menos uma checagem dos itens com os sujeitos do extrato mais alto

da populacao. Esta checagem e feita com o objetivo de certificar-se de que os itens nao

foram formulados com linguajar demasiadamente primitivo, assim garantindo a validade

aparente do instrumento.

3.1.6.2 Analise dos Juızes

A analise dos juızes tem por objetivo verificar a adequacao dos itens para medir

os tracos latentes. Os sujeitos escolhidos para compor um grupo de juızes devem ser

peritos na area do construto, pois a sua funcao consiste em averiguar se os itens estao se

referindo ao traco em questao. Um pequeno grupo de meia duzia de juızes ja e suficiente

para realizar tal tarefa.

A analise e feita a partir de uma tabela de dupla entrada, onde nas linhas aloca–se

os itens, e nas colunas, as dimensoes. Alem disto, tambem e disponibilizada aos juızes

3.1 Polo Teorico 24

uma tabela contendo as definicoes constitutivas das dimensoes . Em alguns casos, e

necessaria a entrega de uma terceira tabela, esta elencando os itens, ja que estes podem

ser demasiadamente grandes para serem expressos na tabela de dupla entrada. A tarefa

dos juızes e identificar a qual dimensao eles consideram que cada item pertence, marcando

com um X a tabela de dupla entrada. A Figura 2 apresenta um esboco generico das tabelas

que devem ser oferecidas aos juızes.

(a) Tabela de Dupla Entrada (Itens x Di-mensoes)

(b) Tabela da Definicao Constitutiva

(c) Lista dos Itens

Fonte: Adaptado de: Instrumentos psicologicos: manual pratico de elaboracao. (Pasquali [3])

Figura 2: Esboco das Tabelas Entregues aos Juızes.

Contudo, quando duas ou mais dimensoes estao correlacionadas, pode ocorrer de um

item referir-se a mais de um fator simultaneamente. Neste caso, uma opcao e instruir aos

juızes que assinalem a dimensao que eles consideram ser mais representada a partir de tal

item.

Para avaliar a pertinencia ou nao de um item para a dimensao a qual ele teoricamente

se refere, e requerido uma concordancia de mınima entre os juızes, que devera ser definida

pelo pesquisador de acordo com o seu conhecimento acerca do construto em questao.

Usualmente faz-se a escolha de uma concordancia de 80%.

3.2 Polo Experimental 25

3.2 Polo Experimental

O polo experimental engloba tanto o desenho da pesquisa, quanto a efetiva coleta

dos dados. O tipo de amostragem a se utilizar e de escolha do pesquisador, porem a

decisao tomada necessita de um embasamento teorico. Em outras palavras, dentre todos

os metodos de amostragem disponıveis e de responsabilidade do pesquisador detectar qual

se adequa melhor ao seu problema.

A definicao do plano amostral deve ser bastante minuciosa, ao ponto de determinar,

ainda, o perfil dos indivıduos que farao parte da amostra piloto. Isto e, definir as carac-

terısticas do indivıduo que o torna apto para a participacao no experimento. Por exemplo,

se o objeto de interesse em questao e o nıvel de satisfacao de estudantes universitarios,

a caracterıstica utilizada para segregar os sujeitos aptos para a amostra seria que tais

repondentes estivessem regularmente matriculados em cursos de graduacao em uma Ins-

tituicao de Ensino Superior. Assim sendo, um estudante que faz curso de pos-graduacao

nao seria aceitavel para a pesquisa, pois esta nao foi elaborada para este publico.

O tamanho da amostra pode ser delineado de diferentes maneiras. Uma das alter-

nativas e dispor de 10 pessoas para cada item. Por exemplo, para um instrumento com

25 itens seriam necessarios que 250 indivıduos o respondessem. No entanto, esse modo

de pensar esta ligado, principalmente, a testes onde nao se e utilizada abordagem psi-

cometrica, ou seja, quando o instrumento e criado a partir da escolha de itens baseado

no que o pesquisador considera que meca, de alguma forma, o construto. O mais usual

nos testes psicometricos e determinar um mınimo de 100 sujeitos para cada fator previa-

mente determinado. A tıtulo de exemplo, digamos que o construto de interesse apresente

3 dimensoes (fatores), neste caso a amostra demandaria a obtencao de 300 indivıduos

respondentes. E importante salientar, ainda, que para a posterior analise fatorial e reco-

mendado que o tamanho da amostra seja igual ou superior a 200. Ainda assim a opcao

de considerar entre 5 a 10 sujeitos por item e valida.

Apos fixar qual o metodo amostral sera empregado e o tamanho da amostra, o passo

seguinte e determinar como sera feito. Nesta etapa deve-se averiguar todos os tramites

legais para dar continuidade a pesquisa. Isto e, conseguir permissao do Conselho de

Etica para aplicar o instrumento proposto, verificar a disponibilidade e interesse dos

respondentes e/ou seus superiores em caso de pesquisa com funcionarios de empresas,

determinar onde seria aplicado o questionario, entre outros.

A ultima etapa deste polo e a aplicacao do instrumento criado. Caso tenha sido optado

3.3 Polo Analıtico 26

realizar a coleta de dados com a mediacao de um entrevistador, e de suma importancia que

haja uma capacitacao previa destes. Pois o entrevistador deve ser imparcial, utilizando

de adequada entonacao, para que nao se crie vieses nas respostas dos entrevistados.

3.3 Polo Analıtico

O polo analıtico e responsavel pelas analises estatısticas utilizadas para a devida

validacao empırica do instrumento proposto. O primeiro passo desta etapa e verificar

a dimensionalidade do instrumento, lancando mao da analise fatorial. Esta analise vai

definir quantas dimensoes (fatores) o instrumento criado esta, de fato, medindo. O instru-

mento foi idealizado pra medir as diferentes dimensoes teoricas estabelecidas a partir da

teoria sobre o construto de interesse. Porem nao se pode somente supor que o teste esta

medindo os fatores teoricos, e fundamental que se verifique empıricamente tal hipotese.

Sendo assim, a tecnica da analise fatorial condiz a demonstracao da validade do instru-

mento. (Pasquali [3])

Existem duas abordagens quanto a analise fatorial: a analise fatorial exploratoria e a

analise fatorial confirmatoria. A primeira tem por objetivo encontrar os fatores que expli-

cam as variaveis originais, e e utilizada quando nao se tem uma ideia previa de quantos

fatores o instrumento em questao esta medindo. Ja a analise fatorial confirmatoria e utili-

zada quando se tem uma teoria sobre a dimensionalidade do construto, e busca confirmar

ou negar tal estrutura hipotetica. (Dillon & Goldstein [4]) No entanto e recomendado,

mesmo em casos onde se dispoe de um modelo teorico, que seja realizada a analise fatorial

exploratoria, a fim de ter uma nocao previa se a quantidade de fatores teoricos e coerente

com os dados amostrais coletados. (Mingoti [5])

Num primeiro momento e intuitivo pensar que pelo fato do instrumento ter sido criado

a partir de dimensoes teoricas, seja necessario fazer uso da analise fatorial confirmatoria.

Porem esta intuicao nao condiz com a realidade. A intencao, neste momento, nao e aferir

se a teoria e ou nao satisfeita. A finalidade deste passo e somente verificar como as

variaveis estao se relacionando. Para isso faz-se uso da analise fatorial exploratoria, que

tem seus passos devidamente definidos na Subsecao 3.3.1. Nesta abordagem de validacao

tambem pode-se verificar a existencia de variaveis nao apropriadas, isto e, que nao se

relacionam com nenhum fator. Caso haja variaveis deste tipo, e importante que estas

sejam excluıdas e que se realize novamente a analise fatorial exploratoria para o novo

conjunto de variaveis.


Apos a definicao do numero de fatores e a retencao de somente as variaveis que se

mostraram pertinentes no decorrer dos processos da analise fatorial, e necessario que se

prossiga com a analise empırica dos itens. Tal analise e executada com o proposito de

averiguar as outras caracterısticas que os itens devem apresentar dentro de um mesmo

construto. (Pasquali [3]) Ha na literatura duas maneiras distintas para o tratamento da

analise empırica dos itens. Uma abordagem denominada a Teoria Classica dos Testes

(TCT) , e outra, mais recente, denominada Teoria da Resposta ao Item (TRI). (Sartes

& Souza-Formigoni [6]) Ambas compartilham de um mesmo objetivo, o de julgar da

pertinencia dos itens. (Primi [7]) O presente estudo ira se ater a apresentacao da analise

dos itens via teoria classica dos testes, especificada na Subsecao 3.3.2

O proximo passo e a verificacao da precisao (confiabilidade) do instrumento. A confia-

bilidade diz respeito a capacidade do teste de fornecer medidas que se aproximam do score

verdadeiro do indivıduo . Isto e, um instrumento e confiavel quando seu erro aleatorio de

medida tende a zero. (Pasquali [3])

A confiabilidade de um teste pode ser mensurada de diversas maneiras. A precisao

teste-reteste consiste na aplicacao do instrumento em dois momentos distintos e, a partir

dos dados coletados, verificar a correlacao entre as distribuicoes de scores obtidos nestas

duas ocasioes. A precisao de formas alternativas baseia-se na correlacao da distribuicao

de scores de duas formas paralelas de um mesmo teste, que sao aplicados em sucessao

imediata. A precisao da consistencia interna (Secao 3.3.3) visa verificar a homogeneidade

da amostra de itens do teste. De todo modo, a utilizacao da tecnica de teste-reteste

e da tecnica de formas alternativas tem por pressuposto que o traco latente ao qual o

teste se dispoe a medir se mantem constante em ocasioes diferentes, o que e satisfeito em

testes de aptidao e de personalidade. (Pasquali [3]) Por consequencia, um teste criado

com o objetivo de medir, por exemplo, o nıvel de satisfacao de pacientes nao padeceria

da utilizacao destes dois testes, pois a satisfacao nao e uma medida constante. Uma vez

que atendimentos realizados em ocasioes diferentes tendem a conceber nıveis de satisfacao

distintos.

O ultimo passo e a padronizacao e a normatizacao do instrumento criado. A padro-

nizacao consiste na determinacao dos meios adequados para a aplicacao do teste. Ja a

normatizacao baseia-se em estabelecer um padrao de referencia para que se possa interpre-

tar adequadamente o resultado obtido pelo indivıduo. (Pawlowski, Trentini & Bandeira

[8])

As analises da presente monografia foram realizadas com o software estatıstico R [9].


3.3.1 Analise Fatorial Exploratoria

A Analise Fatorial (AF) denota uma classe de metodos estatısticos que devem ser

utilizados para a reducao e o resumo dos dados. (Malhotra [10]) Tal tecnica tem por

objetivo analisar um conjunto de variaveis e, a partir disto, construir uma escala de

medida para os fatores (dimensoes) que de alguma forma controlam as variaveis originais.

“Estes fatores permitem identificar as relacoes estruturais entre as variaveis que de alguma

outra forma passariam despercebidas no conjunto vasto de variaveis originais.” (Maroco

[11])

O modelo de analise fatorial relaciona linearmente as variaveis e os fatores comuns, que

a princıpio sao desconhecidos. (Mingoti [5]) Considerando p variaveis originais resumidas

a partir de m fatores, e x1, x2, . . . , xp tais p variaveis, o modelo fatorial pode ser escrito

da forma:

x1 = µ1 + λ11f1 + λ12f2 + . . .+ λ1mfm + η1

x2 = µ2 + λ21f1 + λ22f2 + . . .+ λ2mfm + η2

...

xp = µp + λp1f1 + λp2f2 + . . .+ λpmfm + ηp

, (3.1)

onde µi (i = 1, 2, . . . , p) representam a media da variavel xi correspondente, fj (j =

1, 2, . . . ,m) representam os fatores comuns, ηi (i = 1, 2, . . . , p) representam os fatores

especıficos (erros aleatorios) e λij representa o peso da variavel i no fator j.

Por conveniencia pode-se optar por padronizar as variaveis por zi = xi−µi√σii

. Com isso,

o modelo fatorial pode ser escrito de forma generica como:

zi = λi1f1 + λi2f2 + . . .+ λimfm + ηi i = 1, 2, . . . , p, (3.2)

onde, zi representa a i-esima variavel padronizada, fj (j = 1, 2, . . . ,m) representam os

fatores comuns, ηi representa o fator especıfico (erro aleatorio) da i-esima variavel e λij

representa o peso da variavel i no fator j.

Note, no entanto, que o λij sera diferente, a depender da escolha pelo uso ou nao da

padronizacao. Tal modelo pode ser escrito em termos matriciais como:

z = Λf + η, (3.3)


onde:

z =

z1

z2

...

zp

p×1

e o vetor das p variaveis padronizadas,

Λ =

λ11 λ12 . . . λ1m

λ21 λ22 . . . λ2m

......

. . ....

λp1 λp2 . . . λpm

p×m

e a matriz dos pesos fatoriais,

f =

f1

f2

...

fm

m×1

e o vetor dos fatores comuns,

η =

η1

η2

...

ηp

p×1

e o vetor dos fatores especıficos.

O modelo anterior (Equacao 3.3) segue algumas premissas, sao elas:

1. Os fatores comuns (fj) sao independentes e igualmente distribuıdos tais que

E[f ] = 0, e V[f ] = I.Sendo,

I =

1 0 . . . 0

0 1 . . . 0...

.... . .

...

0 0 . . . 1

m×m

;

2. Os fatores especıficos (ηi) sao independentes e igualmente distribuıdos com

E[η] = 0 e V[η] = Ψ.

Sendo,

Ψ =

Ψ1 0 . . . 0

0 Ψ2 . . . 0...

.... . .

...

0 0 . . . Ψp

p×p

;


3. fj e ηi sao independentes. Ou seja, Cov[η, f ] = 0p×m.

O que implica que todos os fatores comuns tem media zero, sao nao correlacionados

entre si, e tem variancia igual a um. Tambem pode-se dizer que os fatores especıficos

tem media zero e sao nao correlacionados, alem de nao ter, necessariamente, a mesma

variancia. (Mingoti [5]) Ademais, se a condicao 3 e satisfeita, chama-se o modelo fatorial

de ortogonal. Caso fj e ηi estejam correlacionadas, o modelo fatorial diz-se oblıquo.

(Maroco [11]) Vale salientar que o modelo ortogonal so deve ser utilizado quando as

variaveis originais sao correlacionadas entre si. (Mingoti [5])

No modelo fatorial ortogonal pode-se escrever a variancia da i-esima variavel padro-

nizada como a soma da variancia de zi explicada pelos fatores comuns com a variancia de

zi unica desta variavel. Como pode-se averiguar na demonstracao abaixo.

V[zi] = V[λi1f1 + λi2f2 + . . .+ λimfm + ηi]

= V[λi1f1] + V[λi2f2] + . . .+ V[λimfm] + V[ηi]

= λ2i1V[f1] + λ2

i2V[f2] + . . .+ λ2imV[fm] + V[ηi]

= λ2i1 + λ2

i2 + . . .+ λ2im + Ψi

=m∑j=1

λ2ij + Ψi

Entao, a variancia de zi pode ser reescrita como:

V[zi] = h2i + Ψi, (3.4)

onde h2i =

m∑j=1

λ2ij .

Percebe-se, entao, que a variabilidade de zi pode ser subdividida em duas partes.

A primeira, denotada por h2i , e chamada de comunalidade, e indica a quantidade de

variancia que a i-esima variavel compartilha com todas as outras variaveis. (Malhotra

[10]) Ou seja, e a variabilidade de zi explicada pelos m fatores incluıdos no modelo de

analise fatorial. (Mingoti [5]) Ja a segunda parte, denotada por Ψi, e a variabilidade de

zi que esta associada somente ao fator especıfico.

A analise fatorial pode ser decomposta em seis diferentes fases sequenciais, sao elas:

a formulacao do problema, a construcao da matriz de correlacao, a determinacao do


metodo de analise fatorial que sera utilizado, a determinacao do numero de fatores e, por

fim, o rotacionamento dos fatores. Ao final de todas estas etapas serao retidas somente as

variaveis que tiverem cargas fatoriais expressivas ( > |0, 3|) (Pasquali [3]) em pelo menos

um fator. E, em seguida, devera ser implementado outro ajuste do modelo fatorial sem a

presenca das variaveis excluıdas.

3.3.1.1 Construcao da Matriz de Correlacao

Os procedimentos envoltos no processo da analise fatorial sao baseados na matriz

de variancia e covariancia, porem com a escolha de se utilizar as variaveis padronizadas

pode-se utilizar a matriz de correlacao entre as variaveis. A AF, neste estudo, utilizara a

matriz de correlacao observada em seus calculos para estimar as relacoes entre os fatores

e as variaveis, e os fatores comuns. Para o adequado uso da modelagem via AF e exigido

que haja correlacao suficientemente significativa entre as variaveis. (Maroco [11])

Para calcular o coeficiente de correlacao amostral deverar-se utilizar metodos diferen-

tes, a depender das caracterısticas das variaveis envolvidas no procedimento de analise

fatorial. O coeficiente de correlacao de Pearson deve ser utilizado quando as variaveis sao

quantitativas, sendo estas contınuas ou discretas, e supoe que as variaveis tem distribuicao

normal bivariada. Ja a correlacao de Spearman e indicada para dados categoricos ordinais,

e nao utiliza de pressuposto para a distribuicao dos dados. (Filho & Junior [12]); Lira [13];

Bauer [14]) Alternativamente, tem-se a famılia de correlacoes especiais, que englobam as

correlacoes: biserial, poliserial, tetacorica, e policorica. Estas, no entanto, pressupoem

que as variaveis sao funcoes de normais latentes. A correlacao biserial e utilizada quando

uma variavel e contınua e a outra e dicotomica, ja a correlacao poliserial e recomendada

quando pretende-se medir a associacao entre uma variavel contınua e uma categorica or-

dinal. Ja as correlacoes tetacorica e policorica sao indicadas, respectivamente, quando se

tem duas variaveis binarias e duas variaveis ordinais. (Bistaffa [15]) A escolha da matriz

de correlacao correta e de suma importancia para um adequado ajuste do modelo, onde

uma ma escolha do metodo de estimacao da correlacao afetara fortemente toda a analise.

A matriz Π das correlacoes (ou variancia-covariancia) populacionais pode ser mode-

lada por:


Π = V[z]

= V[Λf + η]

= V[Λf ] + V[η]− Cov[Λf , η]

= ΛV[f ]ΛT + V[η]− ΛCov[f , η]

Considerando as premissas do modelo, as relacoes estruturais entre as variaveis origi-

nais pode ser calculada a partir da expressao

Π = ΛΛT + Ψ, (3.5)

e esta e chamada equacao da AF.

E necessario, entao, encontrar Λ e Ψ que satisfacam tal afirmacao (Equacao 3.5).

Porem antes de iniciar a estimacao dos pesos dos fatores comuns e da variancia dos

fatores especıficos, e preciso verificar se existe correlacao suficientemente grande entre as

variaveis originais. (Maroco [11])

Para testar, de maneira formal, a conveniencia da utilizacao do modelo fatorial pode-

se aplicar o Teste de Esfericidade de Bartlett (Subsecao 3.3.1.2) e/ou pode ser utilizada

a medida de adequacao da amostra de Kaiser-Meyer-Olkin (KMO) (Subsecao 3.3.1.3).

(Maroco [11])

3.3.1.2 Teste de Esfericidade de Bartlett

O Teste de Esfericidade de Bartlett (Maroco [11]) e um teste de hipotese que verifica

se Π e significativamente diferente de Ip×p. As hipoteses do teste sao:

{H0 : Π = IH1 : Π 6= I

.

Sob H0, a estatıstica de teste e:

X2 = −(n− 2− 2p+ 5

6

)log|R| ∼ χ2

(p(1−p)/2), (3.6)

onde n e o tamanho da amostra, p e a quantidade de variaveis, e |R| e o determinante da


matriz de correlacoes amostrais.

A matriz de correlacoes amostrais R e um estimador para a matriz Π de correlacoes

populacionais, e e calculada da seguinte forma:

R =

1 rx1x2 . . . rx1xp

rx2x1 1 . . . rx2xp

......

. . ....

rxpx1 rxpx2 . . . 1

p×p

, (3.7)

sendo rxixw o coeficiente de correlacao amostral escolhido.

Para o presente estudo foi optado pela utilizacao do coeficiente de correlacao de Spe-

arman descrito por Bauer[14], que e dado por:

rxixw = 1−

n∑k=1

d2i

n(n2 − 1), (3.8)

onde di = (xi − yi) e a diferenca entre as ordenacoes, e n e o numero de pares de or-

denacoes.

Sendo α o nıvel de significancia definido pelo pesquisador. A Regiao Crıtica e dada

por RC = {X2 ≥ χ2(1−α;p(1−p)/2)}, e tal regiao pode ser vista graficamente na Figura 3.

Fonte: Elaborado pela autora

Figura 3: Regiao Crıtica da Distribuicao Qui-Quadrado com p(1−p)2

Graus de Liberdade.

Rejeita-se H0 quando x2obs ∈ RC , ou seja, quando o valor da estatıstica de teste

observada esta dentro da regiao crıtica. Rejeitar a hipotese nula significa que existe

evidencia estatıstica para acreditar que a matriz de correlacao populacional e diferente da

matriz identidade Ip×p. E isto indica que a analise fatorial e adequada para tal conjunto

de variaveis.

No software R, o Teste de Esferacidade de Bartlett e formecido pela funcao cortest.bartlett(·)


no pacote psych [16].

3.3.1.3 Medida de Adequacao da Amostra de Kaiser-Meyer-Olkin (KMO)

A medida de adequacao da amostra de Kaiser-Meyer-Olkin (KMO), descrito por Ma-

roco [11], e uma medida de homogeneidade das variaveis que compara as correlacoes

simples com as correlacoes parciais observadas entre as variaveis. “A correlacao parcial

entre duas variaveis e a correlacao que existe entre estas duas variaveis depois de se ter

eliminado a influencia de outras variaveis que tambem se apresentam correlacionadas com

as primeiras.” (Maroco [11])

O KMO e expresso atraves da equacao:

KMO =

p−1∑i=1

p∑w=i+1

r2xixw

p−1∑i=1

p∑w=i+1

r2xixw

+

p−1∑i=1

p∑w=i+1

r2xixw|xk

, (3.9)

onde rxixw e a correlacao amostral escolhida entre as variaveis xi e xw, e rxixw|xk e a

correlacao parcial de xi e xw, controlando o efeito de xk (k = 1, 2, . . . , p, k 6= i, k 6= w)

sobre as duas primeiras variaveis.

O KMO pode assumir valores de zero a um, sendo que quanto mais proximo de 1(um)

mais adequada e a utilizacao da analise fatorial. A Tabela 1 indica os pontos de corte

para a avaliacao do uso da AF.

Tabela 1: Pontos de Corte Recomendavel para os Valores de KMO.

Valor da KMO Recomendacao relativa a AF

(0, 9− 1] Excelente

(0, 8− 0, 9] Boa

(0, 7− 0, 8] Media

(0, 6− 0, 7] Medıocre

(0, 5− 0, 6] Mau, mas aceitavel

≤ 0, 5 InaceitavelFonte: Adaptado de: Analise Estatıstica com Utilizacao do SPSS. (Maroco [11])

O KMO pode ser calculado pela funcao KMO(·), fornecida pelo pacote psych [16].


3.3.1.4 Determinacao do Metodo de Analise Fatorial

Uma vez constatada que e adequada a utilizacao da analise fatorial, o passo seguinte

e a determinacao do metodo apropriado para analisar os dados. A literatura dispoe de

uma gama consideravel de metodos para a estimacao das matrizes Λ e Ψ, dentre eles:

metodo dos componentes principais, metodo dos fatores principais, metodo da maxima

verossimilhanca, metodo iterativo dos fatores principais, metodo dos fatores canonicos,

metodo dos mınimos quadrados ponderados. (Mingoti [5]; Maroco [11]; Ferreira [17])

No presente estudo foi optado por fazer uso do metodo das componentes principais.

Tal metodo e comumente utilizado por nao carecer de suposicoes acerca da distribuicao

de probabilidade do vetor z. (Mingoti [5]) Este metodo e recomendado “quando a preo-

cupacao maior for determinar o numero mınimo de fatores que respondem pela maxima

variancia nos dados para utilizacao em analises multivariadas subsequentes”. (Malhotra

[10])

Segundo Mingoti [5], no metodo das componentes principais para cada autovalor λj

(j = 1, 2, . . . ,m) retido, encontra-se o autovetor normalizado ej correspondente, onde

ej = (ej1 ej2 ej3 . . . ejp)′.

Este metodo baseia-se na aplicacao do Teorema de Decomposicao Espectral a matriz

de correlacoes amostrais R, demonstracao a qual sera omitida. Com isso, a matriz de

pesos fatoriais Λ sera estimada por

Λ =

[√λ1e1

√λ2e2 . . .

√λmem

], (3.10)

e a matriz de variancia Ψ sera estimada atraves de

Ψ = diag(R− ΛΛT

), (3.11)

onde a funcao diag(.) denota a retencao de somente os elementos da diagonal da matriz.

Isto implica que a matriz estimada Ψ tem a diagonal principal igual aos elementos da

diagonal principal da matriz(R− ΛΛT

).

Levando em consideracao tal forma de estimacao, a matriz de correlacao amostral

estara sendo aproximada por

R ≈ ΛΛT + Ψ, (3.12)


e a matriz de residual sera dada por

MRES = R−(

ΛΛT + Ψ). (3.13)

Quando o metodo das componentes principais e empregado, a proporcao da variancia

explicada pelo fator fj reduz-se a λip

, que representa a quantidade da variabilidade de zi

(i = 1, 2, . . . , p) que e explicada pelo fator. Alem disso, com a utilizacao de tal metodo de

estimacao, os elementos diagonais da matriz R sao reproduzidos exatamente pela matriz(ΛΛT + Ψ

).

3.3.1.5 Determinacao do Numero de Fatores

Na abordagem utilizando a determinacao com base nos autovalores, opta-se por reter

somente os fatores com autovalores superiores a um. “Um autovalor representa a quanti-

dade da variancia associada ao fator”. (Malhotra [10]) De acordo com Dillon & Goldstein

[4], matematicamente, o autovalor, na analise fatorial, pode ser expresso como a soma do

quadrado das cargas fatoriais no fator em questao, isto e:

λj =

p∑i=1

λ2ij. (3.14)

A escolha de manter somente os fatores com autovalores maiores que um, se da pelo

fato de que um fator com autovalor menor que um nao e melhor do que uma variavel (zi)

isolada. Isto pois apos a padronizacao cada variavel tem variancia igual a um. (Malhotra

[10])

Na determinacao com base em um grafico de declive (scree plot), a forma do grafico

e utilizada para estipular o numero de fatores. O grafico e feito de forma que no eixo das

abscissas apresentam-se os numeros dos fatores e no eixo das ordenadas os autovalores.

Os fatores sao numerados de forma decrescente em relacao ao autovalor, de maneira que

λ1 > λ2 > . . . > λm. A partir de um certo numero de fatores o decaimento gradual se

torna pequeno, e o numero de fatores que antecede tal decaimento e que deve ser escolhido.

A Figura 4 exemplifica um grafico de decline, e para esta situacao o numero de fatores

retidos a partir desta abordagem e de 6 fatores.


Fonte: Elaborado pela autora

Figura 4: Grafico de Declive.

Quando se opta pela determinacao com base na porcentagem da variancia, o numero

de fatores extraıdos sera de forma que a porcentagem acumulada da variancia extraıda

pelos fatores atinja um nıvel satisfatorio. (Malhotra [10]) Onde a proporcao da variancia

explicada por um fator j, segundo Mingoti [5], e dada por:

PV TEfj =

p∑i=1

λ2ij

p. (3.15)

Deve-se entao selecionar os fatores que apresentam maiores proporcoes da variancia

explicada por tal factor. O consenso indica que os fatores extraıdos devem responder por,

no mınimo, 60% da variancia. (Malhotra [10])

3.3.1.6 Rotacao dos Fatores

O produto da estimacao das cargas fatoriais nem sempre e interpretavel, devido a

aparicao de pesos fatoriais estimados (λij) de grandeza numerica significativa em mais de

um fator. O recurso de rotacao ortogonal surge na tentativa de se obter cargas fatorias

interpretaveis. Em casos onde a estimativa sem rotacao e facilmente interpretada, nao se

recomenda a utilizacao da rotacao ortogonal.

Considerando o modelo ortogonal (Equacao 3.3) e a matriz de correlacao teorica

(Equacao 3.5). Seja Λ uma estimativa da matriz de pesos fatoriais obtida atraves de


qualquer metodo de estimacao, e T uma matriz ortogonal qualquer, entao

Λ∗ = ΛT (3.16)

e a matriz que contem os pesos fatoriais tranformados a partir da rotacao ortogonal.

Sabendo que uma matriz ortogonal e tal que TT T = T TT = Im×m, nota-se que Λ∗

tambem e uma solucao para a equacao da AF (Equacao 3.5), pois:

Π = Λ∗Λ∗T + Ψ

=(

ΛT)(

ΛT)T

+ Ψ

= ΛTT T ΛT + Ψ

= ΛΛT + Ψ

Analogamente pode-se mostrar que a rotacao ortogonal nao altera a aproximacao da

matriz de correlacao amostral. Observa-se, entao, que a solucao do modelo fatorial nao e

unica, pois sempre e possıvel encontrar outra solucao Λ∗ atraves de uma escolha diferente

para a matriz ortogonal T . Basta agora determinar a matriz ortogonal atraves de metodos

apropriados.

Aqui sera apresentado o Metodo Varimax para a determinacao da matriz ortogonal,

pois, segundo Mingoti [5], este e um dos metodos mais utilizados na pratica por produzir

solucoes mais simples comparado a outros metodos.

Tal metodo tem como objetivo principal encontrar um grupo de variaveis (zi) alta-

mente correlacionadas com o fator, e outro grupo que tenha correlacao nao significativa

com o fator. “Para cada fator fixo, a solucao e obtida a partir da maximizacao da variacao

dos quadrados das cargas fatoriais originais das colunas da matriz Λ”(Mingoti [5])

Consiste, entao, em encontrar uma matriz ortogonal T , tal que:

V =1

p

m∑j=1

p∑i=1

(λ∗ij

hi

)4

− 1

p

p∑i=1

(λ∗ij

hi

)22 , (3.17)

onde λ∗ij e o coeficiente da i-esima variavel no j-esimo fator apos a rotacao, hi e a raiz


quadrada da comunalidade da i-esima variavel.

O modelo de analise fatorial aplicando o metodo de componentes principais com

rotacao varimax, utilizando a correlacao de Spearman, foi ajustado por meio de uma

modificacao na funcao FA(·) do pacote MVar.pt [18].

3.3.2 Analise Empırica dos Itens via TCT

Muitas das vezes o instrumento proposto tem uma quantidade de itens maior que

a necessaria. Assim sendo, a analise empırica dos itens pela teoria classica dos testes

busca avaliar a pertinencia de tais itens. (Sartes & Souza-Formigoni [6]) Para isto sao

calculadas, para cada item, o ındice de dificuldade (ou a distribuicao de respostas nos

itens, para as variaveis politomicas) e seu o poder discriminativo.

As variaveis qualitativas dicotomicas sao aquelas que admitem somente dois valo-

res como, por exemplo, dizer se uma afirmacao esta certa ou errada. Ou, ate mesmo,

questoes de multipla escolha. As variaveis qualitativas politonicas nominais sao aquelas

que contemplam mais de duas possibilidades, porem nao existe uma criterio ou hierarquia

que permita a sua ordenacao. Como exemplo pode-se tomar a variavel “cor”, que pode

assumir as alternativas “amarelo”, “rosa”, “verde”, entre outras. As variaveis qualitati-

vas politomicas ordinais tambem abrangem mais de duas possibilidades de resposta, mas

neste caso a variavel adquire valores que podem ser ordenados. Por exemplo, a escala

de Likert de 5 pontos variando do “discordo”ao “concordo”. Aqui irar-se-a descrever os

procedimentos de analise empırica via TCT para o caso de variaveis politomicas ordinais.

O ındice de dificuldade (ID) representa a “probabilidade de acerto”do item, e pode

ser calculado de duas diferentes maneiras. A primeira e determinar o ID a partir da

proporcao de resposta a uma categoria de escolha, isto e,

IDj =k

nj = 1, 2, . . . , r (3.18)

onde j e a categoria escolhida do item, r e o numero de categorias do item, k e o numero

de indivıduos que responderam a categoria j naquele item, e n e o tamanho da amostra.

A segunda alternativa de calculo do ID e optar pela media das respostas de todos os


indivıduos. Algebricamente pode ser expressa seguinte maneira:

IDi =

n∑k=1

xik

(r − 1)× ni = 1, 2, . . . , p (3.19)

onde xik (xik = 0, 1, . . . , r − 1) e a resposta do k-esimo indivıduo ao i-esimo item, r e o

numero de categorias do item, p e a quantidade de itens, e n e o tamanho da amostra.

O ID varia entre 0 e 1. Sendo que seu valor sera igual a 1 se todos os indivıduos

responderam afirmativamente, e sera igual a 0 se nenhum indivıduo respondeu afirmativa-

mente. “Um item com ID igual a 1 ou 0 nao traz informacao alguma, pois nao permitira

uma separacao dos sujeitos. (. . .) Sao considerados bons itens aqueles que possuem ID′s

entre 0, 3 e 0, 7, ou seja perto de 0, 5.”(Primi [7])

Deve-se atentar, ainda, para o fato do ındice de dificuldade ser influenciado pelo

numero de respostas omitidas. Sendo assim, se um item apresenta muitos valores faltantes

(missings) a interpretacao nao sera feita de forma correta.

O poder discriminativo tem por objetivo diferenciar os indivıduos que tiveram alta

pontuacao total no teste dos indivıduos que tiveram baixa pontuacao total. Para fazer

esta segregacao opta-se por determinar o grupo com alta pontuacao os 27% que tiveram

os escores mais altos, e o grupo com baixa pontuacao os 27% que tiveram os escores mais

baixos. O calculo deste coeficiente e dado por:

PD = IDalta − IDbaixa, (3.20)

onde IDalta e ındice de dificuldade dos indivıduos que obtiveram uma pontuacao elevada

no escore total do teste, e IDbaixa e o ındice de dificuldade dos indivıduos que obtiveram

uma pontuacao baixa no escore total do teste.

O poder discriminativo pode assumir valores de −1 a 1. Sendo que, um item e

considerado mais discriminativo quanto maior for o seu valor.

3.3.3 Consistencia Interna

De acordo com Maroco & Garcia-Marques [19], consistencia interna e responsavel por

avaliar a consistencia com que o conjunto de itens estima o construto em questao. A

vantagem de lancar mao da consistencia interna como uma estimativa da confiabilidade


do instrumento e que este procedimento nao requer mais de um processo de aplicacao.

Inicialmente foi proposto por C. Spearman (1910) e W. Brown (1910) que, tendo

o instrumento varios itens, este poderia ser dividido em duas partes equivalentes. Tal

metodo, denominado split-half, diz que existe consistencia interna se ha elevada correlacao

entre as medidas fornecidas pelas duas metades. Isto e, as duas metades do teste medem

o mesmo construto se estas estao altamente correlacionadas.

Porem alguns problemas foram detectados nesta forma de calculo, sao eles: “ se as

variancias das duas metades forem muito diferentes, a estimativa da confiabilidade do teste

na sua totalidade corre o risco de ser erronea”(Maroco & Garcia-Marques [19]); para alem

disto, os calculos da consistencia, neste caso, sao diretamente afetados pela escolha da

forma de divisao, nao sendo garantido que as diferentes formas de divisao resultem em

uma mesma medida de confiabilidade.

Por esta razao, posteriormente, foram propostas algumas formas alternativas de calculo,

porem com a limitacao de serem empregadas somente para dados dicotomicos. Em 1951

L. J. Cronbach propos um metodo de calculo sem tais limites no padrao de classificacao

dos itens. Tal metodo ficou conhecido como o ındice alfa de cronbach, e hoje e a medida

de consistencia usada por excelencia. O ındice α pode ser interpretado como o “coeficiente

medio de todas as estimativas de consistencia interna que se obteriam se todas as divisoes

possıveis fossem feitas”.(Maroco & Garcia-Marques [19]) A formula do α de Cronbach e

dada por:

α =p

p− 1×

1−

p∑i=1

S2i

S2T

, (3.21)

onde p e o numero de itens, S2i =

∑nk=1(yik−yi)2

n−1e a variancia do i-esimo item, e S2

T =∑nk=1(Tk−T )2

n−1e a variancia dos resultados totais do teste.

Tal ındice varia de 0 a 1, sendo um teste dito com confiabilidade apropriada quando

o α e pelo menos 0, 7.

“Os utilizadores deste metodo tem-no sugerido como conservador especialmente para

os casos em que os itens da escala sao heterogeneos, sao dicotomicos ou definem estruturas

multi-factoriais: o alfa de Cronbach fornece uma sub-estimativa da verdadeira fiabilidade

da medida.”(Maroco & Garcia-Marques [19])


Tal problema de subestimacao pode ser contornado, promovendo a homogeneidade da

correlacoes inter-itens, a partir da estandartizacao dos itens antes de calcular o ındice. Ou

pode-se optar por trabalhar diretamente com os coeficientes de correlacao. Este ultimo e

conhecido como α de Cronbach estandardizado, e e dado por:

α′ =p× r

1 + (p− 1)× r, (3.22)

onde p e o numero de itens, e r e a media dos p×(p−1)2

coeficientes de correlacao inter-itens

nao redundantes.

Note, no entanto, que α′, que deveria assumir valores de 0 a 1, pode ser inferior a

zero. Isto acontece quando a correlacao media inter-itens e negativa. O caso em que o

α de Cronbach estandardizado assume valores negativos indica problemas na codificacao

dos pontos dos itens, que deve ser solucionado a partir da inversao de alguns dos pontos

de forma que se certifique que a totalidade dos itens estejam codificados em uma mesma

direcao conceitual.

No software R, o alfa de cronbach pode ser calculado atraves da funcao alpha(·) do

pacote psych [16].

43

4 Resultados

4.1 Procedimentos para a Criacao e Aplicacao do

Questionario

A primeira etapa e fundamentada na revisao bibliografica acerca do atributo. A

satisfacao do estudante universitario tem sido conceituada como um fenomeno multidi-

mensional (Browne et al.[1]; Betz [20]), pois o estudante pode estar insatisfeito com alguns

aspectos da assistencia e, simultaneamente, satisfeito com outros, alem de ser dependente

dos objetivos individuais de cada estudante. Para a presente monografia decidiu-se tomar

como base principal o estudo realizado por Ellen L. Betz et al. [20] , onde se estabeleceu

que a satisfacao do estudante com a universidade engloba seis diferentes dimensoes, sendo

elas: normas e procedimentos, condicoes de trabalho, compensacao, qualidade do ensino,

vida social e reconhecimento.

A dimensao intitulada Normas e Procedimentos inclui questoes referentes as polıticas

e procedimentos que afetam as atividades e o progresso dos estudantes, isto e, a opor-

tunidade dada aos estudantes de influenciar as decisoes que afetam o bem-estar destes,

os motivos que levam as escolhas das classes e o uso do tempo livre. Ja a dimensao

Condicoes de Trabalho abrange questoes sobre o ambiente fısico de convıvio dos estudan-

tes, assim como sua agradabilidade e limpeza. Alem da adequabilidade da area de estudo

do campus, a qualidade da comida, a limpeza e o conforto do local de residencia dos es-

tudantes. A Compensacao e definida em termos da quantidade de esforco requerido para

uma boa vida academica, e o efeito deste esforco dado as demandas da universidade no

cumprimento das outras necessidades e objetivos do estudante. A dimensao que trata da

Qualidade do Ensino foca na percepcao do estudante sobre a qualidade do ensino como

um todo. Desde o metodo de ensino ate a competencia e a prestatividade da faculdade

e seus funcionarios, alem da adequabilidade do currıculo. Englobando entao fatores as-

sociados as muitas condicoes academicas relacionadas ao desenvolvimento intelectual e

vocacional individual. A Vida Social e responsavel por captar questoes sobre a oportu-

4.1 Procedimentos para a Criacao e Aplicacao do Questionario 44

nidade de “interacao humana”dada pela faculdade. Isto e, a oportunidade de conhecer

pessoas interessantes (fazer amigos e/ou marcar encontros) e a oferta de atividades soci-

ais informais. Por fim, a dimensao denominada Recohecimento compreende as atitudes e

condutas da faculdade e dos outros estudantes indicando o acolhimento dos estudantes

como indivıduos dignos.

A teoria diz que o formulario deve ser embasado no levantando de itens que aparecem

constantemente em outros questionarios que medem o mesmo construto e/ou em entre-

vistas com indivıduos da populacao alvo. Como, ate o presente momento, nao se tem

conhecimento de um teste psicometrico para este campo, foi optado pela realizacao de en-

trevistas. Estas foram realizadas por meio eletronico, atraves de aplicativo de mensagem

instantanea, onde foram enviadas duas perguntas aos respondentes, sendo elas: “O que

voce entende por satisfacao com a universidade?” e “O que te faz/faria satisfeito com a

sua instituicao de ensino?”.

Foram obtidas respostas de 15 estudantes de oito universidades distintas, onde 53, 8%

eram provenientes de universidades publicas. As respostas, na ıntegra, encontram-se

no APENDICE A, onde algumas foram editadas por motivos de clareza e/ou ortografia.

Foram listadas as questoes consideradas relevantes com base nas respostas e nas dimensoes

teoricas pre-definidas, e buscou-se elencar itens que captassem todas as seis dimensoes,

elegendo-se um total de 34 itens.

A analise de conteudo do teste foi efetuada por meio do julgamento da pertinencia

dos itens para o construto estudado, sendo realizadas entrevistas com sete professores

universitarios de diferentes areas do conhecimento: estatıstica, matematica, historia e

nutricao. A estes juızes foi entregue tres tabelas: uma tabela de dupla entrada com a

numeracao dos itens nas linhas e as dimensoes nas colunas (APENDICE B), uma tabela

com a definicao de cada um das seis dimensoes (APENDICE C), e outra tabela com

os itens elencados (APENDICE D). Uma concordancia mınima de 70% dos especialistas

foi o criterio adotado para retencao do item, com excecao de algumas perguntas, que

por serem consideradas teoricamente pertinentes, nao foram descartadas. Tais questoes

se identificaram moderadamente com duas dimensoes que coincidiam com as dimensoes

teoricas as quais as perguntas estavam diretamente relacionadas, optando-se, assim, pela

sua retencao. Com a utilizacao do criterio de selecao definido, foram eliminadas tres

perguntas (Itens 17, 24 e 26 do APENDICE D).

O questionario passou por uma reformulacao, onde algumas perguntas tiveram de ser

modificadas para que se alcancasse uma padronizacao, alem da reorganizacao quanto a


ordem as quais tais questoes seriam apresentadas. Em seguida, o instrumento passou pela

analise semantica dos itens, que foi encaminhada a fim de verificar se os itens estavam

formulados de forma que possa ser perfeitamente compreendido por todos os extratos

da populacao alvo. Para tal verificacao utilizou-se tres grupos focais: o primeiro era

composto por tres estudantes do segundo semestre; o segundo, por tres estudantes do

primeiro semestre e um do segundo semestre; o terceiro, por tres estudantes que estavam

cursando ultimo semestre. Na primeira aplicacao constatou-se a necessidade de proceder

com algumas pequenas alteracoes na formulacao de tres questoes. Apos tais correcoes,

seguiu-se com a aplicacao no segundo grupo focal, onde todos os itens aparentaram ser

inteligıveis, isto e, nao se notou ma interpretacao de nenhum dos itens propostos. Com

isso, procedeu-se para a verificacao da validade aparente do questionario com a aplicacao

no terceiro grupo. Chegou-se assim a sua versao preliminar1(APENDICE E).

Os primeiros itens do questionario foram elaborados de forma a captar a perfil dos

estudantes. Na segunda parte do questionario os itens devem ser respondidos por meio da

juncao de uma escala de Likert com quatro pontos, que transita do “discordo totalmente”

ao “concordo totalmente”, adicionadas as opcoes “Nao possui (...)”e “Nao tenho conheci-

mento, pois nao utilizo”. Tais alternativas foram acrescentadas com o intuito de abranger

todas as possibilidades de resposta. Ja o terceiro bloco de itens percorre a escala de Likert

de cinco pontos dos extremos “discordo” ao “concordo”, onde o respondente deve escolher

de 1 a 5, de acordo com a intensidade de sua concordancia com a questao exposta.

Vale ressaltar que o questionario proposto foi desenvolvido para ser autoaplicavel,

nao gerando assim a necessidade de disponibilizacao de pessoal para a coleta dos dados.

O questionario foi criado em plataforma digital e divulgado por meio de redes sociais e

aplicativo de mensagem instantanea, sendo disponibilizado para acesso entre os dias 10 e

25 de outubro de 2017.

Pela formulacao de algumas questoes, foi importante recodificar a pontuacao de alguns

itens apos a coleta dos dados, pois alguns dos itens propostos foram formulados de forma

que, ao concordar, o estudante demonstre satisfacao com a assistencia prestada, enquanto

em outros, a concordancia revela que o estudante esta insatisfeito. Optou-se por numerar

os itens de 0 a 4, onde 0 indica que o sujeito nao esta satisfeito com o servico exposto no

item em questao, e 4 indica que o indivıduo esta satisfeito. A Tabela 2 exibe a metodologia

de atribuicao de score para cada item do questionario.

1O link de acesso para o questionario e: https://goo.gl/forms/fy3uheBKjrEdjeOq1


Tabela 2: Instrucao para Atribuir os Scores.

Numeracao dos Itens Resposta Original Score Atribuıdo

14, 16, 17, 1 018, 19, 20, 2 121, 25, 26, 3 227, 28, 29, 4 3

30 5 4

15, 22, 23, 24

1 42 33 24 15 0

10, 11, 12, 13

Discordo Totalmente 1Discordo Parcialmente 2Concordo Parcialmente 3Concordo Totalmente 4Nao possui 0Nao tenho conhecimento,

NApois nao utilizoFonte: Elaborado pela autora.

Devido a recomendacao de considerar as respostas dada a categoria “Nao tenho co-

nhecimento, pois nao utilizo”como valor faltante, houve a necessidade de realizar uma

padronizacao no score total do indivıduo. Ao fazer a soma simples dos scores, os in-

divıduos que responderem a categoria “Nao tenho conhecimento, pois nao utilizo”podem

obter um score menor do que aqueles indivıduos que responderem as categorias pontuadas

para tal questao, e assim, um score total menor nao indica, necessariamente, uma menor

satisfacao destes estudantes. Desta forma, o score total padronizado do i-esimo indivıduo

sera dado pela formula:

scorei =

p∑j=1

sij

4 ∗ (p− na), (4.1)

onde sij e o score da j-esima questao, p e o numero de itens do questionario, e na e o

numero de perguntas que foram consideradas NA para este indivıduo.

Sendo assim, o score do sujeito pode variar de 0 a 1, onde um alto score total padro-

nizado indica que o indivıduo esta satisfeito com a universidade.

4.2 Analise dos Resultados 47

4.2 Analise dos Resultados

De um total 389 indivıduos que responderam o questionario, tres foram excluıdos do

estudo: 2 por estarem cursando a pos graduacao, e 1 por responder inadequadamente a

uma das perguntas abertas.

Dos 386 questionarios validos, 69, 9% dos indivıduos se identificavam como sendo

mulher, e 29% como homem. Em media, os estudantes tinham 23 anos e estavam regular-

mente matriculados na universidade a seis perıodos. Foram coletados dados de estudantes

de 86 cursos de graduacao de 65 universidades distintas, localizadas em 17 estados brasilei-

ros. Vale ressaltar, porem, que os respondentes estavam concentrados em tres instituicoes,

a saber: UFF (28, 2%), UFRGS (23, 6%), UFRJ (18, 1%). Consequentemente, ha uma

maior concentracao de respostas oriundas dos estados do Rio de Janeiro (52, 1%) e do

Rio Grande do Sul (26, 4%), alem de um alto percentual de estudantes da rede publica de

ensino (86, 5%). Tais universitarios sao majoritariamente brancos, correspondendo a 64%

do total de respondentes (seguido pela cor parda 25, 6%, e preta 9, 6%), e nao possuem

emprego e/ou estagio (54, 7%).

Para analisar empıricamente a relevancia dos itens propostos para o questionario,

seguiu-se com a analise fatorial. Como ja mencionado, a amostra apresentou 386 casos,

sugerindo, assim, que o criterio mınimo de observacoes foi respeitado (> 200). Alem

disto, a proporcao do numero de casos por variavel, 386 casos/21 variaveis, apresenta

valor acima do mınimo recomendado.

Inicialmente foi realizado os procedimentos de analise fatorial no conjunto de dados

completo (Itens 10 ao 30 do questionario), onde as observacoes que receberam NA tiveram

seu score alterado para 99. Utilizando a correlacao de Spearman, o estudo da pertinencia

da utilizacao da analise fatorial (KMO = 0, 82; Teste de Esferacidade de Bartlett com

p− valor < 0, 01) sinalizou a adequacao amostral de tal conjunto de dados. Em seguida,

foi realizado o Teste de Shapiro-Wilk para a verificacao da hipotese de distribuicao de

normalidade multivariada dos dados, a qual se rejeitou (p− valor < 0, 01). Com isso, foi

selecionado o metodo de componentes principais (PCA) para identificar a existencia de

dimensoes latentes. Na tentativa de se obter melhor interpretacao dos dados, a analise

fatorial foi seguida de rotacao ortogonal via metodo Varimax. Pelo criterio de Kaiser

(autovalor > 1) selecionou-se seis fatores, explicando 60, 9% da variancia total.

Todavia, os resultados do ajuste do modelo fatorial nao foram satisfatorios, acusando

baixa comunalidade para seis variaveis (Itens 10, 11, 14, 15, 29 e 30 do questionario).


Acredita-se que tal ajuste esteja sendo influenciado pelas quatro primeiras variaveis, que

apresentam NA em sua versao original. Pela importancia teorica de tais questoes, optou-se

por retira-las da analise fatorial, porem mantendo-as no questionario.

Apos, estimou-se um novo modelo fatorial, agora com 17 variaveis, onde os criterios

do tamanho amostral mınimo e da proporcao mınima do numero de casos por variavel

continuaram sendo satisfeitos.

Este novo conjunto de variaveis foi submetido a analise da pertinencia da utilizacao

do modelo fatorial por meio do teste de adequacao Kaiser-Meyer-Olkin (KMO = 0, 81)

e pelo Teste de Esferacidade de Bartlett (p − valor < 0, 01), onde ambos apontaram a

validade da utilizacao da analise fatorial para os dados. O Teste de Shapiro-Wilk rejeitou a

hipotese de distribuicao de normalidade multivariada dos dados (p− valor < 0, 01). Com

isso, o metodo de estimacao escolhido foi o metodo de componentes principais (PCA),

seguido da rotacao Varimax. Destaca-se a utilizacao da correlacao de Spearman para a

realizacao das analises.

A Figura 5 mostra o grafico de declive associado aos dados.

Fonte: Elaborado pela autora.

Figura 5: Grafico de Declive dos Fatores.

Utilizando como criterio para retencao dos fatores os autovalores maiores que um,

juntamente com a proporcao da variancia explicada pelo modelo fatorial e o grafico de

declive, concluiu-se que e necessario a extracao de cinco fatores. Em uma perspectiva mais

conservadora, seria aconselhavel extrair quatro fatores, pois o quinto fator nao apresenta

autovalor maior que um, mesmo que bem proximo (λ5 = 0, 999). Para o proposito deste


estudo, optou-se por conserva-la, e a solucao de cinco fatores foi a escolhida, explicando

63, 3% da variancia total.

Apos a analise, verificou-se a existencia de duas variaveis que apresentaram comunali-

dade abaixo da considerada aceitavel (< 0, 5). Inicialmente, o item 14, que questionava se

“a universidade da oportunidade dos alunos participarem da tomada se decisoes atraves

de votos e/ou assembleias”, foi removido por apresentar a menor comunalidade, e todo o

processo para uma nova analise fatorial foi realizado, onde, novamente, extraiu-se cinco

fatores. Apesar disso, o item 30, que indagava se “a universidade reconhece os bons alu-

nos, lhes dando premios por sua boa performance academica”, ainda apresentou baixa

comunalidade e tambem foi excluıdo. Portanto, mais uma vez realizou-se todo o pro-

cesso da analise fatorial, desde a avaliacao da adequacao amostral a escolha do metodo

de estimacao. Foi executada a PCA via rotacao Varimax, com a retencao de 5 fatores.

A Tabela 3 apresenta as comunalidades e variancias especıficas para as 15 variaveis

envolvidas, onde nota-se que as comunalidades sao expressivas em todos os casos, chegando

assim ao modelo final.

Tabela 3: Comunalidades e Variancia Especıfica.

Item Comunalidade Variancia unica

15 0,672 0,32816 0,777 0,22317 0,669 0,33118 0,667 0,33319 0,695 0,30520 0,674 0,32621 0,579 0,42122 0,596 0,40423 0,764 0,23624 0,814 0,18625 0,733 0,26726 0,729 0,27127 0,685 0,31528 0,569 0,43129 0,617 0,383


A Tabela 4 exibe as cargas fatoriais para o modelo rotacionado. A partir desta,

observou-se que alguns itens apresentaram cargas significativas (> |0, 3|) em mais de um

fator, para estes casos foi estabelecido que o item se deslocaria para o fator que tivesse a

carga fatorial mais relevante.


Tabela 4: Cargas Fatoriais da Matriz Rotacionada via Metodo Varimax.

Item Fator 1 Fator 2 Fator 3 Fator 4 Fator 5

16 -0,859 0,141 -0,031 0,094 0,09817 -0,783 0,025 0,197 0,089 0,09120 -0,652 0,122 0,294 0,361 -0,13327 -0,732 -0,029 0,216 0,314 0,05722 -0,117 0,751 -0,039 -0,046 0,12523 0,004 0,857 0,037 0,164 -0,03224 -0,063 0,893 0,02 0,114 0,00818 -0,215 -0,113 0,744 0,178 -0,15119 -0,218 0,033 0,766 0,134 -0,20528 -0,061 0,063 0,648 0,15 0,34429 -0,054 0,049 0,609 0,003 0,49021 -0,276 0,162 0,239 0,647 0,03025 -0,117 0,091 0,092 0,831 0,11526 -0,211 0,014 0,099 0,809 0,14315 -0,098 0,066 -0,045 0,211 0,782


A distribuicao dos itens dentro de cada fator, mostrou-se da seguinte forma: o primeiro

fator reteve itens relativos a infraestrutura; no segundo fator constam itens acerca do

esforco e tempo demandado pelas atividades academicas; o terceiro fator abrangeu itens

relacionados a questoes extra-curriculares e de relacionamento inter-pessoal; o quarto fator

reuniu questoes referentes ao ensino; o quinto fator descreve as questoes burocraticas.

A disposicao dos itens nao se alterou significativamente. O Fator 1 (4 itens; α′= 0, 83)

agupou itens da dimensao original condicoes de trabalho, explicando 17, 16% da variancia.

O Fator 2 (3 itens; α′

= 0, 80) explicou 14, 60% da variancia, e representa a dimensao

teorica compensacao. O Fator 3 (4 itens; α′= 0, 70) uniu questoes das dimensoes originais

qualidade de ensino, reconhecimento e vida social, tendo explicado 14, 56% da variancia.

Sugeriu-se que o terceiro fator fosse denominado Extracurricular e Vida Social. Ja o

Fator 4 (3 itens; α′

= 0, 76) reuniu os itens da dimensao conceitual qualidade de ensino,

com excecao do item 18 que migrou para o terceiro fator, explicando, assim, 14, 45% da

variancia. Por fim, o Fator 5 (7, 50% da variancia explicada) reteve somente um item,

representante da dimensao normas e procedimentos.

As Figuras 6 e 7 apresentam, respectivamente, as distribuicoes dos itens do ques-

tionario de acordo com as dimensoes teoricas e empıricas a qual estao relacionados, onde

q10 a q30 representam as questoes do instrumento de medida criado.



Figura 6: Distribuicao dos Itens do Questionario de Acordo com suas Dimensoes Teoricas.


Figura 7: Distribuicao dos Itens do Questionario de Acordo com suas DimensoesEmpıricas.


Logo apos, seguiu-se com a verificacao da adequacao dos itens por meio da perspectiva

da teoria classica dos testes, onde calculou-se o ındice de dificuldade e o poder discrimi-

nativo de cada item. A Figura 8 exibe o ındice de dificuldade (utilizando a Equacao 3.19)

para cada item retido anteriormente.


Figura 8: Indice de Dificuldade do Item.

A rigor, os itens 10, 11, 12, 14, 18 e 24 deveriam ser excluıdos por apresentarem o

seu ındice de dificuldade fora do intervalo [0, 3; 0, 7], porem tal criterio de selecao sera

desconsiderado por nao haver indıcios de sua aplicabilidade no contexto do presente es-

tudo. Ja que um ındice de dificuldade pequeno no item 12, por exemplo, significa que os

estudantes estao, em geral, insatisfeitos com a moradia oferecida pela universidade. Tal

constatacao e um indıcio de que o servico deve ser melhorado, e nao deve, portanto, ser

eliminada do questionario. Por consequencia, o criterio do poder discriminativo tambem

nao sera utilizado, ja que este utiliza o ındice de dificuldade do item em seu calculo.

A jus de exemplificacao, a Figura 9 apresenta o poder discriminativo dos itens, onde

verifica-se que, considerando valores acima de 0, 5 como proximos de um, somente o item

20 seria retido.



Figura 9: Poder Discriminativo do Item.

Com o instrumento final (APENDICE F) foi obtido a medida de consistencia interna

geral por meio do coeficiente alfa de Cronbach, que apontou um ındice de confiabilidade

apropriado (α = 0, 83).

Alem das duas variaveis eliminadas, sentiu-se a necessidade de alterar a forma de

resposta do item 5, que perguntava, “Ha quantos semestres voce esta regularmente ma-

triculado? (excluindo os semestres que houve trancamento de matrıcula)”, optando por

deixar a resposta aberta para que o respondente digite o numero de semestres.

54

5 Conclusao

Considerando a amostra utilizada no presente estudo, pode-se afirmar que o ins-

trumento proposto apresenta os requisitos necessarios em teor de consistencia interna e

validade fatorial para avaliar o nıvel de satisfacao de estudantes com a universidade.

As dimensoes alcancam altos nıveis de consistencia interna individualmente, assim

como no intrumento como um todo. No entanto, ressalta-se a necessidade da criacao

de novos itens, principalmente para a dimensao normas e procedimentos, que conta com

somente um item, alem da dimensao teorica reconhecimento que, apos a analise fatorial,

nao foi contemplada com nenhuma questao formulada.

Alguns pontos importantes tem de ser destacados. O primeiro e que a simples traducao

e adaptacao das dimensoes teoricas pode nao ser o suficiente para captar a satisfacao dos

estudantes com a universidade no contexto brasileiro. Uma pluralidade de aspectos nao

tratados tem o poder influenciar a satisfacao dos estudantes universitarios brasileiros,

como, por exemplo, as bolsas de assistencia estudantil, que sao fundamentais para a

permanencia de alguns estudantes em seus cursos de graduacao. Outro ponto, e que a

utilizacao da Teoria Classica dos Testes como meio de decisao para a retencao de itens

parece nao ser apropriado, pois o ındice de dificuldade como criterio de adequacao do

item e melhor fundamentado para situacoes em que as questoes admitem respostas cer-

tas e erradas, ou ate mesmo em itens com a resposta em escala de Likert em um outro

contexto. Por exemplo: no caso em que se deseja medir o nıvel de depressao e os itens

estao formulados com resposta em escala de Likert, no cenario em que grande parte dos

respondentes recebem um alto score em uma determinada questao indica que talvez esta

nao seja uma caracterıstica “exclusiva”da depressao, e entao esta deve ser eliminada do

questionario. No entanto, nao pode-se dizer o mesmo para questoes referentes ao nıvel

de satisfacao de estudantes, ja que na situacao em que a grande maioria dos estudantes

recebem um baixo score em determinada questao so indica que os estudantes estao insa-

tisfeitos com tal servico prestado pelas universidades. Recomenda-se, entao, a realizacao

deste mesmo estudo porem utilizando a otica da Teoria da Resposta ao Item, no intuito

5 Conclusao 55

de verificar se tal tecnica se ajustaria melhor as caracterısticas dos dados envolvidos na

analise.

A analise dos resultados obtidos identificou a necessidade da continuidade do desen-

volvimento deste estudo, indicando que novas perguntas devem ser inseridas a fim de que

toda a extensao dos atributos seja captada, alem da possıvel redefinicao das dimensoes

teoricas. Este trabalho pode ser considerado a etapa inicial de um instrumento que deve

ser continuamente aprimorado. Ainda e importante ressaltar que este estudo padece de

uma limitacao pela metodologia amostral utilizada, uma vez que a amostra coletada repre-

senta predominantemente estudantes universitarios da rede publica de ensino das regioes

sul e sudeste. Torna-se, ainda, pertinente um estudo comparativo entre as caracterısticas

socioculturais dos estudantes das redes publica e privada de ensino, para a verificacao de

fatores influentes na formacao da satisfacao do estudante com a universidade.

56

Referencias

[1] BROWNE, B. A. et al. Student as customer: Factors affecting satisfaction and asses-sments of institutional quality. Journal of Marketing for Higher Education, v. 8:3, p. 1– 14, 2008.

[2] ELLIOTT, K. M.; SHIN, D. Student satisfaction: An alternative approach to assessingthis important concept. Journal of Higher Education Policy and Management, v. 24:2,p. 197 – 209, 2002.

[3] PASQUALI, L. Instrumentos psicologicos: manual pratico de elaboracao. 1. ed. [S.l.:s.n.], 1999.

[4] DILLON, W. R.; GOLDSTEIN, M. Multivariate Analysis: Methods and Applications.[S.l.: s.n.], 1984.

[5] MINGOTI, S. A. Analise de Dados atraves de Metodos de Estatıstica Multivariada,uma abordagem aplicada. [S.l.: s.n.], 2007.

[6] SARTES, L. M. A.; SOUZA-FORMIGONI, M. L. O. de. Avancos na psicometria: Dateoria classica dos testes a teoria de resposta ao item. Psicologia: Reflexao e Crıtica,v. 26, n. 2, p. 241–250, 2006.

[7] PRIMI, R. Psicometria: fundamentos matematicos da teoria classica dos testes. Insti-tuto Brasileiro de Avaliacao Psicologica, Ribeirao Preto, Brasil, v. 11, n. 2, p. 239–47,agosto 2012.

[8] PAWLOWSKI, J.; TRENTINI, C. M.; BANDEIRA, D. R. Discutindo procedimentospsicometricos a partir da analise de um instrumento de avaliacao neuropsicologica breve.Psico-USF, v. 17, n. 2, p. 211–219, 2007.

[9] R Core Team. R: A Language and Environment for Statistical Computing. Vienna,Austria, 2015. Disponıvel em: <https://www.R-project.org/>.

[10] MALHOTRA, N. K. Pesquisa de Marketing uma Orientacao Aplicada. 4. ed. [S.l.:s.n.].

[11] MAROCO, J. Analise Estatıstica com a Utilizacao do SPSS. 2. ed. [S.l.: s.n.].

[12] FILHO, D. B. F.; JuNIOR, J. A. da S. Desvendando os misterios do coeficiente decorrelacao de pearson. Revista Polıtica Hoje, v. 18, n. 1, 2009.

[13] LIRA, S. A. Analise de correlacao: abordagem teorica e de construcao dos coeficientescom aplicacoes. Universidade Federeal do Parana, 2004.

[14] BAUER, L. Estimacao do coeficiente de correlacao de spearman ponderado. Univer-sidade Federal do Rio Grande do Sul, 2007.

Referencias 57

[15] BISTAFFA, B. C. Incorporacao de indicadores categoricos ordinais em modelos deequacoes estruturais. Universidade de Sao Paulo, 2010.

[16] OSSANI, P. C.; CIRILLO, M. A. MVar.pt: Analise multivari-ada (brazilian portuguese). [S.l.], 2017. Disponıvel em: <https://cran.r-project.org/web/packages/MVar.pt/index.html>.

[17] FERREIRA, D. F. Estatıstica Multivariada. 2. ed. [S.l.: s.n.], 2011.

[18] REVELLE, W. psych: Procedures for Psychological, Psychometric, and Perso-nality Research. Evanston, Illinois, 2017. R package version 1.7.8. Disponıvel em:<https://CRAN.R-project.org/package=psych>.

[19] MAROCO, J.; GARCIA-MARQUES, T. Qual a fiabilidade do alfa de cronbach?questoes antigas e solucoes modernas? Laboratorio de Psicologia, v. 4, n. 1, p. 65–90,2006.

[20] BETZ, E. L. et al. The Measurement and Analysis of College Student Satisfaction.[S.l.].

58

APENDICE A -- Respostas da Entrevista

Foram enviadas aos entrevistados duas perguntas, sendo elas:

� O que voce entende por satisfacao com a universidade?

� O que te faz/faria satisfeito com a sua instituicao de ensino?

A seguir apresenta-se as respostas dadas por tais estudantes:

1) Contabeis, Anhanguera de Taubate

� Se estou satisfeita com os servicos que a faculdade me oferece, como por exemplo:

com a secretaria, com as aulas, com a estrutura da faculdade.

� Eu ficaria mais satisfeita se a secretaria da faculdade resolvesse os problemas dos

alunos com mais agilidade.

2) Estatıstica, UFF

� Satisfacao com a faculdade e se sentir a vontade no lugar e motivado para se desen-

volver como estudante.

� Acredito que uma boa infraestrutura e um bom ambiente academico sao topicos

essenciais pra um estudante estar satisfeito com sua faculdade.

3) Processos gerenciais, Faculdade Cenecista de Itaboraı ou Osorio

� Quando a universidade atende a tudo que preciso, tanto no ensino quanto na secre-

taria.

� Que dessem vıdeo aulas de verdade, porque ficar lendo slide sozinha e uma chatice.

4) Bacharelado em Ciencia e Tecnologia, UFVJM

� Onde todos os desejos estao sendo atingidos. Boa estrutura, bons professores, trans-

parencia da administracao, preocupacao com melhorias, etc.

Apendice A -- Respostas da Entrevista 59

� O que me faria satisfeito com a minha instituicao seria o fato de professores mais in-

teressados com a aprendizagem, em vez de professores que simplesmente soltam a materia

e espera que os alunos se virem.

5) Engenharia Mecanica, Universidade Geraldo di biase (Ugb)

� Pra mim, satisfacao com a universidade e estar satisfeito com o ensino que ela te

proporciona e com os professores. Tendo tambem uma estrutura fısica que suporte as

necessidades dos alunos.

� Seria se a instituicao tivesse turmas menores para que se tornasse mais facil o am-

biente de estudo e que a instituicao tivesse uma boa biblioteca.


� Ensino de qualidade e estrutura adequada.

� Atividades extras fora do contexto academico; maior investimento para participacao

de congressos.


� O que eu entendo por satisfacao e como o aluno ve a sua universidade, ou seja, se

ele acredita que a instituicao faz tudo o que pode para que os alunos consigam ter um

bom ensino e estarem prontos para uma vida fora das salas de aula.

� O que me faria satisfeita com a UFF e uma melhor infraestrutura e um maior espaco

para os alunos estudarem (salas de estudo).

8) Engenharia de Producao, UNIVERSO

� Entendo por satisfacao com a universidade, quando temos ensino de qualidade,

professores que sejam comprometidos em ensinar, a faculdade comprometida com o bem

estar dos alunos, uma secretaria eficiente.

� Estaria satisfeito com salas e laboratorios adaptados para cada area de ensino, e com

o comprometimento da faculdade em garantir oportunidades de estagio.


� O quao a universidade ira ou esta ajudando no meu crescimento.

� Aulas praticas, simulando situacoes que poderao ocorrer no trabalho.


� Custo-benefıcio, infraestrutura adequada, comprometimento dos professores e ges-

tores, profissionais qualificados, etc.


� Me faria satisfeito se a mesma cumprisse com o “produto” que me apresentaram as-

sim que entrei na faculdade. Uma universidade com infraestrutura boa e com ensino claro

e objetivo atraves de professores qualificados, onde atraves do conhecimento adquirido me

faria um profissional excelente (eficaz e eficiente).


� Quando a universidade atende as minhas expectativas, estabelece um bom relacio-

namento e condicoes eficazes de aprendizado.

� Uma boa infra estrutura, aulas praticas em laboratorios, investimento em pesquisas.

12) Historia, UFF

� Eu acho que o que leva uma pessoa a estar satisfeita com a universidade e a forma

como os professores atuam nesta instituicao: passando conteudo, sendo solıcitos, incenti-

vando os alunos na pesquisa e a seguir em frente. Tambem a instituicao fornecer meio de

alunos que nao tem condicoes financeiras de se manter nesta instituicao sendo pela bolsa

do PIBID ou PIBIC ou outros tipos de bolsas, alojamento, bandejao, biblioteca.

� Uma coisa que me faria satisfeita coma instituicao e que fossem mais divulgadas

as palestras e eventos, porque as vezes as palestras e eventos de pesquisa ficam muito

restritos a um grupo seleto. Por exemplo: tem uma professora que esta fazendo tarde

de pesquisa no meu curso, mas ela esta publicando nao no grupo aberto de historia mas

sim em um grupo de uma disciplina dela, isso, entao, fica restrito a um grupo seleto de

pessoas. Tambem acho que a instituicao poderia fazer alguma divulgacao sobre os cursos

e as bolsas nas escolas publicas, incentivando-os a buscar o ensino superior.

13) Geografia, UFRJ

� A satisfacao com a universidade se da a partir de quando a instituicao de ensino

lhe proporciona uma formacao de qualidade, na qual voce entende que o tempo gasto ali,

estara sendo util. Assim como sentir que a instituicao valoriza voce como aluno e nao

apenas a cobranca.

� Saber que estou em uma instituicao de ensino bem qualificada, onde a mesma me

proporciona utilizar de recursos necessarios pra minha graduacao (laboratorios, trabalho

de campo, etc.). Tambem estaria mais satisfeito se a universidade fosse mais pratica e

menos teorica. Onde pudessemos saber empregar o conhecimento adquirido durante o

curso.

14) Relacoes internacionais, ESTACIO

� Eu entendo por satisfacao com a universidade quando ela garante um bom ambiente


academico, com refrigeracao, carteiras em bom estado de conservacao e bons professores.

� E o que me faz satisfeito com a instituicao em si, e em relacao ao meu coordenador

de curso, que e bem atencioso com meus problemas relacionado a grade. Consigo resolver

tudo pelo whatsapp, sem a necessidade de ir ate o campus. Mas em relacao ao que

me deixaria satisfeito mesmo com a instituicao de ensino em si, e se eles facilitassem os

processos mais serios que as vezes temos que resolver com a universidade. Problema nos

boletos, reprovacao em uma materia que voce foi aprovado ou ate mesmo na parte de

trancamento de curso. E sempre preciso abrir requerimento, esperar, depois ir ate la.

Enfim, poderia ser menos burocratico.


� Satisfacao com a infraestrutura dos campis (banheiros, elevador, bandejao, onibus),

com a disponibilidade de horarios (nosso curso tem o problema de nao ter noturno, por

exemplo), como as aulas sao ministradas e a disponibilidade dos professores.

� Melhor valorizacao dos profissionais da universidade (diminuiria as greves.. ficar sem

bandejao por meses fez muita gente trancar o perıodo), melhora nos campis (o gragoata

e excelente, mas o valonguinho bem caıdo, ainda mais onde estudavamos), aulas com

horarios que facam sentido (colocar amostragem a tarde sendo que o pessoal ja pode

estagiar nao e vantajoso para os alunos, por exemplo), os professores estarem disponıveis

fora de aula (isso eu acho que a estatıstica esta bem. Todos sao muito dispostos a ajudar).

Fazer parcerias com empresas (nao sei se tem, as particulares tipo PUC tem bastante).

62

APENDICE B -- Tabela de Dupla Entrada

(Itens x Dimensoes)

Dimensoes

Itens Normas CondicoesCompensacao

QualidadeReconhecimentoe de de Vida

Procedimentos Trabalho Ensino Social101112131415161718192021222324252627282930 - - - - - - - - - - - - - - - - - -31323334

63

APENDICE C -- Tabela da Definicao

Constitutiva

Fatores Definicao

Normas e Procedimentos inclui questoes referentes as polıticas e procedimentosque afetam as atividades e o progresso dos estudantes,isto e, a oportunidade dada aos estudantes de influenciaras decisoes que afetam o bem-estar destes, os motivosque levam as escolhas das classes e o uso do tempo livre.

Condicoes de Trabalho abrange questoes sobre o ambiente fısico de convıvio dosestudantes, assim como sua agradabilidade e limpeza.Alem da adequabilidade da area de estudo do campus,a qualidade da comida, a limpeza e o conforto do localde residencia dos estudantes.

Compensacao definida em termos da quantidade de esforco requeridopara uma boa vida academica, e o efeito deste esforcodado as demandas da universidade no cumprimento dasoutras necessidades e objetivos do estudante.

Qualidade do Ensino foca na percepcao do estudante sobre a qualidade doensino como um todo. Desde o metodo de ensino atea competencia e a prestatividade da faculdade e seusfuncionarios, alem da adequabilidade do currıculo. En-globando entao fatores associados as muitas condicoesacademicas relacionadas ao desenvolvimento intelectuale vocacional individual.

Vida Social responsavel por captar questoes sobre a oportunidadede “interacao humana”dada pela faculdade. Isto e, aoportunidade de conhecer pessoas interessantes (fazeramigos e/ou marcar encontros) e a oferta de atividadessociais informais.

Recohecimento compreende as atitudes e condutas da faculdade e dosoutros estudantes indicando o acolhimento dos estudan-tes como indivıduos dignos.

64

APENDICE D -- Lista dos Itens

Numeracao dos Itens Itens

10 A universidade me da a oportunidade de participar datomada de decisoes atraves de votos e/ou assembleias.

11 Ha muita burocracia para que se consiga resolver “pro-blemas”na secretaria e/ou reitoria.

12 A universidade conta com a infraestrutura (predios, ba-nheiros, carteiras, ar condicionado, elevador, entre ou-tros) em bom estado de conservacao.

13 As areas de convivencia da universidade sao adequadase limpas.

14 A universidade dispoe de projetos para o desenvolvi-mento intelectual dos alunos (como projetos de iniciacaocientıfica, palestras, eventos academicos, entre outros).

15 A universidade reconhece os bons alunos lhes dandooportunidades de crescimento intelectual.

16 A universidade dispoe de todos os equipamentos ne-cessarios para a realizacao das disciplinas.

17 A distribuicao de horarios das disciplinas afeta a minhaescolha de quais cursar.

18 A grade curricular do meu curso e adequada.

19 O tempo demandado pelas atividades academicas meimpede de realizar cursos extracurriculares para com-plementar a minha formacao.

20 Para conseguir boas notas tenho que me empenhar maisdo que considero mentalmente saudavel.

21 A quantidade de tarefas da universidade (trabalhos, se-minarios, entre outros) atrapalha a minha pessoal e/ouprofissional.

22 Os professores usam metodo de ensino adequado.

Apendice D -- Lista dos Itens 65

Numeracao dos Itens Itens

23 Os professores se mostram dispostos a ensinar.

24 A equipe de atendimento (secretario(a), gestor(a), entreoutros) se mostra disposta a ajudar.

25 Os equipamentos disponibilizados para a realizacao dasatividades das disciplinas estavam em bom estado.

26 A universidade da base necessaria para a insercao nomercado de trabalho.

27 A universidade facilita com que eu conheca pessoas in-teressantes.

28 A universidade disponibiliza meios (financeiros ou nao)para que se realize eventos informais para a integracaodos alunos.

29 A universidade reconhece os bons alunos, premiando es-tes com mencoes honrosas.

30 Estou satisfeito(a) com a universidade em que estudo.

31 A universidade disponibiliza para o meu curso salas deestudo adequadas.

32 A biblioteca tem a maioria dos livros que preciso para aminha formacao academica.

33 A moradia universitaria e confortavel e limpa.

34 O Restaurante Universitario oferece comida de boa qua-lidade.

66

APENDICE E -- Questionario Aplicado

Nıvel de Satisfacao dos Estudantescom a Universidade 1

Caro estudante,

Esta pesquisa e voltada para estudantes de graduacao presencial que estao regularmente

matriculados. Voce esta sendo convidado a participar de uma pesquisa que tem como ob-

jetivo avaliar a satisfacao do estudante com a universidade. Sua participacao contribuira

para que seja possıvel avaliar a qualidade da assistencia oferecida a partir do seu nıvel de

satisfacao. Agradecemos a sua contribuicao.

1. Qual a Universidade voce frequenta? *

Ex.: UFF

2. Esta universidade pertence a qual Unidade da Federacao? *

� Acre

� Alagoas

� Amapa

� Amazonas

� Bahia

� Ceara

� Distrito Federal

� Espırito Santo

� Goias

� Maranhao

1Questionario adaptado da versao online

Apendice E -- Questionario Aplicado 67

� Mato Grosso

� Mato Grosso do Sul

� Minas Gerais

� Para

� Paraıba

� Parana

� Pernambuco

� Piauı

� Rio de Janeiro

� Rio Grande do Norte

� Rio Grande do Sul

� Rondonia

� Roraima

� Santa Catarina

� Sao Paulo

� Sergipe

� Tocantins

3. Que tipo de universidade voce frequenta? *

� Publica

� Privada, sem bolsa

� Privada, com bolsa parcial

� Privada, com bolsa integral

4. Qual o seu curso? *

Ex.: Matematica

5. Ha quantos semestres voce esta regularmente matriculado? (excluindo os semestres

que houve trancamento de matrıcula) *

� 1

� 2

� 3

� 4

� 5


� 6

� 7

� 8

� 9

� 10

� 11

� 12

� 13

� 14

� 15 ou mais

6. Voce possui um emprego ou estagio? *

� Nao

� Sim

7. Qual a sua idade? *

Ex.: 21

8. Com qual genero voce se identifica? *

� Mulher

� Homem

� Outro:

9. Qual a sua raca/cor? *

� Branca

� Preta

� Parda

� Amarela

� Indıgena


Nos itens a seguir, marque a opcao ”Nao tenho conhecimento, pois nao utilizo”somente

no caso de nao ter conhecimento sobre o topico exposto.

10. A universidade disponibiliza para o meu curso salas de estudo adequadas. *

� Discordo Totalmente

� Discordo Parcialmente

� Concordo Parcialmente

� Concordo Totalmente

� Nao possui sala de estudo

� Nao tenho conhecimento, pois nao utilizo

11. A biblioteca tem a maioria dos livros que preciso para a minha formacao academica.*





� Nao possui biblioteca


12. A moradia universitaria e confortavel e limpa. *





� Nao possui Moradia Estudantil


13. O Restaurante Universitario oferece comida de boa qualidade. *





� Nao possui Restaurante Universitario



Nas questoes a seguir, escolha a intensidade com que voce concorda com os itens

expostos. A escala varia de 1 a 5, sendo que quanto maior o numero, maior a

concordancia com a afirmacao feita.

14. A universidade da a oportunidade dos alunos participarem da tomada de decisoes

atraves de votos e/ou assembleias. *

15. Ha muita burocracia para que se consiga resolver “problemas” na secretaria e/ou

reitoria.*

16. A universidade conta com a infraestrutura (predios, banheiros, carteiras, ar condi-

cionado, elevador, entre outros) em bom estado de conservacao. *

17. As areas de convivencia da universidade sao adequadas e limpas. *

18. A universidade dispoe de projetos para o desenvolvimento intelectual dos alunos

(como projetos de iniciacao cientıfica, palestras, eventos academicos, entre outros).*


19. A universidade reconhece os bons alunos, lhes dando oportunidades de participacao

em projetos ( iniciacao cientıfica, iniciacao a docencia, extensao, entre outros). *

20. A universidade dispoe de todos os equipamentos necessarios para a realizacao das

disciplinas. *

21. A grade curricular do meu curso e adequada. *

22. O tempo demandado pelas atividades academicas me impede de realizar cursos

extracurriculares para complementar a formacao. *

23. Para conseguir boas notas, tenho que me empenhar mais do que considero mental-

mente saudavel. *

24. A quantidade de tarefas da universidade (trabalhos, seminarios, entre outros) atra-

palha a vida pessoal e/ou profissional. *


25. Os professores usam metodos de ensino adequado. *

26. Os professores se mostram dispostos a ensinar. *

27. Os equipamentos disponibilizados para a realizacao das atividades das disciplinas

estavam em bom estado. *

28. A universidade facilita com que conheca pessoas interessantes. *

29. A universidade disponibiliza meios (financeiros ou nao) para que se realize eventos

informais para a integracao dos alunos, tais como: encontro de estudantes, caloura-

das, entre outros. *

30. A universidade reconhece os bons alunos, lhes dando premios por sua boa perfor-

mance academica. *


31. Estou satisfeito(a) com a universidade em que estudo. *

32. Opiniao e Sugestoes

74

APENDICE F -- Questionario Final

Nıvel de Satisfacao dos Estudantescom a Universidade

Caro estudante,

Esta pesquisa e voltada para estudantes de graduacao presencial que estao regularmente

matriculados. Voce esta sendo convidado a participar de uma pesquisa que tem como ob-

jetivo avaliar a satisfacao do estudante com a universidade. Sua participacao contribuira

para que seja possıvel avaliar a qualidade da assistencia oferecida a partir do seu nıvel de

satisfacao. Agradecemos a sua contribuicao.

1. Qual a Universidade voce frequenta? *

Ex.: UFF

2. Esta universidade pertence a qual Unidade da Federacao? *

� Acre

� Alagoas

� Amapa

� Amazonas

� Bahia

� Ceara

� Distrito Federal

� Espırito Santo

� Goias

� Maranhao

� Mato Grosso

� Mato Grosso do Sul

Apendice F -- Questionario Final 75

� Minas Gerais

� Para

� Paraıba

� Parana

� Pernambuco

� Piauı

� Rio de Janeiro

� Rio Grande do Norte

� Rio Grande do Sul

� Rondonia

� Roraima

� Santa Catarina

� Sao Paulo

� Sergipe

� Tocantins

3. Que tipo de universidade voce frequenta? *

� Publica

� Privada, sem bolsa

� Privada, com bolsa parcial

� Privada, com bolsa integral

4. Qual o seu curso? *

Ex.: Matematica

5. Ha quantos semestres voce esta regularmente matriculado? (excluindo os semestres

que houve trancamento de matrıcula) *

6. Voce possui um emprego ou estagio? *

� Nao

� Sim


7. Qual a sua idade? *

Ex.: 21

8. Com qual genero voce se identifica? *

� Mulher

� Homem

� Outro:

9. Qual a sua raca/cor? *

� Branca

� Preta

� Parda

� Amarela

� Indıgena

Nos itens a seguir, marque a opcao ”Nao tenho conhecimento, pois nao utilizo”somente

no caso de nao ter conhecimento sobre o topico exposto.

10. A universidade disponibiliza para o meu curso salas de estudo adequadas. *





� Nao possui sala de estudo


11. A biblioteca tem a maioria dos livros que preciso para a minha formacao academica.*





� Nao possui biblioteca



12. A moradia universitaria e confortavel e limpa. *





� Nao possui Moradia Estudantil


13. O Restaurante Universitario oferece comida de boa qualidade. *





� Nao possui Restaurante Universitario


Nas questoes a seguir, escolha a intensidade com que voce concorda com os itens

expostos. A escala varia de 1 a 5, sendo que quanto maior o numero, maior a

concordancia com a afirmacao feita.

14. Ha muita burocracia para que se consiga resolver “problemas” na secretaria e/ou

reitoria.*

15. A universidade conta com a infraestrutura (predios, banheiros, carteiras, ar condi-

cionado, elevador, entre outros) em bom estado de conservacao. *


16. As areas de convivencia da universidade sao adequadas e limpas. *

17. A universidade dispoe de projetos para o desenvolvimento intelectual dos alunos

(como projetos de iniciacao cientıfica, palestras, eventos academicos, entre outros).*

18. A universidade reconhece os bons alunos, lhes dando oportunidades de participacao

em projetos ( iniciacao cientıfica, iniciacao a docencia, extensao, entre outros). *

19. A universidade dispoe de todos os equipamentos necessarios para a realizacao das

disciplinas. *

20. A grade curricular do meu curso e adequada. *

21. O tempo demandado pelas atividades academicas me impede de realizar cursos

extracurriculares para complementar a formacao. *


22. Para conseguir boas notas, tenho que me empenhar mais do que considero mental-

mente saudavel. *

23. A quantidade de tarefas da universidade (trabalhos, seminarios, entre outros) atra-

palha a vida pessoal e/ou profissional. *

24. Os professores usam metodos de ensino adequado. *

25. Os professores se mostram dispostos a ensinar. *

26. Os equipamentos disponibilizados para a realizacao das atividades das disciplinas

estavam em bom estado. *

27. A universidade facilita com que conheca pessoas interessantes. *


28. A universidade disponibiliza meios (financeiros ou nao) para que se realize eventos

informais para a integracao dos alunos, tais como: encontro de estudantes, caloura-

das, entre outros. *

29. Estou satisfeito(a) com a universidade em que estudo. *

30. Opiniao e Sugestoes

adriana dos santos lima - universidade federal...

Documents