dissertação de mestrado - lactec
Post on 18-Mar-2022
4 Views
Preview:
TRANSCRIPT
INSTITUTO DE TECNOLOGIA PARA O DESENVOLVIMENTO
ANDRÉ LUIZ GASPARRO SEVILHA
MÉTODO PARA MODELAGEM E MENSURAÇÃO DE EXPECTATIVAS DE USUÁRIOS
DE SISTEMAS DE INFORMAÇÃO
CURITIBA
2016
ANDRÉ LUIZ GASPARRO SEVILHA
MÉTODO PARA MODELAGEM E MENSURAÇÃO DE EXPECTATIVAS DE USUÁRIOS
DE SISTEMAS DE INFORMAÇÃO
Dissertação apresentada ao Programa de Pós-
graduação em Desenvolvimento de Tecnologia, Área
de Concentração Geração e Transferência de Tecno-
logia (GTT), do Instituto de Tecnologia para o Desen-
volvimento, em parceria com a Faculdade Cidade
Verde (FCV), como parte das exigências para a obten-
ção do título de Mestre em Desenvolvimento de Tec-
nologia.
Orientador: Prof. Dr. Sebastião Ribeiro Junior
Co-orientador: Prof. Dr. Luiz Fernando Braga Lopes
CURITIBA
2016
S511m Sevilha, André Luiz Gasparro Sevilha. Método para modelagem e mensuração de expectativas de
usuários e sistemas de informação / André Luiz Gasparro Sevilha. – Curitiba, 2016.
78 f. il. ; 30 cm.
Orientador: Prof. Dr. Sebastião Ribeiro Junior. Dissertação (Mestrado) – Instituto de Tecnologia para o Desen-
volvimento, Institutos Lactec – Programa de Pós-Graduação em Desenvolvimento de Tecnologia, 2016.
Inclui Referências bibliográficas.
1. Aceitação. 2. Intenção de uso. 3. Expectativas. 4. Modelagem de expectativas. I. Ribeiro Junior, Sebastião. II. Instituto de Tecno-logia para o Desenvolvimento, Institutos Lactec – Programa de Pós-Graduação em Desenvolvimento de Tecnologia. III. Título.
CDD 658.403811063
Bibliotecária Responsável Vania Cristina Gracia Gonçalves CRB5/1465
AGRADECIMENTOS
Agradeço e dedico este trabalho a todos os que de alguma forma ajudaram a formar o ca-
minho em minha vida que levou a esta obra. Em especial a:
Minha mãe, que sempre me apoiou naquilo que entendia ser o melhor caminho para mim,
que ajudou a formar meu caráter por meio dos exemplos de sua própria vida, que me endi-
reitou sempre que precisei e me colocou no caminho novamente, que foi a melhor mãe que
eu poderia ter tido e pai quando este não se fez mais presente, que tornou meu título de
mestre possível, que tornou minha graduação possível, que tornou minha vida possível...
Meu pai, que durante sua breve jornada na terra foi um exemplo de bravura, honestidade e
um modelo de homem, talvez um dos mais inteligentes que pude conversar e um dos mais
obstinados.
Meu filho, que entendeu e apoiou as horas de minha ausência em um benefício futuro ain-
da maior, que me proporcionou o maior motivo de orgulho que um homem pode ter em vi-
da, que desde seu nascimento me ensinou a ser uma pessoa melhor e buscar o melhor de
mim e agora com mais idade me ensina lições que eu nunca pensei que seriam possíveis
de aprender.
Minha esposa, que me incentivou a seguir mesmo quando já não queria mais, que me en-
tendeu na ausência e me emocionou em sua presença, que me dá a paz de espírito neces-
sária a minha vida.
Meus irmãos, que me ajudaram a me tornar o homem que eu sou hoje e que serviram de
exemplo, cada um com suas peculiaridades, para eu traçar meu próprio caminho.
Meu Orientador, Prof. Dr. Sebastião Ribeiro Junior, que com muita paciência me ensinou
a escrita acadêmica e a metodologia de pesquisa, que releu este trabalho em versões mui-
to distantes da que está escrita nestes papeis que se seguem e que ajudou a me conceder
o título de mestre.
Meu co-orientador, Prof. Dr. Luiz Fernando Braga Lopes, que tornou possível minha gra-
duação e esta pós-graduação, que me apoiou imensamente desde o primeiro dia que o
conheci, que se tornou meu mentor e meu guia.
Obrigado a todos...
RESUMO
O bom uso dos sistemas de informação, principalmente aqueles voltados para o uso corpo-
rativo, dependem particularmente de seus usuários. A aceitação desses usuários a estes
sistemas está intimamente ligada a fatores cognitivos relativos as expectativas dos usuá-
rios. Sendo assim, há possibilidade de reduzir de custos ligados ao desenvolvimento de
sistemas, em especial aos custos relativos a readequação do sistema, implantação e cus-
tos provenientes a riscos inerentes a aceitação e subutilização, novos produtos de software
ou novas ferramentas por meio da análise das expectativas de usuários. Logo, a modela-
gem de expectativas procura analisar os fatores que levam um usuário a utilizar um siste-
ma em detrimento de outro e entender o porquê de casos de má ou subutilização por parte
dos usuários, além de auxiliar a análise e engenharia de software para esclarecer em que
pontos os requisitos elicitados foram ou não atendidos. A pesquisa foi realizada em um es-
tudo de caso em empresas que utilizam software ERP para sua gestão e por meio dos for-
necedores destes softwares realizaram-se as pesquisas com os usuários. Os usuários fo-
ram entrevistados em cinco ocasiões diferentes, cada uma delas seguidas de alterações no
sistema ou no ambiente de trabalho deste para validar o levantamento anterior em relação
a perceptibilidade e impacto de cada evento. Destarte, foram apresentados os grupos de
expectativas aos usuários e na sequencia eles priorizaram estes grupos. A priorização se
deu por meio de sete cartas, cada uma com um grupo de expectativa; ou por um cartão em
que foram impressos os sete grupos e os usuários indicaram sobre ele as prioridades de
cada grupo; ou de forma eletrônica por meio de um sistema web criado especificamente
para esta finalidade em que os usuários tinham os grupos em caixas de texto selecionáveis
e poderiam alterar a ordem de cada uma. Ao final dos levantamentos de expectativas e
validação dos eventos chegou-se a mensuração do perfil geral do grupo que refletia o perfil
de todos os usuários pesquisados em relação aos sistemas em questão. Além disso, apre-
sentou-se a modelagem em forma gráfica e a mensuração numérica das prioridades grupo
a grupo. Sendo que isto possibilitou a criação de análises estatísticas relativas a distribui-
ção de prioridades por grupos de usuários, separação de diferentes grupos de usuários
relativos a perfis próximos e análises descritivas que possibilitam simulações, a exemplo de
simulações como a de Monte Carlo para prever riscos diversos.
Palavras-chave: Aceitação, Intenção de uso, Expectativas, Usuários, Modelagem de ex-pectativas.
ABSTRACT
The good use of information systems, mainly those to the corporative use, particularly de-
pends on its users. The acceptance of these users to these systems are intimately connect-
ed to cognitive factors related to the users’ expectations. Therefore, there is the possibility
to reduce the costs associated to system’s development, especially to the costs related to
readjustment of the system, implementation and the costs from the inherent to the ac-
ceptance and underutilization, new software products or new tools by analyzes of users’
expectations. So, the modeling of expectations seeks to analyze the factors which take a
user to use a system in detriment of other and understand the reasons of cases of bad or
underutilization from the users, besides helping the analyzes of the software engineering to
clarify which points the elicited requisites were or weren’t complied. The research was car-
ried out in a case study in companies where it was used the ERP software to their man-
agement and by the providers of these software it was done the researches with the users.
The users were interviewed in five different occasions, each of them followed by changes in
the system or in this work environment to validate the previous survey in relation to percep-
tibility and impact of each event. In this way, it was presented the group of expectations to
the users and in the sequence, they prioritized these groups. The prioritization occurred in
seven cards, each one with a group of expectations; or by a card that was printed the seven
groups and the users indicated in it the priorities of each group; or electronically by a web
system created specifically to this purpose in which the users had the groups in text boxes
selected and could change the order of each one. In the end of the surveys of expectations
and validation of the events, it was reached the measurements of the general profile of the
group, which reflected the profile of all users researched in relation to the system in ques-
tion. Besides, it was presented the modeling in graphic form and the numeric measurement
of the priorities group by group. Being possible the creation of statistics analyzes related to
the distributions of priorities by group of users, separating the different groups of users re-
lated to close profiles and descriptive analyzes which enabled simulations, for example, the
simulation with Monte Carlo to prevent various risks.
Key words: Acceptance, intention of use, expectations, users, modeling of expectations.
LISTA DE ILUSTRAÇÕES
Figura 1 - Primeiro filtro de usuários participantes ..................................................................................... 43
Figura 2 – Cartões com os grupos de expectativas priorizados .............................................................. 45
Figura 3 – Cartão único com anotações de prioridades para cada grupo .............................................. 46
Figura 4 - Tela Inicial do aplicativo Web de pesquisa ............................................................................... 47
Figura 5 - Uso dos cartões no aplicativo Web ............................................................................................ 49
Figura 6 – Matriz de expectativa da primeira pesquisa ............................................................................. 64
Figura 7 – Matriz de expectativa da segunda pesquisa ............................................................................ 66
Figura 8 – Matriz de expectativa da terceira pesquisa .............................................................................. 66
Figura 9 – Matriz de expectativa da quarta pesquisa ................................................................................ 67
Figura 10 – Matriz de expectativa da quinta pesquisa .............................................................................. 67
Figura 11 – Matriz final de expectativas ...................................................................................................... 69
INDICE DE TABELAS
Tabela 1 - Resumo comparativo entre diferentes teorias de aceitação e teorias que explicam ações,
intenções e necessidades de usuários. ....................................................................................................... 19
Tabela 2 - Grupos de expectativas e fundamentação teórica para cada grupo. ................................... 23
Tabela 3 – Primeira pesquisa com usuários ............................................................................................... 57
Tabela 4 - Segunda pesquisa com usuários. .............................................................................................. 59
Tabela 5 -Terceira Pesquisa com usuários. ................................................................................................ 61
Tabela 6 - Quarta pesquisa com usuários. .................................................................................................. 61
Tabela 7 - Quinta pesquisa com usuários. .................................................................................................. 62
Tabela 8 - Compilação de hierarquias das expectativas de usuários ..................................................... 69
LISTA DE SIGLAS
SI – Sistema(s) de Informação(s)
TI – Tecnologia da Informação
ITIL – Information Technology Infrastructure Library
Cobit – Control an Objectives for Information and Related Technology
PMBoK – Project Management Book of Knowledge
TRA – Theory of Reasoned Action
UTAUT – Unified Theory of Acceptance and Use of Technology
TAM – Technology Acceptation Model
UX – User Experience
QFD – Quality Function Deployment
QA – Quality Assurance
IEEE – Institute of Electrical and Electronics Engineers
PIP – Perceptibilidade, Impacto e Positividade
UM – User Modeling
SQL – Structured Query Language
SGBD – Sistema Gerenciador de Banco de Dados
Sumário
1. INTRODUÇÃO ......................................................................................................................................... 13
1.1 JUSTIFICATIVA ............................................................................................................................... 15
1.2 OBJETIVOS ..................................................................................................................................... 16
1.3 ESTRUTURA DA DISSERTAÇÃO ............................................................................................... 16
2. FUNDAMENTAÇÃO TEÓRICA ............................................................................................................ 18
2.1 TEORIAS DE ACEITAÇÃO E INTENÇÃO DE USO .................................................................. 18
2.2 EXPECTATIVAS .............................................................................................................................. 19
2.3 USO DE SISTEMAS EM AMBIENTE PROFISSIONAL E USO PESSOAL ........................... 20
2.4 CONFORMIDADE E TIPIFICAÇAO DE EXPECTATIVAS ....................................................... 20
2.5 REQUISITO ...................................................................................................................................... 24
2.6 MODELAGEM .................................................................................................................................. 24
2.7 MATRIZ DE EXPECTATIVAS ....................................................................................................... 25
2.8 PERFIL DE USUÁRIO .................................................................................................................... 27
2.9 EVENTOS ......................................................................................................................................... 27
2.10 MÉTRICAS ....................................................................................................................................... 28
2.11 PERCEPTIBILIDADE ...................................................................................................................... 30
2.12 IMPACTO .......................................................................................................................................... 31
2.13 POSITIVIDADE ................................................................................................................................ 31
2.14 PESQUISAS ..................................................................................................................................... 32
2.15 MENSURAÇÃO PERCEPTIBILIDADE, IMPACTO E POSITIVIDADE (PIP) ......................... 33
2.16 QUALIDADE DE SISTEMAS ......................................................................................................... 34
2.17 RISCOS NO DESENVOLVIMENTO DE SISTEMAS ................................................................. 34
3. REVISÃO DO ESTADO DA ARTE ...................................................................................................... 36
4. METODOLOGIA ......................................................................................................................................... 39
4.1 ENTENDIMENTO DOS USUÁRIOS, SISTEMAS E AMBIENTE CORPORATIVO .............. 40
4.2 DEFINIÇÃO DE ESCOPO E CRONOGRAMA DAS PESQUISAS COM USUÁRIOS E
INSERÇÕES DE DADOS .......................................................................................................................... 41
4.3 INSTRUÇÕES PRECEDENTES À APLICAÇÃO DAS PESQUISAS ...................................... 42
4.4 PESQUISA PRÉVIA A INSERÇÕES DE EVENTOS ................................................................. 43
4.5 LEVANTAMENTO DO PERCEPTIBILIDADE, IMPACTO E POSITIVIDADE (PIP) .............. 50
4.6 VALIDAÇÕES E EXCLUSÕES DE DADOS ............................................................................... 51
4.7 PESQUISAS POSTERIORES COM OS USUÁRIOS ................................................................ 52
4.8 VALIDAÇÕES DE DADOS ............................................................................................................ 52
4.9 DEFINIÇÃO DAS MATRIZES DE USUÁRIOS E MODELAGEM DE EXPECTATIVAS ...... 53
4.10 ANÁLISE DOS RESULTADOS ..................................................................................................... 54
5. ESTUDO DE CASO ................................................................................................................................ 55
5.1 INSTRUÇÕES PRÉVIAS, ANÁLISE DO AMBIENTE E DEFINIÇÕES .................................. 55
5.2 PRIMEIRA PESQUISA COM OS USUÁRIOS ............................................................................ 56
5.3 INSERÇÃO DE EVENTOS E LEVANTAMENTO E ANÁLISE DOS PIP ................................ 58
5.4 PESQUISAS POSTERIORES ....................................................................................................... 58
5.5 ANÁLISE DOS DADOS E CRIAÇÃO DAS MATRIZES ............................................................ 63
5.6 AVALIAÇÕES DIVERSAS DOS DADOS E MODELAGEM FINAL ......................................... 68
6. ANÁLISE DOS RESULTADOS ............................................................................................................ 70
7. CONCLUSÕES ........................................................................................................................................ 72
7.1 CONCLUSÕES, CONSIDERAÇÕES FINAIS E TRABALHOS FUTUROS ................................. 72
8. REFERÊNCIAS ....................................................................................................................................... 74
13
1. INTRODUÇÃO
É devido ao avanço da informática que existe a dependência da computação
na vida das pessoas e nas empresas nos dias de hoje. E tem-se o usuário destes
sistemas como o ponto central do avanço. Sendo assim, é notável que dentre os
sistemas de informação existam muitos semelhantes, com ferramentas muito próxi-
mas, executam funções parecidas ou até com a mesma finalidade e alguns deles
são mais utilizados ou mais aceitos por determinados grupos de usuários.
Por consequência disso, a aceitação e o bom uso de um sistema pode bali-
zar comercialmente o sucesso ou o fracasso de um produto de software. Mas, muito
além disso, o usuário por meio de diversos fatores cognitivos define a eficácia de um
sistema e sua aceitação define a eficiência do sistema para prover a informação
(Moura et al., 2014). Dessa forma, é premente em um ambiente corporativo que os
sistemas atendam além dos requisitos funcionais e não funcionas do negócio, como
também atendam a esses fatores cognitivos que os usuários esperam do sistema,
resumidamente: expectativa.
Sendo assim, a avaliação pessoal e cognitiva dos usuários, tratada neste
trabalho como expectativa, será objeto de estudo com a finalidade de se criar um
método para sua mensuração e modelagem. Com devida modelagem e mensuração
é possível aplicar análises a fim de obter avaliações de retornos não-financeiros, tal
como melhoria no uso e maior eficiência na utilização de sistemas; indicar formas de
avaliação de qualidade de sistemas e equipes de análise e desenvolvimento de sis-
temas e apresentar parâmetros para avaliação de riscos de aceitação e uso de sis-
temas de informação.
Outrossim, tem-se conhecimento que diferentes ambientes oferecem dife-
rentes estímulos ao usuário e, consequentemente, diferentes expectativas em rela-
ção aos sistemas computacionais no ambiente corporativo de cada usuário. Da
mesma forma, fatores como experiência pessoais, interesses particulares, uso volun-
tário e influências sociais podem gerar diferentes expectativas aos usuários, assim
como mostra o trabalho de Hermínio (2011).
Outro ponto importante a ser destacado é o esforço dado por disciplinas co-
mo experiência de usuários (UX) e interface humano-computador para focar o de-
senvolvimento de sistemas aos usuários. Ao lado destas, cita-se recentes avanços
nas metodologias de desenvolvimento de sistemas como as metodologias ágeis que
14
aproximam o usuário como foco da engenharia do produto. Já há algum tempo, co-
mo cita o relatório do Standish Group Caos (2006), muito se evoluiu na execução e
planejamento de projetos de software, pois há redução de 30 para 20 por cento nas
falhas e ou desencontros da satisfação nos projetos de software e reduziu-se apro-
ximadamente 10 pontos percentuais o número de não-conformidade em custos ou
prazos de projetos de desenvolvimento de sistemas. Soma-se a este cenário que
este mesmo relatório trazia números que apresentavam custos até aproximadamen-
te 60 vezes o valor inicial quando de uma não conformidade encontrada em fases
finais do projeto em relação a fases iniciais.
Normativas como a International Standartization Organization (ISO) com a
normativa da série ISO 9000 apresentam as empresas como uma tríplice em que a
base são pessoas. Reforçando a figura de que o usuário é peça-chave para o bom
uso de um sistema em uma organização. Logo, este trabalho validou seus resulta-
dos em um estudo de caso dentro de ambientes corporativos. E como resultado fi-
nal: a modelagem e mensuração das expectativas de todo o grupo de usuários pes-
quisados. Para tanto, recorre-se a teorias como a Teory of Acceptation Model (TAM)
e variações, Unified Theory of Acceptation and Use of Technology (UTAUT) (Venka-
tesh, 2008), theory of reasoned action (1975), motivational model (1990), theory of
planned behavior (1989), teoria cognitiva (1991), Quality Function Deployment (QFD)
(AKAO, 1990) a fim de explicar os fatores cognitivos que são chamados aqui de ex-
pectativas e levam a um usuário a utilizar mais ou menos um sistema e preferir um
sistema de informação (SI) em detrimento de outro, além dos fatores que resultam
ao usuário dificuldades no uso, fatores que causam insatisfação de usuários em re-
lação ao sistema ou mesmo revelam requisitos (interesses ou expectativas) emoci-
onais e cognitivos em relação ao uso do Software. No estudo de caso, utilizou-se
sete grupos de expectativas que por meio de pesquisas com os usuários e posterior
validação com inserção de eventos.
15
1.1 JUSTIFICATIVA
Os elementos que justificam este trabalho, é a criação de uma sistematiza-
ção das expectativas e fatores cognitivos dos usuários de sistemas computacionais.
Assim como a necessidade de uma ferramenta de avaliação de expectativas de
usuário que qualifiquem as intenções de uso, hierarquize fatores cognitivos e apre-
sentem as regras subjetivas de forma priorizada e quantitativa.
Além disso, é de suma importância em projetos de software entender quais
fatores apresentaram ganhos que normalmente não são mensurados junto aos pro-
jetos de sistemas de informação: o retorno não-financeiro advindo do melhor uso e
aceitação dos sistemas de informação. E, sendo assim, o método para a modelagem
destes fatores deve permitir essa análise.
Por conseguinte, o rápido entendimento das necessidades dos usuários jun-
to ao atendimento dos requisitos levantados pela engenharia de software apresenta
ganhos expressivos tanto para o bom andamento do projeto, quanto para a equipe
de implantação e posterior suporte. Logo, a equipe de UX ou mesmo os analistas de
sistemas podem prever comportamentos a partir das expectativas de usuários, apre-
sentar produtos de software com maior grau de aceitação e fornecer experiências de
uso mais assertivas às necessidades dos usuários finais. Desta maneira, a equipe
de quality assurance (QA) pode medir o grau de satisfação dos usuários e a partir do
atendimento correto das expectativas indicar soluções para alavancar maiores graus
de satisfação ou melhorar componentes e partes deficitárias de uma determinada
ferramenta do sistema.
Logo, é possível prever comportamentos, predizer e mitigar riscos, quantifi-
car o grau de satisfação de um usuário apenas ou um grupo de usuários dentro de
uma empresa ou de grupos de usuários e simular ambientes ou cenários de usuá-
rios.
16
1.2 OBJETIVOS
O principal objetivo deste trabalho é a criação de um método para a avalia-
ção de expectativas de usuários que apresente análise quantitativa para o julgamen-
to de critérios qualitativos e cognitivos dos usuários.
Por sua vez, os objetivos específicos deste trabalho consistem em:
Criar método para mensuração de expectativas de usuários de siste-
mas de informação
Apresentar formas avaliativas de retorno não-financeiro
Indicar formas de avaliação de qualidade de sistemas e equipes de
analistas e desenvolvimento
Apresentar formas de avaliações de riscos de aceitação e uso de sis-
temas de informação
A validação do método será realizada em estudo de caso em empresas diver-
sas, as quais serão acompanhadas por software houses que fornecem o sistema
ERP em uso nessas empresas.
1.3 ESTRUTURA DA DISSERTAÇÃO
Essa dissertação é composta por oito capítulos. Neste capítulo um, uma in-
trodução ao objeto de estudo, criação do método para modelagem e mensuração de
expectativas de usuários de sistemas de informação, com a justificativa de seu de-
senvolvimento e o delineamento dos objetivos a serem atingidos.
O segundo capítulo consiste na fundamentação teórica das definições dos
pontos-chave e da exposição dos conceitos estabelecidos na criação do método.
Nisto, indica-se desde definições, as principais teorias utilizadas no trabalho, tipolo-
gias e fundamentações necessárias ao entendimento desta pesquisa.
No terceiro capítulo é realizada a revisão do estado da arte, indicando pesqui-
sas relacionadas a este trabalho e qual a relação destas pesquisas com esta.
17
O capítulo quatro consiste na metodologia e do passo-a-passo utilizado nesta
pesquisa para gerar os resultados e análises necessárias, tanto à validação dos
conceitos apresentados, como do próprio método de modelagem e mensuração.
No capítulo cinco é apresentado o estudo de caso realizado dentro da meto-
dologia aplicada no capítulo quatro. Ainda no capítulo cinco são apresentadas as
primeiras modelagens dos usuários e os resultados obtidos. Seguido da análise dos
resultados no capitulo seis, em que são analisados os resultados a partir da funda-
mentação teórica e dos objetivos da pesquisa. Na sequência, seguem as conclusões
e apontamentos para trabalhos futuros no capítulo sete.
Por fim, no capítulo oito, seguem as referências bibliográficas.
18
2. FUNDAMENTAÇÃO TEÓRICA
2.1 TEORIAS DE ACEITAÇÃO E INTENÇÃO DE USO
Há diversas teorias para explicar o comportamento de uso, intenções e ex-
pectativas de usuário. Inicialmente, essas teorias não eram voltadas ao usuário de
sistemas em si e sim para explicar comportamento de indivíduos em determinadas
situações dentro de um determinado contexto. Uma das primeiras dentre essas teo-
rias é a teoria da ação refletida (TRA – Theory of reasoned Action) a qual foi propos-
ta em 1975 por Fishbeine Ajzen e indica que os indivíduos tem seu comportamento
influenciado por normas pessoais subjetivas, ou seja, por uma intenção em realizar
um determinado comportamento que são bases para as atitudes do indivíduo
(Oliveira Júnior, 2006).
Numa sequência temporal dos acontecimentos, ocorreu o que ficou conheci-
do na história como a crise do software em que o desenvolvimento de sistemas es-
tava sendo prejudicado pela falta de métodos formais (Sommerville, 2011). Logo, a
preocupação com os projetos de sistemas computacionais tornar-se-iam iminentes e
voltaram-se os esforços para sua correção. Com isso, parte da recém criada discipli-
na, nomeada por engenharia de software, voltou parcialmente seus olhos para os
usuários finais dos sistemas (Rupp, Cris; 2011) e outros modelos foram criados pos-
teriormente a fim de explicar a intenção de uso e expectativas de usuários.
Um destes modelos foi o Technology Acceptance Model (TAM) (Venkatesh
et al., 2003) criado em 1989, que trouxe os conceitos de utilidade percebida e facili-
dade de uso em que o usuário volta suas ações frente à tecnologia a ser utilizada.
Este modelo parte do princípio que determinadas condições facilitadoras e condi-
ções cognitivas do usuários, moderadas por gênero, idade, sexo e voluntariedade de
uso levam ao usuário a uma intenção para o uso de uma determinada tecnologia
que pode levar ao uso desta. A intenção de uso, desta forma, que leva ao uso de
uma tecnologia, como um sistema de informação, e o maior ou menor grau de uso
está intimamente ligada a intenção que o usuário tem para a tecnologia a ser utili-
zada. Outro modelo criado na época da crise do software: Motivation Model em que
cada ação do indivíduo é guiada por uma motivação intrínseca e extrínseca, agregou
mais um fator que, posteriormente, outros modelos utilizariam e discorreriam de for-
ma mais detalhada e analítica, como o modelo recente criado e conhecido como lazy
19
user model em que um usuário de um sistema de informação (Collan, Tetard; 2007)
toma suas ações sempre pela forma mais fácil e que gere o melhor resultado, ali-
nhando-se ao modelo anterior, pois a motivação seria o melhor resultado possível
adequado ao menor esforço possível.
Além destes, outros modelos foram propostos e amplamente estudados,
muitos dos quais apresentam resultados semelhantes aos das teorias apresentadas.
Contudo, a Unifed Theory of Acceptance and Use of Technology (UTAUT), que se
utiliza de oito destes modelos e teorias explica e complementa lacunas não respon-
didas pelas teorias anteriores. A UTAUT possui diversos estudos comprovando sua
eficácia na explicação da intenção de uso e, consequentemente, na explicação das
expectativas de usuários tais como Moura et al. (2014) e Oliveira Júnior (2006) de-
monstram.
Abaixo, apresenta-se uma tabela com um resumo das principais teorias utili-
zadas neste trabalho e uma breve síntese dos principais pontos destacados em ca-
da teoria, além da data de publicação de cada.
Tabela 1 - Resumo comparativo entre diferentes teorias de aceitação e teorias que explicam ações, intenções e necessidades de usuários.
Teoria Ano Pontos Principais SCT - Teoria Social Cogni-tiva
1941 Expectativas de resultado, aceitação de terceiros, efei-to e ansiedade
MM- Modelo Motivacional 1971 Motivações diretamente relacionadas ao uso do objeto-fim e não relacionadas diretamente ao uso deste
TRA – Teoria da Ação re-fletida
1975 Atitude do indivíduo e normas subjetivas de seus inte-resses e meio ao qual está inserido
TAM – Modelo de aceita-ção de tecnologia
1989 Utilidade percebida, facilidade de uso percebida e con-junto de normas subjetivas-cognitivas
TPB- Teoria do comporta-mento planejado
1991 O usuário planeja seu comportamento por meio de atitudes e comportamentos
IDT – Teoria da difusão da informação
1995 Vantagem relativa, facilidade de uso, demonstrativo de resultado, julgamentos pessoais, voluntariedade.
UTAUT – Teoria unificada de aceitação e uso de tec-nologia
2003 Incorporou diversas teorias em si a fim de explicar me-lhor intenções de uso e moderadores na aceitação dos usuários quanto ao uso de alguma tecnologia
Lazy User Model 2007 O usuário realiza o menor esforço possível Fonte: o autor (2016)
2.2 EXPECTATIVAS
20
Define-se então a expectativa segundo Venkatesh et al. (2012), como o es-
tado ou qualidade de se esperar algo ou alguma coisa que seja viável ou provável
que aconteça e/ou desejo ou ânsia por receber uma notícia ou presenciar um acon-
tecimento que seja benéfico ou próspero. Não obstante, expectativa também é a ne-
cessidade cognitiva a qual o usuário possui e pela qual norteará o uso e aceitação
de um SI, é a incerteza que um usuário deste sistema possui acerca de particulari-
dades provenientes do uso do software e nortearão seu uso e aceitação em relação
ao sistema (Rupp, Cris; 2011).
Neste trabalho, será adotado o conceito de expectativa baseado nas teorias
e modelos de aceitação e uso de sistemas. Dessa forma, por expectativa, entende-
se um conjunto de normas e regras subjetivas ligadas ao indivíduo e fatores cogniti-
vos deste. Muito embora as expectativas sejam fatores pessoais do indivíduo, aqui,
será buscado um modelo geral de um grupo de usuários. E não, tão somente, de
indivíduo a indivíduo. Ainda que não existam impeditivos para tratar a modelagem de
um ou outro determinado indivíduo especificamente. O objetivo da modelagem no
contexto desta pesquisa e devido a validação em um estudo de caso é buscar uma
modelagem genérica para todo o grupo de usuários analisados sem, inclusive, fazer
qualquer distinção para os diferentes sistemas utilizados pelos usuários.
2.3 USO DE SISTEMAS EM AMBIENTE PROFISSIONAL E USO PESSOAL
De acordo com pesquisas científicas como as de Karahanna & Straub
(1999), Oshlyansky, Cairns, & Thimbleby (1904) e Viswanath Venkatesh (2012) e de
outras contextualizados conforme o objetivo deste trabalho tais como: Moura,
Ferreira, & Barros (2014) e Oliveira Júnior (2006) pode-se inferir que as intenções de
uso e as expectativas do usuário frente a um sistema computacional variam confor-
me o contexto ao qual o usuário está inserido e varia também conforme diversos
fatores cognitivos, comprovando as teorias iniciais como a TRA. Contudo, delineia-
se a distinção entre o uso de sistemas de informação para fins laborais e para fins
pessoais (Galletta et al., 2007). Dada essa distinção, atem-se aos sistemas para fins
profissionais em detrimento ao uso de sistemas de informação para uso pessoal e
os resultados também validados em estudo de caso dentro de empresas.
2.4 CONFORMIDADE E TIPIFICAÇAO DE EXPECTATIVAS
21
As expectativas podem ser agrupadas em tipos segundo as teorias supraci-
tadas e o entendimento acerca dos trabalhos de Collan & Tetard (2007), Oliveira
Júnior (2006) Viswanath Venkatesh, Speier, & Morris (2002). Com isso, apresentam-
se os grupos de expectativas abaixo:
o Facilidade de uso; ou menor esforço; ou melhor performance e desem-
penho operacional; mínima aprendizagem do uso do sistema advindo das diversas
teorias cognitivas para explicar o comportamento e ações de usuários de sistemas
de informações computacionais. Apresenta-se como expectativa do usuário quanto a
facilidade no uso do sistema, quanto a performance operacional e no desempenho
das atividades com o uso do SI. Ou, entende-se como o menor esforço esperado na
execução de alguma atividade ou tarefa em um sistema computacional conforme
apresentado na Lazy User Theory.
o Retorno, Geração de valor, benefício ou retorno operacional esperado,
analogamente aos modelos e teorias que preveem que os usuários esperam o maior
retorno de seu trabalho executado no computador. Sendo assim, reforça os valores
pessoais do usuário quanto à melhoria operacional do seu trabalho executado;
quanto a geração de valor que o SI trouxe à execução de suas atividades e dos be-
nefícios provenientes das melhorias implementadas como ferramenta no SI. Parale-
lamente ao que a TAM ou a UTAUT indicam como fatores cognitivos inerentes ao
usuário e suas experiências pessoais ou como motivação dentro dos modelos moti-
vacionais. Resumidamente, é a maior percepção que usuário têm ao executar uma
tarefa e obter melhores resultados por meio desta mesma tarefa
o Segurança/CID (confidencialidade, integridade e disponibilidade e não
repúdio de dados). Este ponto pretende explicar que a Segurança, além de perten-
cer a um fator cognitivo, possui separadamente alto impacto nas decisões dos usuá-
rios de sistemas computacionais empresariais (Moura et al., 2014), (Sadiyoko et al.,
2009) e (Venkatesh et al., 2002). Logo, indica o nível de expectativa que o usuário
tem quanto a segurança que o sistema pode fornecer, seja na forma de confidencia-
lidade de informações privadas, integridade dos dados ou disponibilidade de uso do
SI
o Influências sociais são fatores que podem elevar ou reduzir o uso ou
aceitação do SI por meio de pressão social que interfere na percepção do indivíduo
e, de alguma forma, altera suas intenções de uso e aceitação para com o sistema
22
(Thomas et al., 2013). Este grupo de expectativas é facilmente entendido quando
pensamos na força que redes sociais têm na aceitação dos usuários. Em meio cor-
porativo este grupo também fornece subsídio para influenciar decisões de usuários e
alterar sua aceitação e modificar o uso de um sistema
o Experiência de uso e usabilidade são os fatores puramente cognitivos
que indicam a satisfação em relação ao uso e aceitação de um SI, quanto as experi-
ências provenientes de um SI, podendo resumir-se vulgarmente a gostar ou não do
produto independente de maiores constatações e a TRA, TAM (e variações desta)
tratam exatamente como fator cognitivo que norteia o comportamento do usuário
o Aplicabilidade, flexibilidade ao negócio; necessidade ou relevância fun-
cional; ou grau de facilidade e adequação que um SI possui em relação a determi-
nadas tarefas, processos ou atividades. Analogamente aos métodos destacados an-
tes, trata-se da avaliação cognitiva em relação ao quanto um determinado produto
de software atende uma necessidade em relação a execução de uma tarefa execu-
tada pelo usuário. Ou seja, se o SI consegue realizar todos os requisitos funcionais e
não funcionais esperados para a execução de uma determinada tarefa
o Suporte, ajuda, consultoria, auxílio ou respostas à incidentes ou grau
de satisfação, uso ou aceitação de um sistema quanto a fatores relativos às suas
necessidades por qualquer tipo de intervenção de terceiros que atuem ou interve-
nham em caso decorrência do uso do software: suporte técnico, auxilio ao uso, in-
tervenção à incidentes ou à eventos. Como visto em trabalhos como os de
Alwahaishi & Snášel (2013) e da Silva, Silveira & Maurer (2013) que indicam que
além das necessidades inerentes ao correto uso da ferramenta o usuário necessita
de auxilio ou suporte em caso de problemas ou incidentes no uso do SI
As qualificações de expectativas quanto a sua conformidade são amplamen-
te discutidas em diversos trabalhos, contudo dadas diferenças culturais e na aplica-
ção da metodologia de seus trabalhos, além das diferenças quanto a conceitos em-
pregados por ambos se condensou as expectativas como acima. Um exemplo de
forte impacto cultural são os moderadores como idade ou sexo que se mostraram
irrelevantes como moderadores em diversas pesquisas (Bagozzi, 2007).
De acordo com os 7 grupos de expectativas, relaciona-se na tabela 2 os
grupos de expectativas e as principais fundamentações teóricas acompanhadas de
uma sucinta descrição.
23
Tabela 2 - Grupos de expectativas e fundamentação teórica para cada grupo.
Fonte: o autor (2016)
Descrição Fundamentação
Grupo 1
Facilidade de
uso/esforço/performance/desempenho
operacional/aprendizagem
Lazy User Model (facilidade perce-
bida e menor esforço), TAM (Faci-
lidade de uso), UTAUT (facilidade
de uso)
Grupo 2 Retorno/Geração de valor/benefício
ou retorno operacional esperado
Lazy User Model, TAM, TRA,
UTAUT
Grupo 3 Segurança/CID
Separou-se de fatores puramente
cognitivo encarados nas teorias de
aceitação (Oliveira Júnior, 2006) e
(Sadiyoko et al., 2009)
Grupo 4 Influências sociais
Trabalhos utilizando UTAUT e TAM
e baseado em trabalhos da área de
IHC como o de (Karahanna,
Straub; 1999) e (Da Silva et al.,
2011)
Grupo 5 Experiência de
uso/usabilidade/adequação de uso UTAUT e TAM (fatores cognitivos)
Grupo 6 Aplicabilidade/flexibilidade ao negó-
cio/necessidade/relevância funcional
UTAUT, TAM, TRA e modelos
cognitivos (Karahanna, Straub;
1999)
Grupo 7 Suporte/ajuda/consultoria/auxílio ou
respostas à incidentes
Separou-se como um grupo à parte
e não mais como moderadores
puramente dentro de um grupo
cognitivo (Moura et al., 2014) e
(Oliveira Júnior, 2006)
24
2.5 REQUISITO
E de acordo com o Institute of Electrical and Eletronic Engineers (IEEE)
(1990) requisito é uma condição ou necessidade de um usuário em resolver um pro-
blema ou alcançar um objetivo; condição ou capacidade que deve ser satisfeita ou
possuída por um sistema ou um componente de sistema que satisfaça um contrato,
padrão, especificação ou outro documento formal, é a representação documentada
de uma condição ou necessidade conforme estes termos e difere-se de expectativa,
pois esta baseia-se em fatores cognitivos do usuário que não podem ser satisfeitos
puramente pela modelagem de processos.
Conforme a literatura atual de engenharia de software, os requisitos são di-
vididos em requisitos funcionais e requisitos não-funcionais. Contudo, essa distinção
não interfere de forma alguma qualquer análise ou resultado neste trabalho.
2.6 MODELAGEM
De acordo com o dicionário da língua portuguesa: por modelagem entende-
se a criação de modelos, ação ou resultado de modelar (Aulete, 2016).
Logo, a modelagem de expectativas pretende criar um modelo para análise
dos fatores cognitivos aos quais os usuários, seja como indivíduos ou usuários como
grupos, julgam ser de importância para o bom uso, e, consequentemente, aceitação
de um sistema de computação no seu cotidiano. Além de nortear seu comportamen-
to em relação ao sistema com base em suas intenções. Este modelo terá por base
os 7 grupos de expectativas apresentados e indicará valores hierarquizados em ca-
25
da um dos grupos que servirão de base para análises e cálculos diversos, como
também, para o entendimento das expectativas dos usuários e avaliação do produto.
2.7 MATRIZ DE EXPECTATIVAS
A matriz de expectativas é o conjunto de expectativas (Williams, 2011), prio-
rizados pelos próprios usuários de acordo com seus interesses pessoais e o impacto
de cada grupo em seu cotidiano, que definem um perfil a um ou a um grupo de usu-
ários. A matriz apresenta o gráfico de radar como pode ser visto na figura 1 e, tam-
bém, permite a sobreposição e visualização de várias pesquisas simultaneamente
em um mesmo gráfico como na figura 2, sejam várias pesquisas de um mesmo usu-
ário ou de usuários diferentes.
Figura 1 - MATRIZ DE EXPECTATIVA DE UMA PESQUISA
Fonte: o autor (2016).
26
Figura 2 - MATRIZ DE EXPECTATIVA DE TRES PESQUISAS
Fonte: o autor (2016).
O conjunto de dados gerado nessas matrizes permite apresentar para cada
grupo de expectativa análises estatísticas como média, variação, variância, amplitu-
de, moda, correlação entre expectativas, etc. E estes dados indicam o perfil dos
usuários do sistema, que inclusive podem ser submetidos a simulações para extra-
polar os resultados na indicação de riscos à eventos com vistas a um população
maior de usuários.
Sendo assim, a matriz fornece a modelagem de expectativas de forma visu-
al. É o resumo das informações fornecidas pelos próprios usuários de forma a facili-
tar o entendimento de suas necessidades cognitivas a ser atendidas por um sistema
de informação. Na figura 3 é possível verificar (dados simulados e não extraídos da
pesquisa) os grupos que tem maior ou menor prioridades para o grupo de usuários
estudado, assim como é possível analisar para caso em específico quais grupos
possuem maior variação entre os mínimos e máximos e qual a maior frequência de
prioridades apontadas grupo a grupo. Ou seja, representa o comportamento numéri-
27
co destacado em um gráfico das necessidades e intenções dos usuários pesquisa-
dos.
Figura 3 - MATRIZ DE EXPECTATIVA COM INDICAÇÕES DE ANÁLISES ESTA-TÍSTICAS
Fonte: o autor (2016).
2.8 PERFIL DE USUÁRIO
Perfil de usuário é a priorização que o usuário realiza entre os sete grupos e por
meio desta priorização gera-se uma matriz. Ou seja, a modelagem apresentada pela
priorização realizada pelo usuário chama-se perfil. Desse perfil, e, consequentemen-
te, da modelagem, é possível analisar quais fatores influenciam na intenção de uso
do usuário. Logo, na prática a modelagem e mensuração indica o perfil do usuário e
consequentemente são representados graficamente pela matriz de expectativas.
2.9 EVENTOS
Eventos são alterações no ambiente do usuário ou alterações no sistema
que sejam perceptíveis aos mesmos e que causem algum impacto, positivo ou não,
na percepção do usuário em relação ao sistema Bagozzi, (2007), Sadiyoko et al.
(2009) e Venkatesh et al. (2003).
28
2.10 MÉTRICAS
Métrica é o conceito relativo aos eventos conforme tópico anterior desta dis-
sertação e fazem jus a eventos inseridos no sistema ou ambiente do usuário, contro-
lados ou não pela pesquisa, que podem ser notados ou não pelo usuário em relação
ao uso do sistema. As métricas são parâmetros aos quais avaliar-se-á se algum
evento pode ser percebido pelo usuário e que impacto este evento estende-se ao
usuário. As métricas são base para a avaliação de perceptibilidade, impacto e positi-
vidade, conforme apresentar-se-á posteriormente neste trabalho, e são bases para a
validação da priorização do usuário em relação ao SI.
Sendo assim a metrificação das expectativas se dá por investigação direta,
investigação de performance e comportamento, assim como possíveis exemplos as
seguintes métricas (Moura et al., 2014):
Tempo total discorrido em determinada tarefa, atividade ou processo
com uso do sistema em relação ao uso sem sistema algum, pois apresenta conso-
nância com as necessidades e expectativas por performance e apresentam, quando
comparadas com outras formas de trabalhar ou outros SI, expectativas relativas à
facilidade de uso
Comparativo do tempo da tarefa em outros sistemas, incluindo a ativi-
dade sem uso de SI informatizados, pois indica performance comparativa, expectati-
vas de aumento de valor agregado à tarefa ou ganho em tempo, facilidade de uso e
expectativas de aplicabilidade ao negócio quando comparadas com outras métricas
Curva de aprendizagem pelo tempo discorrido por atividade; é indicado
pela evolução do tempo da tarefa em sucessivos períodos diferentes.
29
Total de processos, atividades ou tarefas que se utilizam de SI informa-
tizados; apresenta relação a aplicabilidade ao negócio e expectativa de facilidade de
uso de sistema em casos com o SI possuir determinada funcionalidade e não for
utilizada
Percentual ou correlação de processos/tarefas ou atividades que não
se utilizam do SI em questão; apresenta indicador de aplicabilidade ou flexibilidade
ao negócio
Comparativo percentual da tarefa, atividade ou processo que está in-
formatizado pelo SI em questão; indica aplicabilidade ou flexibilidade ao negócio
Quantidade de chamados abertos por período; apresenta, em comu-
nhão com outros dados, indicadores de suporte técnico, facilidade de resolução de
incidentes, nível de incidentes e agilidade do suporte na resolução de problemas
Percentual de chamados resolvidos por período; apresenta, assim co-
mo o item acima fatores que agregam dados à expectativa de suporte que impactam
em muitos casos como moderador ao uso do sistema e como moderador das expec-
tativas de performance e facilidade de uso
Tempo médio de retorno e conclusão de atendimento do suporte; faz
parte dos indicadores dos dois índices acima
Quantidade de usuários que se dizem satisfeitos ou insatisfeitos com o
SI em questão; apresenta as influências sociais relativas ao sistema e indicam pes-
soas com expectativas divergentes das demais, além de servir como base para
mensuração e métrica de expectativas puramente cognitivas como nível de satisfa-
ção e experiência de uso
30
Quantidade de usuários que se dizem satisfeitos ou insatisfeitos com
determinada tarefa, atividade ou processo do SI em questão; reforça os dados dos
indicadores acima
Média de satisfação na empresa, processo, atividade ou tarefa; con-
forme destacado no item anterior
Quantidade de quedas, indisponibilidades do sistema por período;
apresenta base para indicar expectativas de Segurança
Quantidade de acessos não autorizados ou falhas e quebras de segu-
rança
Ganho financeiro ou em tempo trazido pelo uso do SI em questão em
relação a outros SI e a não-informatização
2.11 PERCEPTIBILIDADE
A perceptibilidade indica, por parte do usuário, se há ou não a detecção de
uma determinada alteração apresentada por um evento em seu ambiente. Ou seja,
um evento é inserido no ambiente do usuário e este é perceptível ou não para ele
(Farias Borges, 2016).
Se o evento for perceptível é passível de mensuração de impacto e positivi-
dade. É possível, dessa forma, que o usuário perceba ou não eventos. Logo, é pos-
sível validar inconsistências nos dados gerados pelo usuários e retirar possíveis não
conformidades das avaliações (Yousafzai et al, 2007). Pois, a detecção de altera-
ções inexistentes ou a ausência da detecção de eventos relativos a grupos de alta
prioridade indicados pelo usuário, sugere que a prioridade está indicada incorreta-
mente ou que o usuário está indicando alterações inexistentes.
31
2.12 IMPACTO
O Impacto surge da percepção de um evento. E caso ocorra alguma percep-
ção do evento em algum dos grupos de expectativa, o usuário sentirá maior ou me-
nor influência naquele grupo. Esse grau de influência informado pelo usuário pode
ser alto ou baixo. E, sendo um fator puramente cognitivo para o usuário e baseado
em percepções, a resposta não pode ser mensurada em termos quantitativos, ou
seja, não é de interesse da modelagem saber se um impacto alto foi maior que outro
impacto alto. Apenas indicar que os efeitos de um evento trouxeram com ele um im-
pacto alto ou baixo (Lunardi, 2008).
Logo, apresentam-se os valores quantitativos de alto ou baixo como 2 ou 1,
respectivamente.
2.13 POSITIVIDADE
Mediante os efeitos de um evento no ambiente ou sistema em que ocorra a
percepção do mesmo, deve-se recorrer a mensuração de impacto: alto ou baixo.
Posteriormente, analisa-se se este impacto trouxe benefícios ou malefícios ao usuá-
rio. Ou, traduz-se em impacto positivo ou negativo.
Dessa forma, há cinco possibilidades para um evento qualquer:
Não percebido
Percebido, baixo impacto e negativo
Percebido, baixo impacto e positivo
Percebido, alto impacto e negativo
Percebido, alto impacto e positivo
Logo, esses três parâmetros (perceptibilidade, impacto e positividade) formam
juntas a mensuração PIP. Essa mensuração indica, por exemplo que um evento foi
ou não percebido, se trouxe consigo mudanças consideráveis ao usuário e se essas
mudanças foram boas ou não.
O grau de subjetividade do usuário inerente a mensuração não é importante
na metodologia. Pois ainda que em muitos casos não sejam claros que fatores tor-
nam um impacto alto ou baixo (por exemplo), a mensuração do PIP é apenas parâ-
32
metro para entender se há evidência de desacordo entre as prioridades indicadas
pelo usuário e sua percepção de um evento.
2.14 PESQUISAS
A pesquisa é a fase em que o usuário indica por meio dos cartões com os
grupos de expectativas, ou pelo cartão único com as expectativas ou por meio de
sistema informatizado específico qual a prioridade de cada grupo em seu labor ou
cotidiano. Todas as pesquisas com os usuários foram realizadas da mesma forma,
contudo com um curto período de tempo posterior a inserção e observação de algum
ou alguns eventos, excetuando-se a primeira pesquisa que não teve evento anterior
inserido. Além disso, o período de tempo não foi fixado entre as pesquisas em uma
mesma empresa ou empresas diferentes.
Destarte, foram realizadas 5 pesquisas em momentos diferentes. A primeira
pesquisa, conforme mencionado anteriormente, foi realizada antes da primeira in-
serção de eventos. Seguida de uma inserção de evento, na sequência outra pesqui-
sa, então, outra inserção de eventos e assim por diante. Até completar 5 pesquisas
com os usuários e cinco inserções de eventos.
O usuário não tem capacidade ou mesmo, em muitos casos, meio de medir
de qualquer forma suas experiências ou indicar valores numéricos relativos a graus
de qualquer gênero relativo a elas. Muito embora, o usuário não possa mensurar
numericamente sua experiência, ele pode comparar eventos diferentes e avaliar
grau de importância entre eles, sempre comparando objetos já conhecidos do usuá-
rio (Alwahaishi; Snášel, 2013).
Logo, reforça-se o uso de soluções discretas e finitas para que o usuário
possa comparar fatores diferentes e indicar prioridades. Sendo assim, o usuário se
33
utiliza de fatores cognitivos e pessoais para indicar o que naquele momento é mais
ou menos prioritário para ele indicando por meio de 7 cartas relativas a cada um dos
7 grupos de expectativas. Por meio dessa classificação e da utilização da análise de
eventos obtêm-se dados que provêm a matriz de expectativas (Da Silva et al., 2011).
Os eventos posteriores às pesquisas servem para balizar a indicação de pri-
oridade indicada pelo usuário. Essa validação ocorre analisando o impacto e percep-
tibilidade que um evento trouxe ao usuário em relação as prioridades que ele indi-
cou. É possível, também, comparar este impacto e perceptibilidade em relação a
outros usuários. O evento é inserido de forma controlada e são analisadas quais fer-
ramentas no sistema ou quais requisitos funcionais ou não funcionais no sistema
foram afetados. A partir, disto verifica-se se o usuário se faz uso destas ferramentas
e se ele notou alguma alteração (perceptibilidade). Caso a alteração seja realmente
significativa para a equipe de desenvolvimento ou para grande parte dos usuários e
algum destes usuários não notou a alteração é possível maior avaliação ou exclusão
dos dados deste usuário da pesquisa (Oliveira Júnior, 2006).
2.15 MENSURAÇÃO PERCEPTIBILIDADE, IMPACTO E POSITIVIDADE
(PIP)
Para a validação dos resultados dos eventos criou-se a fórmula:
PIP = (Perceptibilidade * Impacto * Positividade)
Sendo a perceptibilidade nula (igual a zero) ou percebida pelo usuário (igual
a 1). O impacto baixo (igual a 1) e alto (igual a 2). A positividade ser negativa (igual a
-1) ou positiva (igual a 1) (Barbosa, 2013).
O PIP representa um valor relativo aos três itens conforme destacado anteri-
ormente. Contudo, é possível essa mesma análise e mensuração de diversas for-
34
mas, desde uma tabela normalizada (Barbosa, 2013) variando de 0 a 1 ou de qual-
quer outro valor mínimo a um valor máximo. Escolheu-se os valores entre -2 e 2 pois
se adequa mais didaticamente à necessidade proposta e representa de forma mais
clara a positividade e impacto do evento, assim como mostra a falta de perceptibili-
dade pelo valor mediano (neutro) zero (0).
2.16 QUALIDADE DE SISTEMAS
Há diversas dimensões que podem ser utilizadas para caracterizar qualidade
em relação a sistemas (Watson, R. 1999). Há, ainda, diversas teorias e métricas pa-
ra qualidades em sistemas de informações. Contudo, não há unanimidade em rela-
ção sobre as características específicas que façam um sistema ter qualidade ou não.
Padrões como a ISO da série 9000 se apoia firmemente que a qualidade vem
do padrão do processo que gera o produto final e da gestão aplicada do conheci-
mento. Segundo a engenharia de software e padrões específicos como a norma ISO
25000 se baseiam no atendimento dos requisitos de software, que se seguem de
análise dos requisitos, casos de teste e assim por diante.
A qualidade indicada neste trabalho se faz uso do conceito que a qualidade é
indicada pelo usuário e pelo atendimento de suas expectativas. Quando maior a in-
tenção de uso em um sistema, melhor foi o atendimento de suas expectativas e
maior é a qualidade do sistema na visão deste usuário.
2.17 RISCOS NO DESENVOLVIMENTO DE SISTEMAS
35
Os riscos indicados neste trabalho são, principalmente, mas não necessariamente
se atém apenas a estes: os riscos referentes a rejeição do sistema por parte dos
usuários; a subutilização do sistema decorrente da rejeição total ou parcial – quando
envolve apenas uma parte ou ferramenta do sistema, pelo não atendimento dos inte-
resses cognitivos e expectativas dos usuários.
36
3. REVISÃO DO ESTADO DA ARTE
Diversos autores desde a década de 30 vêm tentando distinguir as relações
entre diversos fatores que levam pessoas a buscarem determinados produtos e te-
rem diferentes comportamentos frente a uma mesma situação tendo entre esses
autores Donald Norman como o pesquisador que alinhou técnicas da psicologia ao
conceito de usabilidade (Barbosa; Silva, 2010). Essas relações quando exploradas
na tríplice usuário, sistemas e tecnologia possuem o nome de interação humano-
computador. E, dessa disciplina, originaram-se outras como UX (User Experience) e
teorias de aceitação como a UTAUT, TAM (e variações), TRA, Lazy user model, etc.
Logo, neste subitem será apresentada uma síntese de trabalhos recentes acerca
das teorias de aceitação.
Trabalhos como o de Tan (2013) apresenta a UTAUT para explicar a aceita-
ção e uso de sites de E-Learning (aprendizagem online) de inglês para estudantes
Taiwaneses de acordo com os fatores de influência: expectativa de performance,
expectativa de esforço, influências sociais e condições facilitadoras. E, no caso, não
foram considerados os moderadores de sexo, idade, experiência e uso voluntário
pois toda a população em estudo é composta exclusivamente de estudantes com
idades ou experiências similares ou muito próximas. Neste estudo, foram aplicados
questionários e realizada análise descritiva dos dados. Foram, também, encontrados
índices de associação entre variáveis e comparados os modelos e hipóteses entre
si. Com isso, o pesquisador chegou à conclusão que a UTAUT suporta as necessi-
dades e expectativas deste grupo de estudantes e ainda sugere que hajam melhori-
as na interface web dos sistemas a fim de proporcionar maior facilidade na operação
do mesmo.
37
E, trabalhos como o de Silva; Dias (2007) comparam e explicam teorias de
aceitação e conclui que os modelos fornecem uma base genérica para explicar o
comportamento dos usuários de tecnologia. Base esta utilizada por outros pesquisa-
dores como o próprio criador da UTAUT: Venkatesh et al. (2003) e formalizou em
sua pesquisa.
Esses trabalhos têm em comum explicar que os usuários são influenciados
por fatores diversos e estes fatores os levam a um comportamento razoavelmente
determinístico que promovem maior ou menor aceitação e uso de uma tecnologia ou
sistema. Com isso, citam-se diversos trabalhos comprovando a eficácia desses mo-
delos e teorias de aceitação como Karahanna; Straub (1999), Oliveira Júnior (2006) ,
Oshlyansky et al. (1904) e Thomas et al. (2013) que buscam apresentar fatores pre-
dominantes aos usuários que o levam desde aceitar o uso de redes móveis de inter-
net na Ásia, aceitação de sistemas em meios corporativos, até uso de sistemas ban-
cários web.
No meio empresarial os estudos de aceitação aliados a estudos de UX Da
(Silva et al., 2011) são desenvolvidos a fim de ter maior assertividade na escolha de
um sistema de gestão que seja bem aceito pelos colaboradores de uma empresa,
aceitação de consumidores de tecnologias buscando aumentar a venda com a maior
aceitação de determinados produtos ou mesmo auxiliando no desenvolvimento de
novos produtos de tecnologia, mais particularmente, de software. Autores como
Venkatesh, possuem atualmente mais de 100 artigos publicados indicando os fato-
res que ponderam sobre os usuários de determinadas amostras populacionais e ou-
tros como Bagozzi (2007) que indicam que um modelo unificado não explica particu-
laridades de caso a caso e propõe um modelo mais abrangente que se divide em
diversos outros fatores para explicar as tomadas de decisões de usuários.
38
Contudo, os estudos voltados para a aceitação de tecnologia promovem o
entendimento dos usuários sem tentar prever e modelar as expectativas aos quais
eles priorizam. Não há dentre esses e outros estudos utilizados neste trabalho simu-
lações que promova algum método a fim de analisar um perfil padrão ou tipificar um
perfil de usuário em uma modelagem que demonstre as expectativas dos usuários e
assim, possibilitar previsões de comportamento, análises de riscos, mudanças no
perfil dos usuários e mitigar possíveis riscos em alterações de produto.
39
4. METODOLOGIA
Este estudo, voltado para o desenvolvimento da metodologia de modelagem
de expectativas de usuários seguiu a sequência de atividades como descrita abaixo.
Entendimento dos usuários, sistemas e ambiente corporativo
Definição de área para a aplicação do estudo e análise dos usu-
ários e ambiente operacional
Instruções prévias
Pesquisa prévia às inserções de eventos
Inserção de eventos
Levantamento do PIP
Validações, compilações exclusões de dados
Pesquisa com usuários
Inserção de eventos
Validações, compilações exclusões de dados
Levantamento do PIP
Definição das matrizes de usuários e modelagem de expectati-
vas
Análise dos resultados
Sendo assim, a proposta presente neste trabalho validou-se em estudo de
caso com empresas que não tem atividade econômica principal o desenvolvimento
de sistemas de informações e se utilizam de algum sistema para seus controles ge-
renciais. Logo, por meio das empresas desenvolvedoras destes sistemas (sof-
twarehouse) obteve-se acesso aos usuários e com o auxílio dessas softwarehouses
40
pode-se validar dados e realizar-se inserções de eventos nos sistemas e no ambien-
te ao qual os usuários estão inseridos.
Os dados foram obtidos no segundo semestre de 2015 e primeiro semestre
de 2016 com 75 usuários de 4 empresas diferentes. Os usuários pertenciam a diver-
sos departamentos e não se restringiu hierarquia ou qualquer outra forma de catego-
rização funcional.
Não houve também restrição física para a execução da pesquisa, que foi re-
alizada em clientes de duas softwarehouse da cidade de Maringá. Sendo assim, os
clientes destas empresas possuíam colaboradores em cidades diversas e diversos
estados dentro do território brasileiro.
Essas definições se apresentam importantes, pois, conforme apresentado
anteriormente diferenças culturais podem se apresentar fatores aos quais os usuá-
rios se apoiem para suas intenções e tomadas de decisões. Destaca-se aqui a
abrangência em diferentes hierarquias, cargos e setores dentro da empresa, além
de diferentes locais físicos – cidades e estados diferentes, inclusive – conforme
Oliveira Júnior (2006) apresenta essa importância.
4.1 ENTENDIMENTO DOS USUÁRIOS, SISTEMAS E AMBIENTE CORPORA-
TIVO
Haja vista a complexidade do ambiente corporativo de cada empresa
(Bagozzi, 2007), das diferenças culturais e dos valores é premente entender os sis-
temas envolvidos no processo, os usuários e o ambiente como um todo.
Por consequência, identifica-se quais usuários utilizam o sistema foco da aná-
lise, quais destes usuários farão parte da pesquisa e qual interesse de cada um. A
41
identificação é feita em conjunto entre a softwarehouse e a empresa a sofrer a pes-
quisa. Sendo que, o levantamento dos interesses do usuário é feito particularmente
usuário a usuário. Neste levantamento houve fichamento dos usuários que participa-
ram da pesquisa por meio de planilha eletrônica, anotando-se nome, idade, sexo,
escolaridade, departamento da empresa que trabalha, tempo de experiência com o
sistema e tempo de empresa. Muito embora, nem todos os dados recolhidos fizeram
parte da pesquisa ou tiveram dados associados ou relacionados com outro em al-
gum momento.
Com isso, nesta fase elimina-se usuários que não poderiam participar da pes-
quisa até o final e gerariam dados inconsistentes ou por mesmo algum outro motivo,
tal como, falta de uso do sistema.
4.2 DEFINIÇÃO DE ESCOPO E CRONOGRAMA DAS PESQUISAS COM
USUÁRIOS E INSERÇÕES DE DADOS
A definição de escopo e do cronograma das pesquisas foi validada com as
empresas e com a softwarehouse, pois as empresas têm suas atividades e períodos
de maior carga de trabalho para seus colaboradores e a softwarehouse possui perí-
odos definidos de liberação de versões que servem para análise dos PIP.
Além disso, o escopo em relação aos sistemas envolvidos se deu apenas pa-
ra os softwares indicados pela softwarehouse devido a maior controle sobre altera-
ções nas ferramentas do software.
Resumidamente, os sistemas – apenas um para cada empresa – foram defi-
nidos devido a sua facilidade na validação das alterações, incidentes de suporte e
solicitações de alterações e melhorias dos usuários. Os usuários foram selecionados
conforme o uso do sistema, possibilidade de participação da pesquisa de início a fim
42
– os usuários que por algum motivo participaram do início da pesquisa e não pude-
ram ou quiseram se manter na pesquisa tiveram os dados descartados. Da mesma
forma, o cronograma foi alinhado entre as liberações de versões da softwarehouse e
a possibilidade de a empresa em poder disponibilizar o tempo de seus usuários à
pesquisa.
4.3 INSTRUÇÕES PRECEDENTES À APLICAÇÃO DAS PESQUISAS
De acordo com a abrangência da pesquisa dentro da empresa, que não res-
tringe os colaboradores a um departamento, nível hierárquico ou atividade, realiza-
se uma reunião geral explicando-se a todos os presentes os objetivos da pesquisa,
as intenções da softwarehouse e da diretoria da empresa que está sofrendo a pes-
quisa e respondidas as dúvidas em geral dos participantes ou não participantes.
Deixa-se claro nesta etapa que o objetivo da pesquisa não é levantar o co-
nhecimento dos usuários no sistema utilizado ou mesmo a eficiência ou eficácia na
execução de seu trabalho. O objetivo é possibilitar a melhoria do entendimento das
expectativas do usuário para com o sistema e a partir disso propor futuramente me-
lhorias no mesmo.
Na figura abaixo é possível ver de forma resumida e ilustrativa que o conhe-
cimento das necessidades das empresas, contexto geral dos usuários e instrução
geral da pesquisa serviu como um primeiro filtro para indicar possíveis candidatos a
participar da pesquisa.
43
Figura 1 - Primeiro filtro de usuários participantes
4.4 PESQUISA PRÉVIA A INSERÇÕES DE EVENTOS
Nesta fase do trabalho foram recolhidos os primeiros dados relativos às ex-
pectativas dos usuários. Sendo que a coleta desses dados foi realizada de 3 formas.
Para os usuários localizados em distâncias geográficas que permitam contato pes-
soal realiza-se pesquisa com cartas ou com cartão único. Para os usuários em dis-
tâncias maiores realiza-se com sistema web.
Os múltiplos cartões são pequenos cartões de dimensões idênticas uns aos
outros que possuam o grupo e a descrição do grupo a qual se referem impressos
neles. Logo, distribuídos os cartões em qualquer ordenação para o usuário pede-se
para ele ordenar os cartões da maior para a menor relevância considerando-se qual
grupo possui maior impacto e o usuário é mais bem atendido pelo sistema naquele
momento em seu dia-a-dia. Então, o usuário ordena as cartas e anota-se a sequên-
cia. Na figura 1 apresenta-se os cartões dispostos, como exemplo, priorizados do
Pesquisa prévia (75 usuários)
Primeiro contato com usários finais dos sistemas
(+400 usuários)
44
grupo de maior importância para o usuário para o grupo de menor importância, sen-
do o topo o de maior hierarquia e a base o de menor.
Dessa forma, a disposição que o usuário neste exemplo indicou é, da maior
para a menor priorização, nesta ordem:
Grupo 2
Grupo 7
Grupo 3
Grupo 6
Grupo 1
Grupo 5
Grupo 4
46
Analogamente, o cartão único permite ao usuário a distribuição das priorida-
des por meio de um impresso em que são anexados a ele anotações referentes a
hierarquias. Conforme a figura 2 apresenta a mesma hierarquização da figura ante-
rior.
Figura 3 – Cartão único com anotações de prioridades para cada grupo
O sistema web, utilizado para alguns usuários, é um site com algumas infor-
mações básicas iniciais que permitem ao usuário melhor esclarecimento acerca de
cada grupo de expectativa – considera-se que a pesquisa e seus objetivos já foram
explicados anteriormente – e permite ao usuário priorizar os grupos de expectativa
arrastando caixas de texto da mesma forma que faria com as cartas.
47
No caso do sistema web utilizou-se Python 3 com o framework Flask, boo-
tstrap e Jquery para a criação da ferramenta. A utilização do site permite que os
usuários realizem suas entradas de dados e o SGBD (sistema gerenciador de banco
de dados) é alimentado em tempo de inserção facilitando a coleta de informações.
O sistema criado para esta finalidade possui a interface conforme as figuras 3
e figura 4. Na figura 3 há uma breve introdução da pesquisa que é apresentada co-
mo tela inicial e na figura 4 há as caixas de texto sendo arrastada para cima ou para
baixo a fim de elencar os grupos de expectativas.
Figura 4 - Tela Inicial do aplicativo Web de pesquisa
50
4.5 LEVANTAMENTO DO PERCEPTIBILIDADE, IMPACTO E POSITIVI-
DADE (PIP)
O levantamento do PIP é possível apenas após a inserção de eventos no
meio ambiente do usuário. Sejam eventos nas ferramentas de software utilizadas ou
sejam eventos não diretamente relacionados, como o comportamento de outros
usuários para com o software.
Consequentemente, foram criados eventos para os usuários e validou-se ca-
so a caso a perceptibilidade do evento para o usuário. Eventos como alterações no
layout de alguma ferramenta utilizada pelo usuário dentro do sistema, conclusão do
desenvolvimento de alguma ferramenta esperada pelo usuário, alteração em algum
processo do software para aumentar ou diminuir o tempo de execução do mesmo,
alteração no ambiente de trabalho do usuário – tornando-o mais ou menos agradá-
vel – etc.
Ademais, utilizou-se de pessoas que não estavam participando diretamente
da pesquisa para influenciar positiva ou negativamente outros usuários a fim de in-
fluenciar percepção no PIP do grupo de expectativas 4 – influências sociais.
O levantamento dos valores de PIP se deu por meio de entrevista direta e ob-
servação dos usuários. Dessa forma, cada usuário participante da pesquisa informa
em cada grupo se foi percebida alguma alteração (perceptibilidade), se aquela alte-
ração resulta em impacto alto ou baixo (impacto) e se este impacto é positivo - ou
bom – ou negativo – ou ruim – para o dia-a-dia do usuário e sua percepção do sis-
tema (positividade).
Dessa forma, se o usuário responde que não percebeu alteração alguma o
PIP fica sendo zero. Caso ocorra perceptibilidade, naquele grupo de expectativa a
perceptibilidade é igual a 1. Na sequência, avalia-se o impacto. Caso o usuário indi-
51
que que houve um impacto baixo multiplica-se a perceptibilidade por 1 caso o usuá-
rio tenha notado um impacto alto multiplica-se a perceptibilidade por 2.
Por último, analisa-se se o impacto do evento foi positivo ou negativo. Caso
positivo, multiplica-se o resultado anterior por 1 se for negativo multiplica-se por -1.
4.6 VALIDAÇÕES E EXCLUSÕES DE DADOS
Com os dados relativos a pesquisa e aos PIP correspondentes avalia-se se
houveram divergências entre os resultados. Tais como:
Houve alteração e não foi percebida pelo usuário em algum grupo que
é de prioridade mais elevada para ele
Não ouve alteração e o usuário percebeu alteração não justificada
Algum evento de alto impacto não foi percebido
Algum evento de alto impacto e negativo dentro de um grupo de expec-
tativa de alta prioridade não teve essa avaliação por parte do usuário
Algum evento de alto impacto e positivo dentro de um grupo de expec-
tativa de alta prioridade não teve essa avaliação por parte de um usuá-
rio
Há certa subjetividade em relação ao grau de impacto e positividade do even-
to. Contudo, os engenheiros de software responsáveis pelo sistema podem avaliar o
grau de impacto assim como a urgência dos chamados de suporte indicados pelos
próprios usuários. Logo, sendo uma ferramenta importante para o usuário o impacto
de uma alteração nela pode ser medida por especialistas, pelo próprio usuário ou
por outros colaboradores da mesma empresa com funções próximas ou gestores de
áreas em relação a seus subordinados.
52
4.7 PESQUISAS POSTERIORES COM OS USUÁRIOS
Com o propósito de facilitar o levantamento do PIP e não atrapalhar os pro-
cessos cotidianos da empresa alinham-se as pesquisas às liberações de versões ou
atualizações do sistema e datas de menor fluxo de trabalho para a empresa.
Dessa forma, é possível obter dados relativos a pesquisa em que o usuário
esteja atento e focado em suas priorizações de expectativas além de garantir que
ocorram inserções de eventos, como correções de problemas aparecimento de fa-
lhas ou erros no sistema, inserção de novas funcionalidades no software, etc.
Todas as pesquisas se utilizaram de uma das 3 formas de levantamento de
priorização de expectativas apresentadas anteriormente – cartão simples, múltiplos
cartões e sistema web - e todas as pesquisas tiveram os mesmos critérios para a
avaliação do PIP conforme apresentado no tópico 4.8, a seguir. Além disso, os le-
vantamentos de expectativas e o levantamento do PIP são feitos em momentos dife-
rentes com dois objetivos, um é reduzir o tempo de o usuário fora de seu labor e o
outro é não confundir os usuários entre o levantamento das expectativas e a percep-
tibilidade dos eventos.
4.8 VALIDAÇÕES DE DADOS
Os dados que vieram do sistema web alimentam um banco de dados relacio-
nal (MariaDB). Contudo, os dados advindos das pesquisas com múltiplos cartões ou
cartão único têm que sofrer inserção em banco de dados de forma não automatiza-
da.
Assim que os dados são lançados em banco de dados, verificam-se as vali-
dações referente ao PIP. Na sequência, verificam-se respostas incompletas ou da-
53
dos faltantes e excluem-se os usuários que tiveram esses casos. Posteriormente,
validam-se os dados referentes a diferentes pesquisas quanto as prioridades e veri-
fica-se se houveram alterações significativas em relação as prioridades. Por exem-
plo, um grupo que tem prioridade muito baixa em uma pesquisa estar entre as mais
prioritárias em pesquisas posteriores. No caso de ocorrências dessa natureza, ques-
tiona-se o usuário e verifica-se se alguma pesquisa foi respondida de forma des-
comprometida e invalida-se aquele usuário da pesquisa.
Casos em que os usuários respondam algumas pesquisas e deixem de res-
ponder outras por qualquer motivo todas as pesquisas anteriores são descartadas
deste trabalho.
4.9 DEFINIÇÃO DAS MATRIZES DE USUÁRIOS E MODELAGEM DE
EXPECTATIVAS
Tendo os dados validados pesquisa a pesquisa e os PIP levantados criam-se
as matrizes de expectativas de usuários. As matrizes são compilações de dados dos
usuários em um gráfico de radar contendo como eixo axial os 7 grupos de expectati-
vas e como eixo y (coordenadas) a hierarquia das expectativas.
O eixo das coordenadas possui orientação contrária a ordenação das expec-
tativas. Sendo indicado como menor a prioridade o número 1 apresentada com o
maior valor e a de maior prioridade o número 7 conforme sugerido por Barbosa
(2013).
Quando do levantamento completo dos usuários de uma empresa em uma
pesquisa ou após sucessivas pesquisas com os usuários, traça-se tanto para o pri-
meiro caso quanto para o segundo as medidas de dispersão, quanto as medidas de
tendência central (média, mediana, entre outros) para descrever os grupos de ex-
54
pectativa em um período de tempo ou para descrever um grupo de usuários e simu-
lar os efeitos de um evento em outro grupo por meio da curva de distribuição de pro-
babilidade que as pesquisas apontam, ou seja, a moda é um determinado grupo de
expectativa com frequência relativa em um determinado valor e este valor aponta
que um PIP de alto impacto é mais facilmente percebido pelos usuários.
4.10 ANÁLISE DOS RESULTADOS
Os resultados apresentados por meio dos dados tabulados e das matrizes de
expectativas criadas são analisados conjuntamente com os dados de PIP e validado
concomitantemente ao andamento das pesquisas, ou seja, os dados são analisados
não apenas no final de todas as pesquisas, e sim, dinamicamente, junto a pesquisa.
Para isso, utiliza-se de sistema gerenciador de banco de dados relacional
(MariaDB) que provê por meio de consultas SQL o agrupamento e análise dos da-
dos, a tabulação em forma de relatórios e entrada para a geração das matrizes em
Javascript (utilizando a biblioteca highcharts).
Os cálculos de média, mediana, moda, desvio e outros cálculos estatísticos
são realizados por meio da linguagem de programação Python e de bibliotecas co-
mo a NumPy.
55
5. ESTUDO DE CASO
5.1 INSTRUÇÕES PRÉVIAS, ANÁLISE DO AMBIENTE E DEFINIÇÕES
Assim que realizada a primeira reunião com todos os colaboradores em ca-
da empresa iniciam-se as entrevistas com os usuários a fim de identificar quais cola-
boradores nas empresas podem gerar algum resultado à pesquisa e quais não po-
dem. Nas entrevistas são respondidas, também, as dúvidas restantes dos usuários e
nota-se certa apreensão de alguns quanto a avaliação pessoal de seu trabalho. Com
isso, comenta-se que os resultados do trabalho são necessários para mensurar a
adequação das expectativas à ferramenta e não o de indicar performance pessoal
ou comparar performance operacional entre os colaboradores da empresa.
Previamente às entrevistas, os usuários que não se utilizam do sistema alvo
são dispensados, reduzindo o número entrevistados. Nestas entrevistas, cadastra-se
o nome e departamento do colaborador e se pergunta quanto a intenção de partici-
par da pesquisa de forma espontânea e voluntária. Aos usuários que respondem
negativamente essa pergunta a entrevista não tem continuidade. Na sequência, per-
gunta-se novamente se há dúvidas e dispensa-se os usuários.
De um total de mais de 400 funcionários na soma total das 4 empresas ape-
nas 75 apresentam perfil e comprometeram-se com a pesquisa. Sendo que, posteri-
ormente alguns destes desligaram-se da empresa ou por algum motivo não puderam
participar mais do trabalho e o número total de usuários com resultados completos é
de 66 usuários.
Os cronogramas para as futuras coletas de dados não são completamente
definidos desde o início da pesquisa e são, normalmente, alteradas no decorrer do
56
tempo, contudo os períodos entre atualizações e ou liberações de versão de siste-
mas são respeitados.
Embora não tenha sido objeto principal deste trabalho realizou-se uma pes-
quisa paralela com escopo diferente do principal, em que se observou a mesma
pesquisa com relação ao sistema operacional utilizado pelos funcionários da empre-
sa. Esta pesquisa paralela se mostrou importante pois, embora não tabulada aqui,
destacou uma matriz de expectativas completamente diferente da apresentada pelo
sistema ERP. Posteriormente, será melhor abordado nesta dissertação o resultado
desta análise paralela e relacionado com os objetivos principais deste estudo. Esta
apuração paralela foi possível pois, em uma das empresas ocorreu troca de sistema
operacional de Windows para Linux para alguns usuários e foi possível acompanhar
o andamento precedente e posterior a mudança.
5.2 PRIMEIRA PESQUISA COM OS USUÁRIOS
Na primeira pesquisa com os usuários tabulou-se os resultados conforme a
tabela 3. Observa-se nesta tabela, que alguns grupos não possuem uma grande va-
riação de amplitude em relação à hierarquia. Por exemplo, o grupo 1 varia da hierar-
quia mais alta (7) até 5, sendo que possui maior concentração (moda) na hierarquia
mais alta. Com isso, infere-se que o grupo de expectativas 1 está entre os grupos
mais significativos para a população amostral em relação ao sistema em questão.
Analogamente, a mesma análise se faz sobre os outros grupos de expectati-
va e destaca-se comportamento semelhante. Apesar disso, destaca-se que esse
padrão de comportamento para os usuários pode ter sido mero acaso assim como
57
indica Venkatesh et al. (2003). Embora, este padrão não prejudique ou facilite a aná-
lise ou modelagem de expectativas.
Tabela 3 – Primeira pesquisa com usuários
Grupo
Hierarquia
Quantidade
1 5 1
9
1 6 1
9
1 7 2
8
2 3 2
4
2 4 2
2
2 5 1
6 2 6 4
3 2 4
3
3 3 1
4 3 4 9
4 1 4
4
4 2 2
2
5 3 2
8
5 4 2
6
5 5 1
0 5 6 2
6 1 2
2 6 2 1
6 4 8
6 5 1
9
6 6 1
6 7 4 1
7 5 2
7 6 25
7 7 3
8 Fonte: o autor(2016)
58
Além disso, esta tabela consta apenas de dados em que o grupo de expec-
tativa teve quantidade observada de dados acima de zero para cada hierarquia.
Esses resultados iniciais apresentam conformidade com as teorias apresen-
tadas anteriormente e com a pesquisa de Moura et al. (2014) que indica que os sis-
temas para uso corporativo devem apresentar facilidade de uso e oferecer grande
agilidade no uso a fim de garantir maior desempenho operacional.
5.3 INSERÇÃO DE EVENTOS E LEVANTAMENTO E ANÁLISE DOS PIP
Foram inseridos diversos eventos no ambiente do usuário e no sistema ao
qual o usuário se utiliza e responde as pesquisas. Nestes eventos destaca-se que
há bastante compatibilidade entre as hierarquias as quais os usuários indicam como
mais prioritárias e eventos cujo perceptibilidade deveriam ser observados pelos usu-
ários além de ocasionar maior percepção de impacto.
Os PIP relativos a este trabalho encontram-se no apêndice I na forma de ta-
bela com os dados brutos. Além disso, a análise com auxílio de gerenciadores de
banco de dados, como o MariaDB, facilita esta validação, uma vez que se torna pos-
sível a agregação dos dados criação de scripts em SQL que indica divergências pa-
ra a conferência entre as pesquisas e a avaliação dos PIP.
5.4 PESQUISAS POSTERIORES
A tabela 4 apresenta os dados da segunda pesquisa com os colaboradores en-
trevistados. Salienta-se nesta segunda pesquisa um resultado muito próximo à pri-
meira pesquisa, em que os grupos de maior prioridade continuam sendo os de maior
hierarquia para os usuários e há pouca amplitude de hierarquia entre um mesmo
grupo de expectativas.
Os resultados dessa segunda pesquisa e da validação dos PIP da primeira pes-
quisa reforçam que ambientes corporativos os interesses se mantém razoavelmente
homogêneos e não há alterações drásticas em relação as hierarquias dos grupos
59
em pesquisas em diferentes períodos de tempo. Moura et al (2014) e Venkatesh et
al. (2002), em suas pesquisas, já haviam demostrado isso de formas diferentes.
Os PIP dessa segunda pesquisa com os usuários têm resultados semelhantes
ao da primeira pesquisa, reforçam a percepção e impacto de eventos em grupos de
expectativas prioritários em oposição aos grupos de menor interesse.
Tabela 4 - Segunda pesquisa com usuários.
Grupo
Hierarquia
Quantidade
1 5 18 1 6 21 1 7 27 2 3 23 2 4 23 2 5 12 2 6 8 3 2 41 3 3 19 3 4 4 3 5 2 4 1 41 4 2 25 5 3 24 5 4 28 5 5 12 5 6 2 6 1 25 6 4 9 6 5 18 6 6 14 7 4 1 7 5 7 7 6 19 7 7 39
60
Fonte: o autor(2016)
A fim de permitir melhor ilustração e facilitar a análise destaco abaixo os re-
sultados da pesquisa 3, da pesquisa 4 e da pesquisa 5, em que se obtém conclu-
sões semelhantes às anteriormente apresentadas nas outras duas pesquisas anteri-
ores.
61
Tabela 5 -Terceira Pesquisa com usuários.
Grupo Hierarquia Quantidade
1 5 12
1 6 31
1 7 23
2 3 32
2 4 21
2 5 11
2 6 1
2 7 1
3 2 44
3 3 19
3 4 3
4 1 44
4 2 22
5 3 15
5 4 36
5 5 13
5 6 2
6 1 22
6 4 6
6 5 30
6 6 8
7 5 2
7 6 22
7 7 42 Fonte: o autor(2016)
Tabela 6 - Quarta pesquisa com usuários.
Grupo Hierarquia Quantidade 1 5 15 1 6 27 1 7 24 2 3 16 2 4 27 2 5 20 2 6 3 3 2 38 3 3 23 3 4 5 4 1 38 4 2 28 5 3 26 5 4 26 5 5 12
62
5 6 2 6 1 28 6 4 8 6 5 19 6 6 11 7 3 1 7 5 2 7 6 21 7 7 42
Fonte: o autor(2016)
Tabela 7 - Quinta pesquisa com usuários.
Grupo Hierarquia Quantidade 1 5 14 1 6 39 1 7 13 2 3 24 2 4 22 2 5 17 2 6 2 2 7 1 3 1 1 3 2 45 3 3 12 3 4 6 3 5 2 4 1 45 4 2 21 5 3 30 5 4 28 5 5 7 5 6 1 6 1 20 6 4 9 6 5 25 6 6 12 7 5 2 7 6 12 7 7 52
Fonte: o autor(2016)
63
Entre a terceira e a quarta pesquisa foi realizada uma pesquisa paralela que
visava apenas um grupo restrito de usuários e o sistema avaliado em questão era o
sistema operacional, conforme apresentado no tópico 5.1 desta dissertação. Nesta
breve pesquisa paralela, um grupo de usuários respondeu aos questionários e indi-
cou as hierarquias sobre os grupos de expectativas para o sistema operacional ao
qual ele operava.
Sendo assim, este grupo apresentou apenas dois sistemas operacionais, a
saber: Microsoft Windows e Linux (sem foco em alguma distribuição específica). E
nesta pesquisa verificou-se que os usuários com preferência ao Windows utilizam o
sistema operacional principalmente pela facilidade de uso e pela facilidade em su-
porte quando de alguma necessidade decorrente do uso do mesmo. Por conseguin-
te, os usuários que habitualmente se fazem uso do sistema operacional Linux apre-
sentaram uma matriz completamente diferente de necessidades, para eles não é tão
importante uma interface gráfica (experiência de uso), ou mesmo a facilidade de
uso. Fundamentalmente, os usuários de Linux preocupam-se com o grupo de segu-
rança e aplicabilidade ou flexibilidade ao seu uso, pois podem customizar em mais
alto grau o sistema operacional (Management Science (2006)).
Além disso, notou-se que as matrizes de expectativa para essa analisem pa-
ralela sofreu grande variação com o passar do tempo. Indicando maiores alterações
com o passar do tempo nas expectativas dos usuários para sistemas deste tipo.
5.5 ANÁLISE DOS DADOS E CRIAÇÃO DAS MATRIZES
De posse dos dados consistidos e validados em mãos, analisou-se quais fo-
ram os valores de máximo e de mínimo para cada grupo de hierarquia. E foi criada a
primeira matriz de expectativas conforme destaca-se na figura 5.
Nesta figura, mantém-se a observação de pouca amplitude de hierarquias por
grupo de expectativas, em geral. Além de que, destaca quais são os grupos de ex-
pectativa de maior interesse para o grupo deste estudo de caso. A matriz montada
apresenta, neste momento, apenas dados relativos a valores máximos e mínimos.
Contudo, é fácil constatar-se que se as medidas de tendência central ou probabilísti-
cas não forem levantadas, erros grosseiros podem surgir.
64
Figura 6 – Matriz de expectativa da primeira pesquisa
Fonte: o autor (2016).
Um caso de erro que pode ser destacado é que a matriz da forma como apre-
sentada no gráfico de eixo radial (ou simplesmente radar) é que, não apresenta dis-
tribuição de frequências de prioridades por grupo. Nesta matriz, alguns grupos de
expectativa, como o grupo 6 (aplicabilidade ao negócio), apresentam uma maior
amplitude nos dados, sendo desde um dos grupos menos importante na visão de
alguns usuários até o grupo mais importante para outros. Com isso, vemos que ape-
nas as matrizes de uma pesquisa separadamente, sem maior detalhamento dos da-
dos e de um usuário apenas pode não representar a modelagem correta para um
grupo de usuários com diferentes necessidades e expectativas para com um sistema
e se for utilizada para a simulação de expectativas ampliando os resultados para
65
outro grupo pode gerar divergências e falta de associação entre a análise final e os
interesses reais dos usuários.
Contudo, esta primeira matriz indica características já apontadas anteriormen-
te que juntamente as softwarehouse participantes da pesquisa, apontam uma ten-
dência a negligenciar o grupo de fatores sociais e segurança. Essa característica foi
notada, pois as empresas participantes do projeto têm políticas razoavelmente restri-
tivas quanto a liberdade de escolha de sistemas e há um departamento de TI que
tem por objetivo garantir, entre outras coisas, a segurança da informação logo, os
usuários não possuem motivos para se preocupar quanto a segurança e não apre-
sentam forte influência em outros usuários quanto ao uso do sistema. Todos os pro-
cedimentos e ferramentas do sistema estão devidamente documentados, o que di-
minui fatores de influência social entre os usuários, haja vista que o fato terem boa
aceitação ou não do sistema estava restrito a eles mesmos, pois não há a possibili-
dade de troca do sistema e o único ponto de contato quando em necessidade de
suporte era o departamento de TI.
Posteriormente, a cada pesquisa e inserção de eventos criou-se a matriz cor-
respondente. Conforme segue na sequência abaixo. E, da mesma forma que estu-
dado anteriormente, os grupos de maior prioridade mantêm-se nas figuras 6, 7, 8 e
9. E os de menor prioridade são vistos repetidamente como de menor prioridade, em
geral, para as mesmas figuras.
Portanto, conclui-se o resultado parcial da modelagem sem levar em conside-
ração medidas estatísticas para posterior uso em simulações e representação gené-
rica do grupo de usuários da amostra.
66
Figura 7 – Matriz de expectativa da segunda pesquisa
Fonte: o autor (2016).
Figura 8 – Matriz de expectativa da terceira pesquisa
Fonte: o autor (2016).
67
Figura 9 – Matriz de expectativa da quarta pesquisa
Fonte: o autor (2016).
Figura 10 – Matriz de expectativa da quinta pesquisa
Fonte: o autor (2016).
68
5.6 AVALIAÇÕES DIVERSAS DOS DADOS E MODELAGEM FINAL
Avaliou-se no conjunto pesquisas e inserções de eventos, os critérios que
pudessem gerar dados para uma predição acerca de riscos a projetos que tivessem
como objeto principal o uso e aceitação de sistema. Esse tipo de risco normalmente
é dado como uma incerteza em um projeto e não é avaliado quantitativamente.
Sendo assim, apontou-se a matriz de expectativa como uma ferramenta útil
na gestão desse tipo de projeto. As softwarehouse participantes desta pesquisa ci-
entífica que permitiram a pesquisa com os usuários identificaram para elas dois mo-
mentos diferentes em que a avaliação do usuário é um risco ao projeto: quando da
inserção de um produto ou ferramenta nova ao usuário e no momento da implanta-
ção de um sistema.
Com isso, durante o período da pesquisa o feedback dos dados coletados
nas pesquisas aos gerentes de produto e projeto das softwarehouse auxiliaram no
gerenciamento de projetos ou criação de produtos com características mais atentas
aos reais interesses dos usuários. Essas mensurações aproveitaram-se de outro
objetivo deste trabalho que é avaliação de retorno não-financeiro à softwarehouse.
Como a redução de não conformidades, melhoria da qualidade de produtos e servi-
ços prestados, melhor alinhamento entre os clientes e produtos/serviços oferecidos.
Logo, para ocorrerem estas avaliações as empresas corrigiram processos in-
ternos expondo as expectativas dos usuários a fim de gerarem dados para a reavali-
ação de seus produtos e requisitos projetos.
Dessa maneira, é apresentada a matriz de expectativas final desta pesquisa
e para a modelagem final utilizou-se como parâmetro a moda (maior quantidade de
hierarquias indicadas por grupo), além dos valores máximos e mínimos para cada
grupo. Conforme dito anteriormente, a moda poderia ter sido substituída pela media-
na, distribuição com maior frequência absoluta de dados, média, etc.
Outrossim, nota-se na figura 10 que é possível simular e prever comporta-
mentos ou aceitação de usuários de forma mais assertiva, tendo em vista que, pelo
exemplo desta figura, os grupos 7, 6, 1 e 5 tem maior prioridade para os usuários.
69
Figura 11 – Matriz final de expectativas
Fonte: o autor (2016).
Na tabela 8 pode-se conferir os valores que geraram a matriz que modelou os
usuários desta pesquisa. A tabela é uma forma numérica de comprovar os dados
apresentados de forma visual pela matriz e conferem os mesmos resultados e con-
clusões.
Tabela 8 - Compilação de hierarquias das expectativas de usuários
Máximos Mínimos Hierarquia com maior Frequência de Distribuição
Grupo P. 1 P. 2 P. 3 P. 4 P. 5 P. 1 P. 2 P. 3 P. 4 P. 5 P. 1 P. 2 P. 3 P. 4 P. 5
1 7 7 7 7 7 5 5 5 5 5 7 7 6 6 6
2 6 6 7 6 7 3 3 3 3 3 3 3 3 3 3
3 4 5 4 4 5 2 2 2 2 1 2 2 2 2 2
4 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1
5 6 6 6 6 6 3 3 3 3 3 3 4 4 4 3
6 6 6 6 6 6 1 1 1 1 1 1 1 5 1 5
7 7 7 7 7 7 4 4 5 3 5 7 7 7 7 7
Fonte: o autor (2016)
70
6. ANÁLISE DOS RESULTADOS
Os resultados obtidos neste trabalho referentes as pesquisas com os usuários
apresentam pouca variação entre os mínimos e máximos de cada grupo de expecta-
tiva nas diferentes pesquisas. Ou seja, o resultado é consistente com a expectativa
real do usuário, pois para o grupo de usuários pesquisados a intenção para com o
uso do sistema não sofreu variação. Haja vista, que o sistema permaneceu o mesmo
e o ambiente geral dos usuários também não sofreu significativas alterações.
Os dados apresentados na tabela 8 e na figura 11 indicam também que por
diversas pesquisas os máximos, mínimos e a hierarquia com maior distribuição para
determinados grupos mantiveram-se estáveis.
Paralelamente, nota-se que a análise de máximo, mínimo e classe modal po-
de não ser completamente ilustrativa para quaisquer casos. Há uma margem de se-
gurança para este caso em especifico em indicar que qualquer alteração significativa
que altere para melhor ou não a percepção do usuário em relação ao grupo seis,
sete ou um. Mas seria mais apropriado verificar com uma análise estatística mais
aprofundada utilizando-se de outras métricas como fatores de correlação ou associ-
ação para alterações mais profundas. Com isso, é possível indicar que no caso de
uma alteração com a modelagem apresentada existe uma relação forte ao usuário
ter maior PIP positivo ou não. E, dessa forma, traçar com uma previsão probabilísti-
ca o efeito de uma alteração no software
Ademais, de acordo com a metodologia apresentada, houve alinhamento en-
tre as diversas teorias apresentadas até aqui e a metodologia proposta neste traba-
lho. Foi verificado, também, que ainda que a metodologia criada aqui tenha sido
aplicada ao meio corporativo, aplica-se também a outros ambientes e a diferentes
71
sistemas e situações. E, ainda, que a metodologia apresentou resultados e estes
podem sofrer diferentes formas de análise flexibilizando a metodologia aos interes-
ses do pesquisador com o mesmo conjunto de dados.
Os resultados apresentados referentes a qualidade percebidos pelas empre-
sas participantes do projeto, tanto as desenvolvedoras dos sistemas e suas equipes,
quanto as empresas que sofreram as pesquisas junto aos usuários, não foram quan-
tificados durante a pesquisa. Contudo, com as modelagens em mãos por parte das
empresas desenvolvedoras houve um maior cuidado com os grupos de maior priori-
dade para os usuários e foi percebido pelo departamento de garantia da qualidade
destas um acréscimo no nível geral de satisfação para com o sistema. Esse acrés-
cimo variou de empresa para empresa, até porque cada empresa avalia a satisfação
de forma diferente e com métricas diferentes.
As modelagens ainda permitiram às equipes de desenvolvimento, análise e
qualidade das empresas desenvolvedoras dos sistemas a gestão dos riscos. Houve
maior cuidado nas fases relativas a cada equipe para com os fatores de maior priori-
dade para os usuários e que poderiam gerar PIP com valores mais baixos e, conse-
quentemente, maior insatisfação. Logo, a gestão dos riscos, também com métricas
diferentes para cada uma das empresas, também não pode ser mensurada quantita-
tivamente, contudo, todas as empresa indicaram melhoria nos processos que culmi-
nam na satisfação do usuário final.
72
7. CONCLUSÕES
7.1 CONCLUSÕES, CONSIDERAÇÕES FINAIS E TRABALHOS FUTUROS
Conclui-se, então, que os objetivos dessa pesquisa foram cumpridos. Desde
a criação da metodologia até apresentar formas de avaliação dos fatores cognitivos
as quais os usuários utilizam para ponderações pessoais quanto ao uso do sistema.
Como também, apresentou-se formas de obter retornos não-financeiros baseados
no alinhamento entre as expectativas dos usuários e o que o software pode prover
como indicado em tópicos anteriores do desenvolvimento deste trabalho.
Dessa forma, a metodologia aplicada se indicou satisfatória para avaliar per-
fis de usuários de acordo com as teorias apresentadas anteriormente e com os re-
sultados obtidos. Destaca-se alterações que impactam de forma positiva ou negativa
ao usuário e com isso reduz-se a aceitação e intenção de uso do usuário para com o
sistema de informação.
Muito embora, essa pesquisa não tenha procurado identificar de forma mais
minuciosa padrões e relações entre melhor uso no sistema e o entendimento das
matrizes de usuários, ou mesmo ponderar valores considerando as distribuições de
hierarquias e valores máximos e mínimos para hierarquias dos grupos de expectati-
vas, isso se mostrou absolutamente possível e, também, poderá se tornar fruto de
trabalhos futuros. Assim como, pode ser fruto de trabalhos futuros o uso desta me-
todologia validada em outros ambientes, em outras empresas e em outros cenários.
Seria interessante, também, a aplicação deste método de mensuração e modelagem
de expectativas para exclusiva validação de riscos para grandes grupos de usuários,
inclusive utilizando algoritmos de inteligência artificial para propor melhores “cami-
73
nhos” para o desenvolvimento mais assertivo de acordo com a necessidade do gru-
po de usuários indicado.
74
8. REFERÊNCIAS
AKAO, Y. Quality function deployment: integrating customer requirements into
product design. 1990.
ALWAHAISHI, S.; SNÁŠEL, V. Consumers ’ Acceptance and Use of Information and
Communications Technology : A UTAUT and Flow Based Theoretical Model. Journal
of Technology Management & Innovation, v. 8, n. 2, p. 61–73, 2013.
AULETE, C. Dicionario Caldas Aulete Digital. .
BAGOZZI, R. P. The Legacy of the Technology Acceptance Model and a Proposal
for a Paradigm Shift. Journal of the Association for Information Systems, v. 8, n.
4, p. 244–254, 2007.
BARBOSA, R. Decisões complexas: Introduçao aos métodos qualiquantitativos
Delphi, AHP, Topsis e Árvores de Decisões. 1a Edição ed. Rio de Janeiro:
BRLOGÍSTICA, 2013.
BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Editora
Campus-Elsevier, 2010.
COLLAN, M.; TETARD, F. Lazy User Theory of Solution Selection. CELDA 2007
Conference, v. 7-9, p. 273–278, 2007.
FARIAS, J. S.; BORGES, D. M. Fatores que Influenciam a Aceitação de Tecnologia:
a Percepção de Gestores e Funcionários em uma Rede de Restaurantes. Revista
Gestao & Tecnologia, v. 16, n. 1, p. 141 – 167, 2016.
GALLETTA, P. D.; LI, N.; ZHANG, P.; et al. HUMAN-COMPUTER INTERACTION. , ,
n. 5, p. 1–61.
HERMÍNIO, G.; MARCONDES, S. Influência dos Direcionadores do Uso da TI na
Governança de TI. Revista Brasileira de Gestão de Negócios, v. 13, n. 38, p. 41–
60, 2011.
KARAHANNA, E.; STRAUB, D. W. The psychological origins of perceived usefulness
and ease-of-use. Information & Management, v. 35, n. 4, p. 237–250, 1999.
Disponível em:
<http://www.sciencedirect.com/science/article/pii/S0378720698000962>. Acesso em:
25/3/2015.
LUNARDI, G. L. Um Estudo Empírico e Analítico do Impacto da Governança de
TI no Desempenho Organizacional, 2008. Universidade Federal do Rio Grande do
Sul.
75
MANAGEMENT SCIENCE. Open Souce Software User Communities: A Study of
Participation in Linux User Groups. , p. 52, 2006.
MOURA, F. L. DE; FERREIRA, F. A; BARROS, V. F. D. A. Avaliar a Aceitação E Uso
De Software Erp. Proceedings of International Conference on Engineering and
Technology Education, v. 462-466, p. 462–466, 2014. Disponível em:
<http://proceedings.copec.org.br/index.php/intertech/article/view/1877/1789#.U1zY3e
ZdWIc>. .
OLIVEIRA JÚNIOR, R. S. A utilização do modelo TAM na avaliação da aceitação de
sistemas ERP. Dissertação (mestrado profissionalizante em Administração),
2006.
OSHLYANSKY, L.; CAIRNS, P.; THIMBLEBY, H. Validating the Unified Theory of
Acceptance and Use of Technology ( UTAUT ) tool cross-culturally. Proceedings
British Computer Society HCI 2007 Conference (2007), v. 2, p. 83–86, 1904.
RUPP, K.; CRIS, P. Requiriments Engineering Fundamentas: A Study Guide for
the Certified Professional for Requirements Engineering Exam - Foudation
Level - IREB compliant. 1o ed. Sebastopol, CA: Rocky Nook Inc., 2011.
SADIYOKO, A.; TESAVRITA, C.; KURNIAWAN, R. Increasing the Acceptance and
On-Line Transaction of an E- Commerce Site Using Technology Acceptance Model.
Proceedings of National Seminar on Applied Technology, Science, and Arts
(1st APTECS), p. 216–220, 2009.
SILVA, P. M.; DIAS, G. A. TEORIAS SOBRE ACEITAÇÃO DE TECNOLOGIA: POR
QUE OS USUÁRIOS ACEITAM OU REJEITAM AS TECNOLOGIAS DE
INFORMAÇÃO? Brazilian Journal of Information Science, v. 1, n. 2, p. 69–91,
2007.
DA SILVA, T. S.; MARTIN, A.; MAURER, F.; SILVEIRA, M. User-Centered Design
and Agile Methods: A Systematic Review. AGILE Conference (AGILE), 2011, p. 77–
86, 2011. Disponível em:
<https://scholar.google.com.br/citations?view_op=view_citation&hl=pt-
BR&user=QpUpirIAAAAJ&citation_for_view=QpUpirIAAAAJ:UeHWp8X0CEIC>. .
DA SILVA, T. S.; SILVEIRA, M. S.; MAURER, F. Ten Lessons Learned from
Integrating Interaction Design and Agile Development. Agile Conference 2013, p.
42–49, 2013.
SOMMERVILLE, I. Software Enginnering. 2011.
TAM2-based Study of website User Behavior - Using web 2.0 Websites as an
76
Example. .Disponível em: <http://www.wseas.us/e-
library/transactions/economics/2011/53-665.pdf>. Acesso em: 19/10/2014.
TAN, P. J. B. Applying the UTAUT to Understand Factors Affecting the Use of
English E-Learning Websites in Taiwan. SAGE Publications, v. 3, n. 4, 2013.
THOMAS, T. D.; SINGH, L.; GAFFAR, K. The utility of the UTAUT model in
explaining mobile learning adoption in higher education in Guyana. International
Journal od Efucation and Development using Information and Communication
Technology, v. 9, n. 3, p. 71–85, 2013.
VENKATESH, V. C ONSUMER A CCEPTANCE AND U SE OF I NFORMATION T
ECHNOLOGY : E XTENDING THE U NIFIED T HEORY. , v. 36, n. 1, p. 157–178,
2012.
VENKATESH, V.; MORRIS, M.; DAVIS, G.; DAVIS, F. TECHNOLOGY
ACCEPTANCE MODEL - Research. MIS Quarterly, p. 425–478, 2003. Disponível
em:
<http://www.vvenkatesh.com/it/organizations/Theoretical_Models.asp#Con=structdef
s>. .
VENKATESH, V.; SPEIER, C.; MORRIS, M. G. User Acceptance Enablers in
Individual Decision Making About Technology: Toward an Integrated Model.
Decision Sciences, v. 33, p. 297–316, 2002. Disponível em:
<http://doi.wiley.com/10.1111/j.1540-5915.2002.tb01646.x>. .
VENKATESH, V.; THONG, J. Y. L.; XU, X. CONSUMER ACCEPTANCE AND USE
OF INFORMATION TECHNOLOGY : EXTENDING THE UNIFIED THEORY. MIS
Quarterly, v. 36, n. 1, p. 157–178, 2012.
WILLIAMS, G. Data Mining with Rattle and R: The Art of Excavating Data for
Knowledge Discovery. 2011.
YOUSAFZAI, S.; FOXALL, G. R.; PALLISTER, J. G. Technology acceptance: a
meta-analysis of the TAM: Part 2. , v. 2, n. 3, p. 281–304, 2007. Disponível em:
<http://dx.doi.org/10.1108/17465660710834462>. .
77
APÊNDICE 1 – RESULTADOS BRUTOS DA PESQUISA
Grupos PIP
Usuário Pesquisa 1 2 3 4 5 6 7 1 2 3 4 5 6 7
1 1 7 6 2 1 3 5 4 0 0 0 0 0 0 0
1 2 7 5 2 1 3 6 4 2 0 2 1 0 0 -2
1 3 6 7 2 1 3 4 5 1 -2 2 1 -1 -1 1
1 4 7 6 2 1 4 5 3 0 -2 2 0 2 0 0
1 5 6 7 2 1 3 4 5 2 0 -1 0 -1 -2 2
2 1 5 4 3 1 5 2 7 0 0 0 0 0 0 0
2 2 6 4 3 2 5 1 7 -1 0 2 1 -2 2 2
2 3 7 3 2 1 4 5 6 -2 0 0 0 2 -1 2
2 4 6 4 2 1 3 5 7 -2 1 0 -1 0 1 1
2 5 5 3 1 2 4 5 7 -1 1 -1 1 2 -1 2
3 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
3 2 5 3 2 1 4 5 7 -1 1 0 1 -1 2 2
3 3 6 4 2 1 3 5 7 1 2 -2 -1 2 2 -2
3 4 6 4 2 1 3 5 7 -1 2 1 2 -2 2 2
3 5 7 6 5 2 3 1 6 2 -1 -2 -2 0 -2 2
4 1 6 4 3 2 5 1 7 0 0 0 0 0 0 0
4 2 5 4 2 1 3 6 7 0 2 1 -1 1 0 0
4 3 5 3 2 1 4 5 7 2 2 2 -1 2 1 -1
4 4 7 3 2 1 4 5 6 -1 -1 -2 -1 1 2 2
4 5 7 5 2 1 3 4 6 0 0 0 0 -2 0 1
5 1 7 4 3 2 5 1 6 0 0 0 0 0 0 0
5 2 7 4 3 2 5 1 6 -2 1 1 -2 2 1 -2
5 3 5 3 2 1 4 6 7 -1 -2 2 -2 0 0 -1
5 4 5 4 3 2 5 1 7 1 -1 0 1 -2 0 -1
5 5 6 5 3 2 4 1 7 1 2 2 -2 -2 1 0
6 1 6 4 3 2 5 1 7 0 0 0 0 0 0 0
6 2 6 3 2 1 4 5 7 -1 0 1 -1 1 -2 -1
6 3 5 4 3 2 5 1 7 0 0 -2 1 -1 -1 -1
6 4 6 3 2 1 4 5 7 2 -1 1 -2 -1 1 1
6 5 7 4 5 2 3 1 6 -2 2 -1 1 2 1 2
7 1 6 3 2 1 4 5 7 0 0 0 0 0 0 0
7 2 5 4 2 1 3 6 7 -2 2 0 -2 2 0 0
7 3 7 3 2 1 4 5 6 0 0 -2 -2 -2 -1 -2
7 4 6 5 2 1 3 4 7 2 2 0 0 1 -1 1
7 5 5 3 2 1 4 6 7 -2 2 0 0 1 -2 -2
8 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
8 2 5 4 3 2 6 1 7 -1 0 -2 2 -2 -1 -1
8 3 7 3 2 1 4 5 6 -1 2 2 -1 0 -2 -1
8 4 6 5 3 2 4 1 7 1 1 -1 2 -1 1 -2
8 5 6 3 2 1 4 5 7 -2 2 1 -2 1 -2 -2
9 1 7 6 3 2 4 1 5 0 0 0 0 0 0 0
9 2 7 6 2 1 3 4 5 2 2 -1 1 1 -1 0
9 3 6 5 3 2 4 1 7 1 2 2 -2 1 1 1
9 4 7 5 3 2 4 1 6 -2 0 -2 1 0 -1 0
9 5 6 5 2 1 3 4 7 0 -2 -1 1 2 2 0
78
10 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
10 2 6 4 3 2 5 1 7 1 -2 -2 2 2 -1 -2
10 3 6 5 3 2 4 1 7 1 0 1 2 0 0 -2
10 4 7 5 2 1 3 4 6 -2 0 -1 1 0 2 0
10 5 6 5 4 2 3 1 7 0 0 2 0 2 -1 -2
11 1 6 4 3 2 5 1 7 0 0 0 0 0 0 0
11 2 6 5 4 2 3 1 7 0 0 -1 0 0 1 0
11 3 7 5 2 1 3 4 6 1 -1 -2 0 -1 0 0
11 4 6 4 2 1 3 5 7 1 0 2 1 -2 2 2
11 5 6 4 3 2 5 1 7 0 1 0 2 2 2 1
12 1 7 5 4 2 3 1 6 0 0 0 0 0 0 0
12 2 5 3 2 1 4 5 7 0 1 0 0 1 0 -1
12 3 7 5 2 1 3 4 6 -1 1 -1 -2 1 -2 0
12 4 5 4 2 1 3 6 7 2 2 1 1 0 2 1
12 5 5 3 2 1 4 6 7 -1 1 2 -2 -2 1 2
13 1 7 5 4 2 3 1 6 0 0 0 0 0 0 0
13 2 6 4 3 2 5 1 7 -1 -2 0 0 0 2 0
13 3 7 5 3 2 4 1 6 -1 -2 -2 -1 1 0 1
13 4 6 4 2 1 3 5 7 -2 -1 2 0 -1 -1 0
13 5 6 5 4 2 3 1 7 2 1 0 -1 2 0 1
14 1 6 3 2 1 4 5 7 0 0 0 0 0 0 0
14 2 6 4 3 2 5 1 7 2 0 1 0 0 -2 1
14 3 7 3 2 1 4 5 6 1 -1 -2 -1 -1 -2 -1
14 4 6 4 3 2 5 1 7 2 1 0 -2 2 2 2
14 5 6 4 2 1 3 5 7 1 -2 2 1 2 2 -1
15 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
15 2 7 6 4 2 3 1 5 1 -1 1 -2 2 2 -2
15 3 7 4 3 2 5 1 6 1 1 -1 0 2 1 -1
15 4 7 5 3 2 4 1 6 -2 -2 -1 0 1 1 0
15 5 6 3 2 1 4 5 7 -2 2 0 -2 -1 0 1
16 1 6 5 4 2 3 1 7 0 0 0 0 0 0 0
16 2 7 5 2 1 3 4 6 -2 0 2 -2 2 1 -1
16 3 6 3 2 1 4 5 7 2 1 1 -2 -2 -1 0
16 4 7 5 2 1 3 4 6 0 -2 2 1 1 0 -2
16 5 6 4 3 2 5 1 7 1 -2 0 2 1 -1 -2
17 1 6 4 2 1 3 5 7 0 0 0 0 0 0 0
17 2 7 6 3 2 4 1 5 -2 -1 -1 2 -1 0 -1
17 3 6 3 2 1 4 5 7 1 -1 0 2 1 -2 -1
17 4 5 3 2 1 4 5 7 0 -1 -2 -1 -1 2 -1
17 5 6 5 4 2 3 1 7 2 0 2 1 0 -1 2
18 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
18 2 7 4 3 2 5 1 6 -1 2 1 1 0 -2 -2
18 3 6 4 3 2 5 1 7 1 0 1 -1 -2 -2 -2
18 4 6 4 2 1 3 5 7 1 1 -2 2 2 2 1
18 5 5 3 2 1 4 6 7 2 2 2 2 0 -1 1
19 1 5 4 2 1 3 6 7 0 0 0 0 0 0 0
19 2 5 4 3 2 6 1 7 0 0 0 2 0 -2 -2
19 3 7 3 2 1 4 5 6 2 1 1 -1 -2 -1 2
79
19 4 7 4 2 1 3 5 6 -2 0 2 -1 0 0 -2
19 5 5 3 2 1 4 6 7 1 1 -2 -1 2 -2 0
20 1 6 5 4 2 3 1 7 0 0 0 0 0 0 0
20 2 5 4 2 1 3 6 7 2 2 -1 -1 2 2 -1
20 3 7 3 2 1 4 5 6 0 2 1 0 -1 2 -1
20 4 7 4 2 1 3 5 6 0 -1 0 -1 -1 2 2
20 5 6 5 3 2 4 1 7 2 2 -2 0 -2 1 0
21 1 7 6 2 1 3 4 6 0 0 0 0 0 0 0
21 2 7 4 2 1 3 5 6 -1 1 2 1 0 1 -2
21 3 6 4 3 2 5 1 7 2 -2 -1 1 2 1 0
21 4 7 5 3 2 4 1 6 -2 1 0 -2 2 -2 1
21 5 6 4 3 2 5 1 7 2 2 -2 2 -1 -1 1
22 1 5 4 3 2 6 1 7 0 0 0 0 0 0 0
22 2 5 3 2 1 4 6 7 0 1 0 2 2 0 0
22 3 5 4 2 1 3 6 7 -1 1 -2 1 0 2 -1
22 4 7 3 2 1 4 5 6 1 -1 2 1 2 -1 2
22 5 6 4 3 2 5 1 7 2 -1 0 2 2 1 2
23 1 6 4 3 2 5 1 7 0 0 0 0 0 0 0
23 2 5 3 2 1 4 6 7 1 -1 0 2 1 -1 -2
23 3 6 4 3 2 5 1 7 1 -2 -1 1 -2 2 -1
23 4 5 3 2 1 4 6 7 0 -1 -2 0 0 0 -1
23 5 5 4 2 1 3 6 7 -2 0 -2 2 -2 -1 1
24 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
24 2 7 5 3 2 4 1 6 -1 0 -2 -1 -1 0 -1
24 3 7 6 2 1 3 4 5 1 -1 2 -2 2 -1 -2
24 4 6 4 3 2 5 1 7 -2 0 1 2 2 1 -2
24 5 6 4 2 1 3 5 7 -1 1 0 1 0 -1 2
25 1 7 5 4 2 3 1 6 0 0 0 0 0 0 0
25 2 5 3 2 1 4 5 7 2 1 2 -2 -2 0 1
25 3 7 5 3 2 4 1 6 -1 -2 2 0 1 0 2
25 4 5 3 2 1 4 6 7 2 1 0 -2 2 0 1
25 5 6 4 3 2 5 1 7 -2 1 1 -2 2 -1 1
26 1 5 4 2 1 3 6 7 0 0 0 0 0 0 0
26 2 7 5 2 1 3 4 6 1 -2 1 -1 1 -2 0
26 3 6 5 4 2 3 1 7 -1 0 1 -2 2 1 0
26 4 6 5 2 1 3 4 7 -1 0 -1 -1 1 -1 -1
26 5 5 3 2 1 4 6 7 1 1 0 2 0 -1 -2
27 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
27 2 7 3 2 1 4 5 6 -2 0 2 2 2 1 2
27 3 6 4 3 2 5 1 7 -2 1 0 1 -1 0 1
27 4 7 6 4 2 3 1 5 1 2 -2 0 1 -1 0
27 5 5 3 2 1 4 6 7 -2 2 -1 2 -1 -2 -2
28 1 7 5 2 1 3 4 6 0 0 0 0 0 0 0
28 2 6 5 2 1 3 4 7 -1 2 2 2 -1 0 -2
28 3 5 3 2 1 4 6 7 -1 -1 0 0 -2 -1 -1
28 4 6 5 2 1 3 4 7 1 -1 -1 -2 -1 -2 -2
28 5 6 5 2 1 3 4 7 1 0 2 -1 1 0 -2
29 1 7 4 2 1 3 5 6 0 0 0 0 0 0 0
80
29 2 7 6 3 2 4 1 5 -1 2 -2 2 0 1 -1
29 3 6 5 2 1 3 4 7 0 -2 -1 0 1 -1 -2
29 4 7 3 2 1 4 5 6 -1 2 -1 -2 2 -1 -1
29 5 6 3 2 1 4 5 7 2 2 2 1 -2 -2 0
30 1 7 5 2 1 3 4 6 0 0 0 0 0 0 0
30 2 7 5 3 2 4 1 6 1 1 -1 0 2 1 0
30 3 6 4 3 2 5 1 7 -2 0 2 2 -2 1 1
30 4 6 5 4 2 3 1 7 0 -1 -2 -2 -1 0 -2
30 5 6 3 2 1 4 5 7 1 1 0 0 -2 2 -2
31 1 7 5 4 2 3 1 6 0 0 0 0 0 0 0
31 2 6 3 2 1 4 5 7 2 0 1 -2 -1 -1 0
31 3 5 3 2 1 4 6 7 0 -2 1 -1 -1 -1 -1
31 4 5 4 3 2 6 1 7 -2 2 -1 -1 2 1 0
31 5 7 5 2 1 3 4 6 -2 -2 -1 0 -2 -1 1
32 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
32 2 5 3 2 1 4 6 7 0 2 -1 0 -2 1 1
32 3 5 4 3 2 6 1 7 -2 -2 2 -2 -1 -1 0
32 4 6 5 3 2 4 1 7 0 1 2 1 -1 -1 -1
32 5 7 3 2 1 4 5 6 2 2 -1 2 -2 2 1
33 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
33 2 5 3 2 1 4 6 7 -2 2 0 0 2 0 -2
33 3 7 3 2 1 4 5 6 1 1 1 2 -1 1 2
33 4 6 4 3 2 5 1 7 -2 1 -1 2 -2 2 0
33 5 5 4 2 1 3 6 7 0 -1 0 2 -1 -2 1
34 1 5 4 2 1 3 6 7 0 0 0 0 0 0 0
34 2 6 4 3 2 5 1 7 1 -2 1 -1 0 0 2
34 3 7 3 2 1 4 5 6 0 1 1 -2 1 0 0
34 4 6 5 3 2 4 1 7 -2 1 2 1 -2 -2 -1
34 5 7 6 3 2 4 1 5 -1 2 -2 0 -1 -1 1
35 1 6 4 2 1 3 5 7 0 0 0 0 0 0 0
35 2 7 4 2 1 3 5 6 -2 -2 -2 0 1 2 2
35 3 7 4 2 1 3 5 6 1 -1 -2 -2 -2 0 1
35 4 5 4 2 1 3 6 7 0 1 0 -2 -2 0 -1
35 5 5 4 3 2 6 1 7 -2 2 0 -1 -1 2 -2
36 1 7 5 2 1 3 4 6 0 0 0 0 0 0 0
36 2 7 4 5 2 3 1 6 2 2 -2 1 0 1 -2
36 3 6 4 2 1 3 5 7 -2 0 1 -2 0 0 -1
36 4 7 3 2 1 4 5 6 -2 1 -1 2 0 2 -2
36 5 6 5 2 1 3 4 7 2 -2 0 -2 -2 1 1
37 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
37 2 6 3 2 1 4 5 7 -2 0 2 -1 2 2 -1
37 3 6 3 2 1 4 5 7 -1 -1 -2 -2 1 -2 -1
37 4 6 4 3 2 5 1 7 -1 -2 2 1 2 -2 1
37 5 7 5 2 1 3 4 6 -2 -1 0 -1 -2 0 1
38 1 7 5 4 2 3 1 6 0 0 0 0 0 0 0
38 2 5 3 2 1 4 6 7 -1 -2 -2 0 2 -2 0
38 3 5 3 2 1 4 6 7 0 -2 -2 2 -2 -2 0
38 4 7 5 3 2 4 1 6 2 -2 -1 1 -1 1 2
81
38 5 6 4 3 2 5 1 7 1 2 0 -1 -1 2 1
39 1 7 4 2 1 3 5 6 0 0 0 0 0 0 0
39 2 5 3 2 1 4 6 7 0 1 1 -1 1 1 -1
39 3 5 3 2 1 4 6 7 -2 -1 1 2 1 2 1
39 4 7 3 2 1 4 5 6 -1 0 0 -2 -2 1 0
39 5 6 3 2 1 4 5 7 -2 1 -1 -1 2 -1 -1
40 1 6 4 2 1 3 5 7 0 0 0 0 0 0 0
40 2 5 3 2 1 4 6 7 0 -2 -2 0 2 -2 -2
40 3 6 3 2 1 4 5 7 0 1 2 0 2 0 0
40 4 6 5 3 2 4 1 7 1 -1 -2 2 -2 -1 1
40 5 7 4 2 1 3 5 6 1 2 -1 -2 -2 1 -1
41 1 5 4 2 1 3 6 7 0 0 0 0 0 0 0
41 2 6 3 2 1 4 5 7 -1 -1 -1 -1 -1 1 2
41 3 7 5 2 1 3 4 6 1 2 -2 0 1 -1 -1
41 4 6 3 2 1 4 5 7 -1 -1 -1 2 -1 -2 2
41 5 6 5 4 2 3 1 7 1 2 -1 2 -1 -1 2
42 1 6 4 3 2 5 1 7 0 0 0 0 0 0 0
42 2 5 3 2 1 4 6 7 0 -2 0 0 0 1 1
42 3 6 3 2 1 4 5 7 1 2 -1 -1 0 -1 -2
42 4 5 3 2 1 4 6 7 2 0 -1 1 1 0 -2
42 5 6 3 2 1 4 5 7 1 -2 -1 -1 -2 -2 1
43 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
43 2 6 5 2 1 3 4 7 0 -2 -1 -1 -1 -1 -1
43 3 5 4 3 2 6 1 7 1 -2 -2 2 2 2 2
43 4 5 3 2 1 4 6 7 1 2 1 -1 -2 0 -2
43 5 6 5 2 1 3 4 7 -2 2 -1 -1 -2 0 0
44 1 6 3 2 1 4 5 7 0 0 0 0 0 0 0
44 2 6 5 2 1 3 4 7 2 -2 2 -2 1 -2 -2
44 3 7 3 2 1 4 5 6 -1 -1 1 -2 2 -2 2
44 4 5 3 2 1 4 6 7 1 2 -2 2 -2 -2 -1
44 5 7 3 2 1 4 5 6 -1 2 -1 2 2 0 -1
45 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
45 2 7 5 2 1 3 4 6 0 -1 0 -1 2 -1 0
45 3 6 3 2 1 4 5 7 -2 1 2 1 -2 1 2
45 4 7 6 2 1 3 4 5 1 -1 2 0 2 1 -2
45 5 6 4 2 1 3 5 7 -2 -1 -1 0 -2 1 -1
46 1 6 5 4 2 3 1 7 0 0 0 0 0 0 0
46 2 7 3 2 1 4 5 6 0 -1 -1 0 2 0 -2
46 3 7 4 3 2 5 1 6 2 0 0 0 -1 -2 -2
46 4 5 4 3 2 6 1 7 -1 1 -1 0 -1 -2 0
46 5 5 4 2 1 3 6 7 -1 1 2 2 2 0 -1
47 1 7 5 4 2 3 1 6 0 0 0 0 0 0 0
47 2 7 6 4 2 3 1 6 0 -1 0 -2 -1 -1 -2
47 3 6 4 3 2 5 1 7 0 -2 -1 -2 -2 0 0
47 4 7 4 3 2 5 1 6 1 0 0 2 0 1 -1
47 5 6 4 2 1 3 5 7 0 1 0 2 0 -1 -2
48 1 7 5 3 2 4 1 6 0 0 0 0 0 0 0
48 2 7 6 5 2 3 1 5 2 -1 -1 1 0 2 -1
82
48 3 6 4 2 1 3 5 7 2 2 1 -1 -2 -2 0
48 4 5 4 2 1 3 6 7 1 0 1 -1 -2 -2 1
48 5 5 3 2 1 4 6 7 2 1 -1 2 0 0 0
49 1 7 6 2 1 3 4 5 0 0 0 0 0 0 0
49 2 7 6 2 1 3 4 5 -2 -2 -1 -1 2 1 1
49 3 7 3 2 1 4 5 6 -2 2 1 -2 0 2 -1
49 4 7 5 2 1 3 4 6 -1 -1 -2 2 1 0 0
49 5 6 3 2 1 4 5 7 1 -2 1 0 2 -1 -2
50 1 5 4 3 2 6 1 7 0 0 0 0 0 0 0
50 2 6 4 3 2 5 1 7 -1 -1 0 0 -2 0 0
50 3 6 3 2 1 4 5 7 -2 2 2 -1 0 -1 2
50 4 5 4 2 1 3 6 7 1 2 -1 -2 0 -2 1
50 5 6 3 2 1 4 5 7 1 1 -1 2 -1 0 1
51 1 6 3 2 1 4 5 7 0 0 0 0 0 0 0
51 2 5 3 2 1 4 6 7 -1 -2 1 -1 -1 1 -1
51 3 7 3 2 1 4 5 6 2 2 -2 -1 0 0 -2
51 4 6 4 3 2 5 1 7 -1 -2 1 -1 0 1 -1
51 5 6 3 2 1 4 5 7 -2 -1 2 -2 0 -2 2
52 1 6 4 3 2 5 1 7 0 0 0 0 0 0 0
52 2 7 4 3 2 5 1 6 -1 -1 -2 0 -2 1 1
52 3 6 4 3 2 5 1 7 0 0 1 1 1 -1 1
52 4 7 5 4 2 3 1 6 2 -1 2 -2 -1 1 0
52 5 6 5 3 2 4 1 7 2 -2 -1 1 0 0 1
53 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
53 2 7 5 3 2 4 1 6 1 1 -1 1 0 -1 1
53 3 6 4 3 2 5 1 7 2 2 2 -2 2 -2 1
53 4 5 4 2 1 3 6 7 -2 -1 2 0 -1 -1 1
53 5 6 3 2 1 4 5 7 1 -2 0 0 1 0 -2
54 1 6 5 2 1 3 4 7 0 0 0 0 0 0 0
54 2 6 4 3 2 5 1 7 0 0 1 -2 -2 0 0
54 3 6 3 2 1 4 5 7 -1 0 1 1 0 -2 1
54 4 7 5 2 1 3 4 6 2 0 -2 1 2 0 2
54 5 5 4 2 1 3 6 7 0 1 -1 -1 1 0 2
55 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
55 2 5 3 2 1 4 6 7 0 2 0 2 0 1 0
55 3 6 4 3 2 5 1 7 0 -1 0 0 1 -1 1
55 4 6 4 3 2 5 1 7 -2 -2 0 -2 2 -2 2
55 5 6 5 4 2 3 1 7 2 -1 1 1 1 -2 2
56 1 5 4 2 1 3 6 7 0 0 0 0 0 0 0
56 2 6 3 2 1 4 5 7 -2 0 -1 -2 2 -1 -2
56 3 5 4 2 1 3 6 7 2 1 2 1 -2 0 -2
56 4 7 5 3 2 4 1 6 -1 2 1 -2 -2 1 1
56 5 6 4 2 1 3 5 7 -2 0 2 1 -1 0 2
57 1 7 5 2 1 3 4 6 0 0 0 0 0 0 0
57 2 6 3 2 1 4 5 7 -1 -1 2 0 2 -2 -1
57 3 6 3 2 1 4 5 7 0 -1 0 -2 1 1 -1
57 4 5 4 2 1 3 6 7 -2 0 -2 2 -1 2 2
57 5 7 5 4 2 3 1 6 0 1 2 0 0 1 1
83
58 1 7 5 2 1 3 4 6 0 0 0 0 0 0 0
58 2 7 4 2 1 3 5 6 1 1 -2 0 -2 2 -1
58 3 6 5 4 2 3 1 7 0 -1 -1 2 -2 0 2
58 4 7 5 4 2 3 1 6 2 -2 2 -2 1 0 0
58 5 6 4 2 1 3 5 7 1 1 1 -2 -1 0 0
59 1 6 4 3 2 5 1 7 0 0 0 0 0 0 0
59 2 6 3 2 1 4 5 7 -1 2 2 -1 -1 -1 -2
59 3 6 3 2 1 4 5 7 -2 -2 2 -1 1 0 2
59 4 6 4 3 2 5 1 7 0 -2 1 1 2 2 -2
59 5 7 3 2 1 4 5 6 0 2 -2 0 0 2 1
60 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
60 2 6 4 3 2 5 1 7 -1 1 -1 -2 -2 1 2
60 3 7 3 2 1 4 5 6 1 -1 -1 -1 2 1 2
60 4 6 4 3 2 5 1 7 2 2 0 1 1 -1 -2
60 5 6 3 2 1 4 5 7 -2 -2 -2 -2 0 -2 1
61 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
61 2 7 5 2 1 3 4 6 -2 -2 -2 0 0 1 2
61 3 5 3 2 1 4 6 7 -1 1 2 -2 0 2 -2
61 4 6 4 3 2 5 1 7 2 1 2 1 -1 2 0
61 5 7 5 2 1 3 4 6 -1 -1 -1 1 2 1 2
62 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
62 2 6 4 2 1 3 5 7 1 0 0 2 0 1 -1
62 3 6 4 3 2 5 1 7 2 0 1 0 -1 1 -1
62 4 6 3 2 1 4 5 7 0 1 -2 2 -2 -1 2
62 5 5 3 2 1 4 6 7 1 -2 0 -1 1 -1 2
63 1 7 3 2 1 4 5 6 0 0 0 0 0 0 0
63 2 7 6 4 2 3 1 5 -1 0 -2 -2 -1 0 -1
63 3 6 3 2 1 4 5 7 -1 1 0 2 -1 -1 -1
63 4 7 3 2 1 4 5 6 1 -2 2 1 2 2 2
63 5 6 4 3 2 5 1 7 1 1 0 2 -2 -1 1
64 1 6 3 2 1 4 5 7 0 0 0 0 0 0 0
64 2 7 4 3 2 5 1 6 -2 -2 2 -2 1 -2 -1
64 3 7 5 4 2 3 1 6 0 2 1 2 -2 1 0
64 4 6 5 4 2 3 1 7 -2 2 -1 -2 -2 0 -1
64 5 7 3 2 1 4 5 6 -1 1 1 0 2 -1 -2
65 1 5 3 2 1 4 6 7 0 0 0 0 0 0 0
65 2 6 4 2 1 3 5 7 0 -1 2 1 0 -1 -2
65 3 7 3 2 1 4 5 6 -1 1 1 0 -2 0 -2
65 4 6 4 3 2 5 1 7 -2 0 -1 -2 1 -1 2
65 5 6 4 2 1 3 5 7 1 0 -1 -1 1 -1 -1
66 1 7 4 3 2 5 1 6 0 0 0 0 0 0 0
66 2 7 3 2 1 4 5 6 -2 1 -1 -2 2 -1 -2
66 3 6 3 2 1 4 5 7 -2 2 2 2 0 1 0
66 4 7 3 2 1 4 5 6 -1 -2 2 2 1 1 1
66 5 6 4 2 1 3 5 7 -1 2 2 -2 -1 0 0
top related