elaboraÇÃo de artigos cientÍficos a ... - tce.rj.gov.br - elaboração de... · a partir de...
TRANSCRIPT
FUNDAÇÃO GETÚLIO VARGAS
JEAN MARCEL DE FARIA NOVO
ELABORAÇÃO DE ARTIGOS CIENTÍFICOS
A PARTIR DE INSPEÇÕES E AUDITORIAS DO TCE-RJ
RIO DE JANEIRO 2007
JEAN MARCEL DE FARIA NOVO
ELABORAÇÃO DE ARTIGOS CIENTÍFICOS
A PARTIR DE INSPEÇÕES E AUDITORIAS DO TCE-RJ
Trabalho de Conclusão de Curso apresentado ao Curso Intensivo de Pós-Graduação em Administração Pública - CIPAD da Fundação Getúlio Vargas - Rio de Janeiro.
RIO DE JANEIRO 2007
N945 Novo, Jean Marcel de Faria.
Elaboração de artigos científicos a partir de
inspeções e auditorias do TCE-RJ / Jean Marcel de
Faria Novo. – 2007.
48 f. ; 30 cm.
Trabalho de Conclusão de Curso apresentado ao
Curso Intensivo de Pós-Graduação em Administração
Pública - CIPAD)—Fundação Getúlio Vargas, Rio de
Janeiro, 2007.
Bibliografia: f. 38-40.
1. Metodologia Científica. 2. Artigo Científico
3. Controle Externo. 4. Tribunal de Contas. II. Tí-
tulo.
CDD 001.42352
L I S T A D E I L U S T R A Ç Õ E S
Figura 1: Modelo teórico de um sistema de produção de artigos científicos a partir de inspeções do TCE. 11
Figura 2: Atividades do TCE/RJ na coleta e no registro de dados em uma inspeção ou auditoria. 16
Figura 3: Analogia entre os conceitos metodológicos de Auditoria e de Pesquisa Científica. 24
Figura 4: A gestão do conhecimento e a transferência de informações entre agentes. 28
Gráfico 1: Resultado do processo de validação do ensaio do anexo II. 32
Gráfico 2: Respostas à questão: já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ? 33
Gráfico 3: Respostas à questão: o quanto cada um deles (artigos, pesquisas ou estudos efetuados pelo TCE-RJ ) contribuiu para o aprimoramento de seu trabalho? 33
Gráfico 4: Respostas à questão: artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha? De que forma? 34
S U M Á R I O
1. INTRODUÇÃO 4
1.1. HISTÓRICO E CONJUNTURA 5
1.2. SUPOSIÇÃO 7
1.3. METODOLOGIA 8
1.3.1. Coleta de dados 9
1.3.2. Registro de informações 9
1.4. ESTRUTURA DO TEXTO 10
2. REFERENCIAL TEÓRICO 11
2.1. RELAÇÕES ENTRE AS TEORIAS SELECIONADAS 12
2.2. MÉTODOS DE INSPEÇÃO E AUDITORIA PARA O CONTROLE EXTERNO 13
2.3. O MÉTODO CIENTÍFICO COMO REFERENCIAL TEÓRICO 19
2.3.1. Características importantes ao texto científico 24
2.4. GESTÃO DE CONHECIMENTOS EM ORGANIZAÇÕES 26
3. A VALIDAÇÃO DE UM ENSAIO 30
3.1. RESULTADOS 31
3.1.1. Ensaio 31
3.1.2. Formulário 32
4. CONCLUSÃO 35
4.1. LIMITES DO TRABALHO 37
REFERÊNCIAS 38
GLOSSÁRIO 41
APÊNDICE I: FORMULÁRIO 43
APÊNDICE II: ENSAIO PARA VALIDAÇÃO DE PESQUISA DE CAMPO 45
APÊNDICE III: ORGANIZAÇÃO DOS DADOS COLETADOS 47
4
1. INTRODUÇÃO
No Estado do Rio de Janeiro, o controle externo dos recursos utilizados por administradores
públicos, a cargo da Assembléia Legislativa e das Câmaras de vereadores, é exercido com o
auxílio técnico do Tribunal de Contas do Estado. Os trabalhos técnicos de fiscalização
compreendem inspeções nas sedes dos órgãos jurisdicionados realizadas por especialistas
(técnicos e analistas de controle externo)1 de diversos ramos profissionais, tais como
advogados, engenheiros, arquitetos, médicos, contabilistas, estatísticos etc. que confeccionam
relatórios de inspeção.
Os técnicos do TCE são observadores privilegiados das organizações por eles inspecionadas.
A cada inspeção, descortinam-se oportunidades de estudos acerca de temas suscitados ao
longo das atividades de campo. Muitas são as possibilidades de modelagens sociotécnicas
com vistas a orientações a esses órgãos. Assim, as experiências vividas durante incursões
realizadas nas administrações públicas são fontes inesgotáveis de informações técnicas e
gerenciais passíveis de serem coletadas, tratadas e transferidas.
A prescrição das tarefas de inspeção conduz os técnicos à análise da origem de falhas
relacionadas à má gestão dos recursos públicos e a danos ao erário. O registro de achados de
auditoria, coleta de evidências e relato dos problemas encontrados são realizados de forma
precisa e segundo a legislação. A comunicação a respeito das atividades de campo
materializa-se por meio de um relatório, onde todos os registros de campo são fundamentados
em diplomas legais e devidamente documentados para que surtam efeitos administrativos.
Entretanto, informações a respeito de demandas que afetam o bom desempenho das
administrações inspecionadas geralmente escapam do escopo do relatório de inspeção,
especialmente sobre questões sociotécnicas emersas das relações entre pessoas, tecnologia e a
organização. Tais observações, se registradas adequadamente, podem servir de insumos para
textos a serem consultados, discutidos e divulgados oportunamente a fim de subsidiarem
futuras atividades de fiscalização ou oportunas orientações voltadas a órgãos públicos.
1 Para este estudo, não há distinções entre as competências de Técnicos ou Analistas de Controle Externo, pois ambos realizam inspeções e auditorias.
5
Para tanto, os fenômenos identificados em campo que mereçam exame mais aprofundado
devem ser adequadamente coletados e registrados pelo técnico para que, após análise crítica e
necessário período de maturação, possam ser vistos como matéria-prima na geração de
conhecimentos. Nesta passagem da experiência ao entendimento, o método científico parece
ser um fio condutor necessário ao êxito da aquisição organizacional do conhecer como
passagem da aparência à essência, da opinião ao conceito, do ponto de vista individual à idéia
universal (CHAUÍ, 1997).
Assim, este trabalho trata da seguinte questão: Como elaborar artigos científicos a partir de
inspeções do Tribunal de Contas do Estado do Rio de Janeiro?
1.1. HISTÓRICO E CONJUNTURA
A temática a respeito da gestão do conhecimento destaca-se como objeto de interesse para
esta pesquisa devido à importância que o tema geração do conhecimento nas organizações
representa para a Escola de Contas e Gestão do TCE (ECG/TCE), que busca a produção e o
intercâmbio de conhecimentos técnicos no TCE, a valorização e divulgação do aprendizado
corporativo por meio de uma produção de artigos científicos vão ao encontro do grande
investimento em capacitação de seus quadros que hoje o TCE/RJ realiza.
Na ECG, a Coordenadoria de Estudos e Pesquisas (COE) tem como principal atribuição estimular a produção técnico-científica em matérias de interesse amplo e específico da gestão pública, fomentando a criação de estudos, análises e pesquisas promovendo a inovação de práticas públicas. A COE coordena o resgate e a produção de novos conhecimentos pelos servidores do TCE-RJ e Jurisdicionados, identificando fontes e redes de especialistas, e estabelecendo metodologia para formatação de estudos, análises e pesquisas. É papel da COE incentivar a troca e a criação de saberes relacionados à atividade do TCE-RJ, promovendo grupos de estudos, fóruns e seminários com outros Tribunais de Contas, órgãos e entidades de administração pública e com Instituições de Ensino Superior (www.ecg.tce.rj.gov.br).
A elaboração de artigos científicos tem especial importância pela dinâmica que estes
apresentam na divulgação de pesquisas científicas, disponibilizando conclusões recentes de
forma ágil, em oposição à morosidade dos livros. Entretanto, o rigor científico na confecção
dos textos a serem submetidos à publicidade é fundamental para publicações em revistas
especializadas. A CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior),
6
p. ex., utiliza o sistema de avaliação Qualis2 para a validação da qualidade científica de
artigos de periódicos, anais, jornais e revistas.
Uma sistemática para a produção de artigos científicos que incentive o técnico que realiza
inspeções a buscar aprofundamentos teóricos que consubstanciem novos conhecimentos
voltados a possíveis melhorias dos sistemas sociotécnicos analisados, pode alavancar
pesquisas exploratórias, descritivas e explicativas a respeito de administrações jurisdicionadas
do TCE. Entretanto, estudos aprofundados sobre determinado evento que requeiram
conhecimentos multidisciplinares levarão o técnico a realizar pesquisas teóricas. Qualquer que
seja o método investigativo emprestado pela metodologia científica haverá sempre um fator
limitador relacionado ao perfil profissional do agente inspetor dedicado a produzir estudos
científicos sobre a realidade visitada.
A produção científica a partir de inspeções do TCE estará relacionada a pesquisas por teorias
que expliquem a melhor forma de se organizar o trabalho em foco e à construção do
conhecimento em rede por meio da trocas de informações com outros agentes que já
registraram suas observações sobre situações análogas, pois, a cada inspeção, novas
experiências são vivenciadas e registradas em relatórios pelos inspetores. Cada registro é feito
de um modo particular pelo técnico que esteve em campo, não havendo uma estrutura
padronizada que facilite a transferência de conhecimentos.
Os relatos não são estruturados com a finalidade de servir a outros agentes. Logo, a
transferência de conteúdos é casual. Em outras palavras, os problemas detectados e as
soluções técnicas recomendadas a determinado órgão jurisdicionado, em geral, não são
compartilhados entre o agente e os demais técnicos e, conseqüentemente, não há
uniformidade em orientações técnicas às diferentes Administrações.
Neste contexto, a produção de textos com base no método científico apresenta-se como o
caminho ideal para a explicação estruturada de fenômenos percebidos a partir de observações
realizadas em inspeções. Impressões subjetivas podem tornar-se orientações técnicas baseadas
em estudos e pesquisas complementares (fundamentos teóricos). Para tanto, os procedimentos
adotados para o registro e apresentação de dados e informações em artigos científicos são
2 http://qualis.capes.gov.br/
7
determinantes para a confiabilidade dos relatos realizados e para que novos conhecimentos
sejam elaborados a partir de então.
A oportunidade de estudos sobre os temas “produção de conhecimentos em organizações” e
“metodologia científica”, foi proporcionada no CIPAD, especialmente por meio dos
conteúdos das disciplinas que indicam a pertinência desta abordagem sobre tal temática. A
disciplina “Mensuração e Avaliação do Desempenho das Organizações” tratou sobre
conceitos de eficiência, eficácia, efetividade e auditoria; a cadeira Modelos de Gestão
apresentou conceitos sobre teoria da complexidade e de organizações baseadas na
aprendizagem; e as matérias Introdução ao Trabalho Científico e Metodologia da Pesquisa
descortinaram um universo de conceitos voltados à coleta, tratamento e análise de dados.
Por meio da elaboração de artigos científicos, os quais comportam estratégias para
identificação, registro e analise de mecanismos de interações sociotécnicas em organizações
públicas, os técnicos do TCE terão maior facilidade para construir conhecimentos a partir de
informações colhidas ao longo de seus trabalhos de inspeção, contribuindo:
a) Com a aprendizagem corporativa do TCE;
b) Com a produção científica da ECG;
c) Na melhoria de qualidade das orientações a órgãos públicos inspecionados.
Portanto, o objetivo final desta pesquisa é informar como produzir artigos científicos com o
olhar sobre questões técnico-administrativas a partir das inspeções do Tribunal de Contas do
Estado do Rio de Janeiro. Como objetivos intermediários, procuramos:
� Construir um referencial teórico que aproxime os seguintes campos de conhecimento: métodos de auditoria, metodologia científica e gestão de conhecimento;
� Organizar fluxos de procedimentos em inspeções para atividades de pesquisa;
� Mapear fatores que possam auxiliar a ação científica dos técnicos durante suas inspeções.
1.2. SUPOSIÇÃO
A partir do contexto apresentado, emergem algumas premissas que auxiliam a construção da
suposição central da pesquisa. Os técnicos do TCE são observadores privilegiados das
organizações por eles inspecionadas, mas os dados e informações observadas em diferentes
8
inspeções não são compartilhados de forma sistematizada, havendo mitigação indesejada no
incremento, ao longo do tempo, da utilidade de orientações técnicas a órgãos jurisdicionados.
As inspeções e auditorias possuem métodos próprios que sistematizam observações, coleta de
dados e registro de informações. De forma análoga, a pesquisa científica requer metodologia
própria para tais ações. O artigo científico apresenta-se como veículo adequado para o registro
e disseminação de informações, seja para o incremento da aprendizagem corporativa do TCE,
quando novos conhecimentos poderão servir de input e somar-se ao corpo de novos relatos ou
servir de parâmetros para novos trabalhos de pesquisa, ou para a divulgação institucional por
meio do desenvolvimento da produção científica da ECG.
Portanto, supõe-se ser possível a elaboração de estratégias para a confecção de artigos
científicos a partir de informações colhidas pelos técnicos do TCE ao longo de trabalhos de
inspeção, especialmente sobre fenômenos carentes de estudos aprofundados.
1.3. METODOLOGIA
Esta pesquisa possui aspetos exploratório, explicativo e aplicado. Caráter explicativo
enquanto trata de técnicas de auditoria de administrações públicas; cunho exploratório por se
basear na análise de conteúdos bibliográficos sobre gestão do conhecimento e metodologia
científica; e aspecto aplicado em face de possuir finalidade prática, devido à proposta de
elaboração de artigos científicos acerca de administrações auditadas e também à pretensão de
realizar um ensaio para materializar a suposição da pesquisa.
A pesquisa bibliográfica teve origem em notas de aula do CIPAD e na literatura adotada nas
disciplinas do curso. As disciplinas Introdução ao Trabalho Científico e Metodologia da
Pesquisa expõem diversas ferramentas metodológicas necessárias às atividades de pesquisa e
à geração de textos científicos. Dentre os métodos de pesquisa em administração (CORRÊA,
2002; VERGARA, 2006b) encontram-se meios de investigação de grande utilidade para o
olhar dos técnicos do TCE sobre questões de auditoria em órgãos públicos inspecionados.
Deste ponto, foi possível partir para outros autores já referenciados nas primeiras obras, como
forma de haver cautela quanto à coerência teórica do trabalho.
9
Com objetivo de exemplificar o registro de dados e a maturação de idéias, além de demonstrar
sua validação, elaborou-se um ensaio (ou esboço de argumentos) a partir de observações em
inspeções municipais do TCE. Por se tratar de trabalho qualitativo, cuidou-se da
representatividade das pessoas convidadas a validar o texto.
1.3.1. Coleta de dados
Quanto à pesquisa bibliográfica para o referencial teórico da suposição da pesquisa: 1.
Métodos de inspeções no controle externo público; 2. Metodologia científica; e 3. Gestão do
conhecimento. Em relação aos dados do ensaio intitulado “Alguns aspectos do trabalho dos
fiscais de obras públicas em Prefeituras Municipais no Rio de Janeiro” (apêndice II), as
informações nele registradas foram coletadas a partir de observações em inspeções de obras
públicas de 10 (dez) municípios do Estado do Rio de Janeiro entre janeiro de 2000 e
dezembro de 2002.
Para a validação das informações apresentadas no ensaio, foi aplicada uma pergunta aberta
(cabeçalho do apêndice II) em sala de aula, aos participantes dos cursos de economicidade de
contratos administrativos oferecidos pela ECG/TCE em 12/06/2007 e 28/06/2007 aos
servidores de administrações municipais do Estado do Rio de Janeiro. Aos mesmos
informantes foi aplicado outro grupo de perguntas, por meio de um formulário (apêndice I)
com perguntas abertas e fechadas com vistas à investigação sobre a impressão dos órgãos
jurisdicionados sobre a produção de artigos, pesquisas ou estudos do TCE.
1.3.2. Registro de informações
Os textos da pesquisa bibliográfica foram registrados em fichas de análise de conteúdo. Os
dados referentes às inspeções municipais que proporcionaram a elaboração do ensaio
apresentado foram anotados, organizados e reescritos de forma clara e objetiva em relação aos
fatos observados em campo, ainda sem qualquer enquadramento teórico. Quanto aos
formulários aplicados (apêndice I), houve organização dos dados coletados, agrupando-os por
categorias de análise definidas previamente (apêndice III).
10
1.4. ESTRUTURA DO TEXTO
O trabalho está organizado em quatro seções. Na primeira, trata-se da problematização do
estudo: contextualização no modelo de gestão do conhecimento do Tribunal de Contas,
suposição da pesquisa e metodologia adotadas. A seção seguinte aborda o referencial teórico
selecionado para dar suporte à suposição apresentada. A terceira seção põe em foco a prática
da coleta de informações durantes inspeções municipais e a validação de um ensaio que serviu
de registro das observações de campo. Na seção final, apresenta-se a conclusão do estudo e
provoca-se uma reflexão sobre as potencialidades da produção de artigos científicos por
técnicos do TCE.
11
2. REFERENCIAL TEÓRICO
A base teórica do trabalho, necessária ao tratamento da suposição apresentada, integra três
campos de conhecimento: 1. Métodos de inspeção e auditoria para o controle externo; 2.
Método científico; 3. Gestão do conhecimento em organizações. O modelo teórico (figura 1)
busca sistematizar a produção de artigos científicos a partir de inspeções e auditorias do TCE.
Neste modelo, explora-se uma forma de representar como as realidades percebidas em
inspeções do Tribunal de Contas podem ser sondadas, analisadas e registradas de forma
científica com vistas à mitigação da perda de conteúdos que possam contribuir em benefício
das administrações públicas visitadas.
Figura 1: Modelo teórico de um sistema de produção de artigos científicos a partir de inspeções do TCE.
No modelo teórico, os processos que compõem o sistema de produção de artigo científico
estão organizados em função de etapas (coleta, registro e maturação de dados e informações)
que ocorrem no tempo. Os campos de conhecimento aplicados ao modelo estão representados
por regiões tracejadas (A, B e C) que circulam grupos de processos que interagem numa
produção de informações sistematizadas. Cada um desses grupos possui uma interface com o
sistema de produção teorizado.
P L A N E J A ME N T O
DADOS DE INSPEÇÃO
DADOS PARA PESQUISA
DADOS PARA RELATO
ARTIGO CIENTÍFICO
ANOTAÇÕES
OUTRAS INSPEÇÕES
PESQUISA BIBLIOGRÁFICA
CONSTRUÇÃO DE HIPÓTESES / SUPOSIÇÕES
TEMPO
MATURAÇÃO COLETA REGISTRO
B
C
A
A = Métodos de inspeção e auditoria para o controle externo. B = Método científico. C = Gestão do conhecimento em organizações.
RELATÓRIO DE INSPEÇÃO
A-B
12
A região “A” contém os processos que têm relação direta com os métodos de inspeção e
auditoria para o controle externo (coleta de dados para relatório de inspeção). Métodos de
inspeção ou técnicas de coleta de registro e dados têm enfoque na forma de participação do
auditado na coleta e no registro de dados com vistas à produção de conteúdos de relatórios
técnicos.
Os conteúdos de outras inspeções a serem somados a uma pesquisa em andamento necessitam
ser recuperados de anotações pessoais (de inspeções de mesma autoria) ou estar
disponibilizados em uma base ou repositório de acesso coletivo (para a transferência de dados
e informações entre diferentes agentes). Sistemas voltados para o compartilhamento de
informações entre os técnicos do TCE para que haja facilitação na produção colaborativa de
textos científicos estão presentes na teoria da gestão do conhecimento (região “C”).
Na região “B” estão os processos voltados diretamente à confecção de textos científicos.
Aqui, a metodologia científica indica as etapas de planejamento, coleta, registro e análise de
dados para a produção do conhecimento científico. Assim, mesmo num contexto em que o
planejamento para a pesquisa de campo ainda não faça parte da cultura organizacional da
empresa, vislumbra-se, por meio de estratégias e táticas adequadas, a possibilidade de
produção de textos científicos, uma vez que “[...] a técnica é a maneira mais adequada de se
vencer as etapas indicadas pelo método. Por isso diz-se que o método equivale à estratégia,
enquanto a técnica equivale à tática [...]” (GALLIANO, 1979, p. 14).
2.1. RELAÇÕES ENTRE AS TEORIAS SELECIONADAS
As interdisciplinaridades presentes no modelo da figura 1 estão representadas por setas de
dupla direção. A relação entre os “métodos de inspeção e auditoria” e o “método científico”,
representada pelo segmento A-B, é estabelecida em função da interdependência do processo
de coleta e registro de dados provenientes de uma inspeção com a respectiva destinação que
lhes será dada: achados de inspeção para um relatório de inspeção, dados para a confirmação
de uma hipótese em um texto científico ou ambos, caso uma observação de campo que sirva
como achado de auditoria seja adequada ao objeto de estudo delineado pelo técnico enquanto
cientista.
13
Na mesma linha, o campo teórico acerca da “gestão do conhecimento” relacionado ao
processo denominado “outras inspeções” inscreve-se estrategicamente no diagrama
apresentado, onde tangencia as outras duas teorias. O compartilhamento de informações entre
os técnicos que realizam inspeções e auditorias pode alavancar a produção científica do TCE,
especialmente se houver ações dirigidas para a gestão do conhecimento contido em relatos, de
tal forma que seja facilitada a transferência de conteúdos armazenados. Para que isto se
materialize é necessário que o Tribunal de Contas fomente a produção de conhecimentos
segundo as normas da ciência e as disponibilize de forma eficiente.
Os campos de conhecimento específicos ao estudo de dados colhidos em inspeção estão
contidos no processo denominado pesquisa bibliográfica. As teorias escolhidas pelo técnico
criam fronteiras para o conhecimento que será produzido, mesmo que o tempo dedicado à
pesquisa bibliográfica seja abundante – o que geralmente não ocorre devido à escassez de
tempo disponível ao auditor – , pois teorias são lanternas que iluminam aspectos do real onde
antes não enxergávamos nada (MIGUELES, 2004).
2.2. MÉTODOS DE INSPEÇÃO E AUDITORIA PARA O CONTROLE EXTERNO
A temática “Métodos de Auditoria Governamental”, fundamenta-se em muitos conceitos
publicados por organismos internacionais de controle ou Entidades Fiscalizadoras Superiores
(como INTOSAI, GAO, NAO)3 e utiliza-se largamente de conceitos naturais de auditorias
contábeis (papéis de trabalho, achados de auditoria, evidências de auditoria etc.)4. Sobre estas
bases e disciplinas suplementares (estatística, administração, economia, engenharia, entre
outras), estudiosos de gastos públicos mantém suas produções de pesquisa. Como exemplos,
Gomes (2007) dá lições de auditoria de conformidade, desempenho e de avaliação de
programas; Aquino (2005) propõe modelos de papéis de trabalho para auditorias em sistemas
de limpeza urbana municipal; e Rocha (2001) estuda métodos e procedimentos em auditorias
de obras públicas.
Cruz (1997) classifica a evolução da auditoria governamental em três etapas: fiscalizadora
que tem como foco a fiscalização financeira e patrimonial, bem como os registros dela
decorrentes, objetivando certificar a adequação dos controles internos e o apontamento de
3 Ver glossário (anexo 1). 4 Ver glossário (anexo 1).
14
irregularidades, truques e fraudes detectadas; de gestão onde o propósito é a vigília da
produção e da produtividade (na identificação de desvios relevantes), além da avaliação dos
resultados alcançados diante de objetivos e metas fixados para determinado período (padrões
de desempenho esperados) e; operacional que, conforme manual do TCU
abrange duas modalidades: a auditoria de desempenho operacional e a avaliação de programa. O objetivo da auditoria de desempenho operacional é examinar a ação governamental quanto aos aspectos da economicidade, eficiência e eficácia, enquanto a avaliação de programa busca examinar a efetividade dos programas e projetos governamentais (BRASIL, 2000, p. 120).
Para o TCE-RJ, a distinção entre inspeção e auditoria está regulada na Ordem de Serviço
SGE/TCE/RJ 01/96. Oficialmente, a inspeção5 (ordinária, extraordinária ou especial) tem
como objetivo suprir omissões e lacunas de informações constantes em prestações e tomadas
de contas, em relatórios de auditoria ou em pareceres técnicos. Contudo, para esta pesquisa,
não importam apenas as peculiaridades de uma e outra forma de controle (inspeção e
auditoria) no que diz respeito a sua finalidade, mas, sobretudo quanto ao envolvimento da
administração auditada nas atividades do auditor. Neste sentido, é relevante entender quando
e porque os procedimentos de coleta e registro de dados de auditoria valorizam ou não a
participação da autoridade auditada como colaboradora além de simples agente público sob a
lente do controle externo.
O relacionamento do auditor com o jurisdicionado varia de acordo com a natureza da
auditoria (CRUZ, 1997). Nas auditorias fiscalizadoras e de gestão, o auditado é visto como
um informante e não tem oportunidade de opinar ou intervir no conteúdo do relatório,
enquanto que a auditoria operacional confere à Administração a oportunidade de emitir
opinião, inclusive durante as análises das questões a serem relatadas. Gomes (2007) destaca
que as questões em auditoria influenciam as ferramentas e técnicas para a coleta, tratamento e
divulgação dos dados obtidos; e, referindo-se a estudos6 desenvolvidos pela NAO, classifica-
as em quatro tipos:
5 Ver glossário (anexo 1). 6 Manual Designing VFM Studies do NAO (Sumer, 1997).
15
a) Questões descritivas: têm por objetivo expor fatos e fornecer informações relevantes a respeito do objeto de auditoria. Usam ferramentas mais diretas para obter o resultado desejado. Cuidam as questões descritivas do “ser” das coisas - como elas são; b) Questões normativas (baseadas em critérios): geralmente cuidam de comparar o desempenho ou a operação atual de determinado objeto de estudo com normas, padrões ou metas - podem ser critérios qualitativos (ex. boas práticas) ou quantitativos (indicadores de desempenho). Cuidam as questões normativas do estado de dever ser das coisas - como elas deveriam ser; c) Questões explanatórias: são aquelas que perguntam o porquê e tentam entender o como as coisas acontecem. Procuram explicar eventos, variações de padrões e razões da ocorrência de resultados particulares. Questões dessa natureza geralmente requerem uso de pesquisa e técnicas investigativas;
d) Questões avaliativas: em termos gerais, procuram endereçar o problema de efetividade de programa. Questões avaliativas são referenciadas como questões de impacto. Tais questões preocupam-se com o que aconteceria se o programa não existisse. Elas perguntam que diferença faz o programa no contexto que ele atua. Questões avaliativas também são preocupadas com os efeitos não esperados de programas. Esse tipo de questão envolve metodologias mais complexas como modelagem econômica, análise de causa e efeito, testes experimentais ou quase experimentais. O custo e o tempo para se responder esse tipo de questão são altos. (GOMES, 2007, p. 125-126).
Na medida em que o planejamento de inspeções e auditorias for mais valorizado, as últimas
questões serão mais utilizadas. Por enquanto, os técnicos do TCE dependem dos próprios
mecanismos de planejamento e controle elaborados pelos órgãos inspecionados para a
condução de seus trabalhos de campo. Assim, o potencial das análises de auditoria
(profundidade das questões de auditoria) depende da qualidade dos procedimentos de
planejamento e controle que a administração auditada elaborou e põe à disposição do auditor.
Um recorte das atuais operações de inspeção realizadas pelos técnicos do TCE/RJ
(planejamento, coleta para relato, registro, avaliação e relatório) está modelado na figura 2
em conjunto com as atividades propostas para a produção científica (planejamento, coleta
para pesquisa, validação, registro, maturação e artigo) a fim de facilitar a discussão em
estudo.
16
Figura 2: Atividades do TCE/RJ na coleta e no registro de dados em uma inspeção ou auditoria.
Em cada uma das atividades relacionadas à produção do relatório de auditoria está presente a
possibilidade de percepção de novos elementos fornecidos ou não pelo órgão visitado, pois
desde o planejamento até a conclusão do relatório, novas informações podem ser extraídas
dos papéis de trabalho ou de outras fontes complementares (relatórios anteriores, internet,
contato com outros órgãos de controle etc.).
Há circunstâncias paradoxais em relação às administrações que trabalham de forma mais
organizada, pois na medida em que os agentes têm maior facilidade de acesso às informações
do jurisdicionado, terão maiores possibilidades de encontrar falhas. Por outro lado, a
insuficiência de informações de administrações altamente desorganizadas acarreta maior
dificuldade para análises conclusivas sobre os achados de auditoria.
As informações podem ser dispostas no relatório de inspeção sob diferentes modos,
dependendo do objeto a ser auditado e dos objetivos que o técnico auditor pretende alcançar
quanto ao aprofundamento teórico, investigativo e de fundamentação para recomendações ou
determinações ao órgão auditado. Os técnicos do TCE procuram registrar e fundamentar
achados e evidências do não cumprimento de procedimentos técnicos e formais,
principalmente no que tange à aplicação da Lei Federal 8.666/93. O relato de falhas de
execução em uma contratação, p. ex., corroboradas por evidências documentadas, seguidas
pelos motivos técnicos e legais que contribuíram para sua ocorrência, podem levar à
conclusão uma recomendação ou determinação para que sejam corrigidas as irregularidades
detectadas.
Análise de dados
Planejamento
Relatório
Coleta para pesquisa
Coleta para relato
Avaliação
Maturação
Validação
Artigo
Registro
17
Ao iniciar um novo relatório, o auditor recorre aos papéis de trabalho coletados para extrair as
informações necessárias às suas exposições. O agente utiliza suas anotações (da memória de
trabalho atual ou guardada em documentos de sua autoria por ocasião de outras inspeções)
para a edição de textos que julgue adequados para a disposição das irregularidades
encontradas no órgão auditado. Tratando-se de recuperação de textos de inspeções anteriores,
o agente pode recorrer a arquivos pessoais ou a um banco de dados do TCE.
Uma vez que uma informação seja recuperada de uma base de dados, há duas situações a
considerar: 1. a autoria das informações pertencem ao mesmo técnico que está redigindo o
novo relatório; 2. outro técnico esteve em campo e relatou o material que agora serve como
subsídio ao novo relatório. No segundo caso, quando há recuperação de texto de outro autor
para inclusão em artigo científico, é fundamental que seja feita devida referência para haver o
merecido crédito a quem produziu algum conhecimento. Conforme Castro, Lima & Carvalho
(1999) informação não é conhecimento.
Ela é o produto de um processo técnico de sistematização de dados quantitativos e qualitativos, transferidos de alguma forma entre seus usuários e necessitando interpretação. Ao ser interpretada e apropriada, a informação se transforma em conhecimento e se constitui na matéria-prima para a formulação da decisão, fator preponderante para a ação. (CASTRO, LIMA & CARVALHO 1999, p. 15).
Este processo de sistematização precisa de mais tempo para ser concluído quando se trata de
pesquisa científica. O relatório de inspeção ou auditoria sempre terá prioridade para ser
apresentado, de forma que as etapas de validação dados e maturação de idéias para artigos
científicos estão associadas à reelaboração de textos a fim de serem alcançadas maiores
objetividade, precisão e clareza, pois com o tempo as idéias tornam-se mais claras.
De modo que, ao reescrever, você ficará compreendendo ainda melhor o que está tratando de transmitir. E isso também fará com que o texto ganhe em qualidade, porque mesmo sem sentir você estará tornando-o mais agradável, fluente e comunicativo para o leitor. Quando isso ocorre, o leitor é capaz de compreender precisamente o raciocínio que você desenvolveu, de modo que não fica qualquer dúvida sobre o que você quis dizer-lhe. Essa compreensão do conteúdo é o fator mais importante na comunicação científica (GALLIANO, 1979, p. 120).
Uma possível classificação para as fontes de informação pode ser a seguinte: primárias,
secundárias e terciárias (BOOTH, COLOMB & WILLIAMS, 2005). Por esta taxonomia, as
18
equipes de inspeção do TCE são, por natureza, fontes primárias de informação e podem
contribuir com o levantamento de dados inéditos, a partir de seus trabalhos de campo.
Portanto, a oportunidade de coleta de informações relevantes para grupos de pesquisa é
imensa, especialmente quando se tratarem de estudos específicos carentes de literatura como
fontes secundárias confiáveis.
a) Fontes primárias: São os elementos sobre os quais você está escrevendo diretamente, as matérias primas de sua pesquisa. Em áreas que estudam autores ou documentos, os textos sobre os quais você escreve são fontes primárias. Em áreas como idiomas ou história, normalmente não se pode escrever um artigo de pesquisa sem usar fontes primárias.
b) Fontes secundárias: São os livros e artigos através dos quais outros pesquisadores informam os resultados de pesquisas baseadas em dados primários ou fontes. Você os cita ou menciona como um suporte para sua própria pesquisa. Um arquivo que você escrever será fonte secundária de um pesquisador que o usar para apoiar um argumento dele. Por outro lado, se sua biografia estivesse sendo citada por ele, seu artigo seria uma fonte primária;
c) Fontes terciárias: São livros e artigos baseados em fontes secundárias, nas pesquisas de outros. As fontes terciárias sintetizam e explicam a um público popular a pesquisa feita em uma certa área, ou simplesmente reafirmam o que outros disseram. As fontes terciárias podem ser úteis nas fases iniciais de sua pesquisa, mas representam um suporte fraco para seu argumento porque costumam simplificar e generalizar demais, quase nunca são atualizadas e normalmente são tratadas com desconfiança pelos especialistas.
(BOOTH, COLOMB & WILLIAMS, 2005, p. 92)
A Entidade de Fiscalização Superior norte-americana aponta problemas ligados à utilização
de dados secundários em auditorias de natureza operacional, pois “a forma de coleta pode não
ter sido adequada; os controles internos podem não ser confiáveis; os dados podem ter sofrido
manipulação; os dados podem não representar as variáveis selecionadas para análise” (GAO,
1994). Nesta linha, entende-se que os dados primários, que emergem das situações
observadas, são preferíveis aos demais quando são devidamente validados. Da mesma forma
como nos métodos de inspeção e auditoria, este tema é fundamental para a pesquisa científica.
A questão da validação é uma das questões centrais em pesquisa, e está no cerne das preocupações metodológicas. Ela se refere ao julgamento da pertinência dos métodos e procedimentos empregados para a coleta de dados e informações, e sua veracidade em relação às conclusões. (MIGUELES, 2004, p. 91).
19
2.3. O MÉTODO CIENTÍFICO COMO REFERENCIAL TEÓRICO
Como em Demo (2000, p. 176), “não pretendemos aqui ‘ensinar’ a fazer pesquisa, mas
discutir implicações metodológicas do processo de produção de conhecimento científico,
tendo como base o processo de pesquisa” a partir de observações e experiências de campo
realizadas por técnicos do TCE. De acordo com modelo teórico voltado à suposição desta
pesquisa, o desenvolvedor do texto científico necessita dispor de um período de maturação de
suas idéias, fruto de observações em inspeção (ou auditoria), que se inicia no momento da
coleta e registro de dados e informações e termina na ocasião em que haja condições de
produção de um texto consistente e que acrescente algo ao acervo existente da Administração
Pública.
Este período de maturação, além de estar associado ao aprimoramento das anotações do
pesquisador, compreende etapas metodológicas fundamentais à cientificidade do produto final
desejado. Tratam-se principalmente da problematização e da fundamentação teórica
necessárias. Outra ação importante para a fase chamada maturação é o planejamento de coleta
da base empírica que, via de regra, somente poderá ser feito em função de um primeiro
contato com o objeto de estudo. Ou seja, situações consideradas relevantes para pesquisa,
percebidas em inspeção, é que indicarão os planos para observações em futuras incursões a
campo.
Havendo planejamento quanto ao escopo da inspeção ou auditoria, uma vez em campo, o
agente persegue os dados e informações que lhe parecem mais adequados aos seus objetivos.
Caso predomine o interesse por questões contábeis, normativas e legais, p. ex., a percepção do
técnico estará orientada para estes assuntos. Sem dúvida, a coleta de dados torna-se mais
eficiente na medida em que há maior planejamento dos trabalhos de campo. Mas a ausência
deste não significa que a pesquisa esteja comprometida a ponto de ser inviável sua
concretização.
Este é um fator que pode auxiliar a ação científica dos técnicos durante suas inspeções: a falta
de um projeto de pesquisa elaborado previamente não impede que o técnico recolha dados e
informações que possam alimentar estudos científicos. As dificuldades de produção de textos
científicos a partir de observações de campo devido à ausência de um projeto de pesquisa é
mais presente quando um tema é enfrentado pela primeira vez, ou seja, caso o técnico-
20
cientista esteja iniciando nova investigação ao invés de estar continuando aquela já iniciada
em inspeção ou auditoria anterior.
Não se trata exatamente da Grounded Theory, metodologia onde uma teoria é construída
unicamente de dados empíricos, sem a utilização de referências teóricas precedentes
(APPOLINÁRIO, 2004). Tampouco se defende que o planejamento de pesquisa deva ser
negligenciado pelo técnico. O contexto contemporâneo das ações do TCE, com escassez de
tempo para o planejamento até mesmo de suas atividades ordinárias, é que indica a
necessidade de estratégias metodológicas para a alavancagem de uma produção científica,
exeqüível e duradoura sobre questões relevantes para a melhoria da administração pública, a
partir de observações técnicas privilegiadas.
O fato que se coloca neste trabalho assemelha-se ao que é explicado por Santos7 (1994 apud
VERGARA, 2006a, p. 104) a respeito de uma das características que o método de pesquisa
Grounded Theory: “Resgistra-se, aqui, que os passos da pesquisa não são fixos ou
predeterminados. São orientados pela coleta e pela análise dos dados, etapas que se mesclam,
não sendo possível determinar quando uma termina e a outra se inicia”. Certamente que a
formulação do problema de pesquisa é fundamental e que sua fundamentação teórica não deve
ser negligenciada. Entretanto, a idéia de adiamento destas fases visa à mitigação de alguns
obstáculos à ação científica em inspeções do TCE, especialmente quanto à escassez de tempo
para planejamento e confecção de relatório, à desordem documental em instituições auditadas
e à falta de cultura organizacional voltada à pesquisa científica.
Outra fonte de dificuldade possível de ser enfrentada por pesquisadores reside na necessidade
de autorização para divulgação de informações. Seja qual for o nível de aprofundamento em
questões de pesquisa, deve-se considerar a possibilidade de não ser autorizada pela
administração auditada a publicidade de dados e informações coletadas em campo. Esse
entendimento é fundamental para o técnico que somente realiza inspeções ou auditorias
fiscalizadoras, onde a relação com o administrador público tem mais chance de não ocorrer de
forma colaborativa. Além disso, mesmo em auditorias operacionais é necessário cuidado
especial quanto ao sigilo dos dados coletados junto a jurisdicionados do TCE.
7 SANTOS, Ursula W. B. dos. Métodos qualitativos para pesquisa em administração: caracterização e relacionamento aos paradigmas para pesquisa. 1994. 159 f. Dissertação (Mestrado em Administração de Empresas) PUC-RIO.
21
Uma forma de contornar tal dificuldade é a construção de modelos por meio dos quais são
estudados os fenômenos relativos a certo problema, sem a necessidade de serem informadas
as fontes das informações apresentadas (que devem ser mantidas em arquivo, respeitando a
confidencialidade e o sigilo de cada sujeito incluído na pesquisa). Conforme Krick (1965), os
modelos facilitam a visualização da natureza e do comportamento de um sistema, de uma
estrutura ou de um fenômeno.
O propósito de aproximar o método científico da atividade de inspeção visa à produção de
textos estruturados que comportem informações confiáveis para a produção de
conhecimentos, sem que haja uma simplificação demasiada em textos meramente descritivos
e carentes de análises dos problemas encontrados em nas organizações visitadas. Portanto, o
processo de coleta e registro de dados para divulgação em artigos científicos é importante
objeto de preocupação metodológica, máxime fora do contexto da auditoria operacional.
A coleta de dados é realizada mediante um instrumento de pesquisa, que irá variar em função da ciência e do método utilizado. Por exemplo, nas ciências sociais ‘são três os caminhos para compreender o comportamento humano: (1) observar o comportamento que ocorre naturalmente no âmbito do real; (2) criar situações artificiais e observar o comportamento ante tarefas definidas para essas situações; (3) perguntar às pessoas sobre o que fazem (fizeram) e pensam (pensaram). Cada uma das três famílias de técnicas para conduzir estudos empíricos – observação, experimento e survey – apresenta vantagens e desvantagens distintas’. (APPOLINÁRIO, 2004, p. 48; GÜNTHER8, 1999 apud APPOLINÁRIO, 2004, p. 48).
Quanto à forma de registro de dados e informações e à técnica de desenvolvimento de idéias
(maturação), desperta atenção o ensaio que serve às duas finalidades (registro e maturação).
“Entendemos por ensaio propostas com alguma pretensão científica, dentro de certo raio de
liberdade de expressão. No fundo, trata-se de opinião bem argumentada. Pode ser menos
formal, ritual, mas sem dispensar o cuidado com a argumentação.” (DEMO, 2000, p. 184).
Assim como para a opção da linha de argumentação, os interesses pessoais, as fontes de
consulta acessíveis, a bagagem teórica e prática do pesquisador irão influenciar na escolha do
objeto de pesquisa (ECO, 1994). Entretanto, um fator que não deve ser negligenciado na
escolha pelo tema da pesquisa é que o tempo da inspeção é escasso. Portanto, quanto mais
22
houver aproximação entre os objetivos delineados nos planos de auditorias e aqueles afetos à
pesquisa, melhores serão os resultados alcançados na produção de textos científicos.
No Manual de Auditoria de Natureza Operacional do TCU há informações que estabelecem
relações entre os conceitos metodológicos de auditoria e de pesquisa científica. Tais relações
surgiram a partir de implantação do Projeto de Capacitação em Avaliação de Programas
Públicos, no ano de 1995, em parceria com a Fundação Getúlio Vargas, a Universidade
americana Virginia Polytechnique Institute e a National Academy of Public Administration
dos Estados Unidos (BRASIL, 2000).
Albuquerque (2006) explica que o Manual de Auditoria de Natureza Operacional do TCU
contém os procedimentos operacionais e as estratégias metodológicas a serem utilizadas na
realização de auditorias de desempenho operacional e avaliações de programa. Este manual
estabelece que na elaboração do projeto de auditoria, a equipe deve especificar a estratégia
metodológica a ser adotada, ou seja, os métodos de investigação requeridos diante das
questões formuladas. O Manual descreve estratégias metodológicas, como estudo de caso;
trata de pesquisas de cunho quantitativo e qualitativo; recomenda a especificação de métodos
de coleta de dados; e enumera técnicas de análise de dados, como o tratamento estatístico, a
análise de conteúdo e a triangulação.
[...] o estudo de caso “é um método para conhecer uma situação complexa, baseado em uma compreensão abrangente da situação, obtida a partir da ampla descrição e análise da mesma, considerada como um todo e no seu contexto” [...]. A coleta de informações tem como características a ênfase nos aspectos qualitativos (ainda que sejam coletados dados quantitativos), a aplicação de entrevistas não-estruturadas ou estruturadas com perguntas abertas e observação direta, além da utilização de múltiplas fontes de dados.
O estudo de caso permite uma análise detalhada do programa e possibilita formular hipóteses para serem testadas em estudos de maior amplitude. Apresenta algumas limitações, uma vez que não é usado, em geral, para responder a perguntas avaliativas ou de causa-e-efeito; pode ter custo elevado e necessitar de muito tempo para sua implementação; além de não permitir a generalização das suas conclusões para todo o programa, exceto quando o número de casos ou situações for suficientemente grande e diversificado [...]
8 GÜNTHER. H. Como elaborar um questionário. In: Pasquali, L. (Org.). Instrumentos psicológicos: manual prático de elaboração. Brasília: LabPAM/IBAPP, 1999.
23
A segunda estratégia metodológica proposta pelo Manual é a pesquisa [...]. Essa estratégia, segundo o Manual, permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados, sendo freqüentemente utilizada em conjunto com estudos de caso como suporte para as análises de caráter qualitativo, típicas dessa última estratégia. Como método estruturado de coleta de dados, a pesquisa visa generalizar para toda a população informações obtidas a partir de uma amostra [...]
[...] uma vez definida a estratégia metodológica a ser empregada, devem ser especificados os métodos de coleta de dados que serão adotados, sendo os mais freqüentes a entrevista, o questionário enviado pelo correio, a observação direta e a utilização de dados secundários [...]. Como técnicas de análise de dados o Manual enumera, dentre outros, o tratamento estatístico, a análise de conteúdo e a triangulação, além das denominadas “técnicas de auditoria”, descritas na seqüência, que têm sido testadas e adotadas institucionalmente ao longo dos últimos anos como subproduto do mencionado Projeto de Cooperação Técnica [...]
(ALBUQUERQUE, 2006, p. 110-113)
Um estudo sobre estratégias metodológicas, tipos de pesquisa ou métodos de coleta de dados
extrapolaria o escopo deste trabalho. A bibliografia sobre metodologia científica é vasta e
acessível aos interessados pela temática. O foco aqui está voltado para as semelhança entre os
métodos empregados pela auditoria e pela pesquisa científica. É importante notar como os
Tribunais de Contas podem trazer para a pesquisa científica muitos dos conceitos de auditoria
que se originaram na área acadêmica, realizando um caminho inverso com várias ferramentas
empregadas em seus próprios relatórios.
A triangulação, p. ex., mencionada por Albuquerque (2006) como técnica de análise de dados
no Manual do TCU, pode ser utilizada para a validação de dados. Vergara (2006a, p. 258)
explica que “a triangulação de dados refere-se ao uso de diferentes fontes de dados. Neste
contexto, é sugerido o estudo de um fenômeno a partir de diferentes momentos (tempo),
locais (espaço) e pessoas (informantes)”. Além dessas aproximações, existe imenso potencial
a ser explorado numa analogia entre os conceitos metodológicos de auditoria e de pesquisa
científica (figura 3).
24
Pesquisa científicaAuditoria
Analogia
• Solicitação de informações • Questionários / Formulários
• Avaliações • Avaliações
• Exame de editais e contratos • Análise crítica
• Solicitação de documentos • Levantamento bibliográfico
• Definição de estratégia • Hipótese de trabalho
• Verificação dos documentos • Fichamento
• Exame de projetos • Esquematizações
• Observações de campo • Pesquisa de campo
• Achados de auditoria • Confirmação de hipótese
• Relatório • Artigo
• Obtenção de evidências • Validação de hipótese (tese)
• Planejamento • Planejamento
Pesquisa científicaAuditoria
Analogia
• Solicitação de informações • Questionários / Formulários
• Avaliações • Avaliações
• Exame de editais e contratos • Análise crítica
• Solicitação de documentos • Levantamento bibliográfico
• Definição de estratégia • Hipótese de trabalho
• Verificação dos documentos • Fichamento
• Exame de projetos • Esquematizações
• Observações de campo • Pesquisa de campo
• Achados de auditoria • Confirmação de hipótese
• Relatório • Artigo
• Obtenção de evidências • Validação de hipótese (tese)
• Planejamento • Planejamento
AnalogiaAnalogia
• Solicitação de informações • Questionários / Formulários• Solicitação de informações • Questionários / Formulários
• Avaliações • Avaliações• Avaliações • Avaliações
• Exame de editais e contratos • Análise crítica• Exame de editais e contratos • Análise crítica
• Solicitação de documentos • Levantamento bibliográfico• Solicitação de documentos • Levantamento bibliográfico
• Definição de estratégia • Hipótese de trabalho• Definição de estratégia • Hipótese de trabalho
• Verificação dos documentos • Fichamento• Verificação dos documentos • Fichamento
• Exame de projetos • Esquematizações• Exame de projetos • Esquematizações
• Observações de campo • Pesquisa de campo• Observações de campo • Pesquisa de campo
• Achados de auditoria • Confirmação de hipótese• Achados de auditoria • Confirmação de hipótese
• Relatório • Artigo• Relatório • Artigo
• Obtenção de evidências • Validação de hipótese (tese)• Obtenção de evidências • Validação de hipótese (tese)
• Planejamento • Planejamento• Planejamento • Planejamento
Figura 3: Analogia entre os conceitos metodológicos de Auditoria e de Pesquisa Científica.
Quanto à redação de relatórios de auditoria de inspeções, é possível dizer que se assemelham
a laudos, onde prevalece a redação clara, objetiva pertinente e concisa (FIKER &
MEDEIROS JUNIOR, 1996). Entretanto, o texto científico exige maior rigor, aproximando-
se de um relatório que verse sobre auditoria operacional.
2.3.1. Características importantes ao texto científico
As seguintes características de trabalhos científicos, anotadas em aulas do CIPAD9,
sumarizam alguns critérios de avaliação para textos científicos.
9 Notas de aula. Disciplina Metodologia da Pesquisa – prof. Sylvia Constant Vergara. Curso Intensivo de Administração Pública (CIPAD). Rio de Janeiro: FGV/EBAPE, agosto de 2006.
25
a) Clareza, pertinência e consecução de objetivos
- clareza na apresentação dos objetivos;
- pertinência dos objetivos;
- clareza na justificativa do problema de pesquisa;
- argumentação sobre o alcance ou não dos objetivos.
b) Qualidade da redação e organização do texto
- qualidade formal da redação (ortografia e gramática);
- organização do texto (objetividade, lógica e estrutura).
c) Originalidade do trabalho e relevância do tema
- novas evidências empíricas;
- novas articulações teóricas;
- quadros teóricos que articulem teorias a questões ainda não respondidas;
- implicações significativas sobre um campo de conhecimento ou para a sociedade;
- implicações sobre práticas organizacionais em função de um contexto.
d) Qualidade da revisão da literatura
- referencias a pesquisas anteriores e em conhecimentos acumulados pela comunidade científica (referenciais nacionais e internacionais);
- amplitude do referencial proporcional à amplitude dos objetivos;
- metodologia e análise empírica (quando existente).
e) Consistência teórica do trabalho
- coerência na utilização de uma teoria ao longo do trabalho;
- coerência na utilização de um conjunto de diferentes teorias, correntes teóricas ou escolas de pensamento;
f) Metodologia
- atenção à coerência entre as etapas da metodologia adotada;
- atenção à adequação e robustez entre a metodologia e o contexto estudado;
- em trabalhos quantitativos, deve haver consistência entre as ferramentas e o tipo e tamanho de amostras e fenômenos sob análise, de forma que não haja complexidade exagerada no tratamento estatístico;
26
- em trabalhos qualitativos, deve ser bem avaliada a significância ou representatividade dos indivíduos entrevistados em relação a uma coletividade ou organização como um todo.
g) Análise de resultados – articulação teórica e metodológica da interpretação
- avalia-se a harmonia entre resultados, teoria e metodologia de pesquisa.
h) Conclusões
- avalia-se se existem fundamentos consistentes às conclusões do autor;
- considera-se a coerência entre as conclusões e o quadro teórico de referência utilizado.
i) Contribuição do trabalho para o conhecimento na área temática
- questiona-se quanto o trabalho permite o avanço do conhecimento, o quanto ele soma ao que se sabe sobre um tema.
A respeito da coerência em ciência, mencionada pela professora Sylvia Vergara em mais de
um destes itens, encontram-se em Pedro Demo a seguinte nota sobre critérios de
cientificidade.
Coerência: significa sua propriedade lógica, ou seja: falta de contradição; argumentação bem estruturada; corpo sistemático e bem deduzido de enunciados; desdobramento do tema de modo progressivo e disciplinado, com começo, meio e fim; dedução lógica de conclusões. Coerente é o discurso que, estabelecido seu ponto de partida, evolui sem entrar em contradição, tanto no sentido de não partir de premissas conflitantes como no de ter um corpo intermédio concatenado, e também no de chagar a conclusões congruentes entre si e com as premissas iniciais. (DEMO, 1995, p. 20).
2.4. GESTÃO DE CONHECIMENTOS EM ORGANIZAÇÕES
Os relatórios dos auditores são ótimos veículos para a divulgação de práticas adequadas para a
administração pública. Por meio de artigos científicos esta comunicação pode ser ainda mais
eficaz, pois o horizonte de seu alcance é mais largo, especialmente se ao longo da fase de
maturação de idéias, as recuperações de textos referentes a relatórios de outras inspeções
ocorrerem a partir de relatórios cujas autorias sejam de outros técnicos (e não do agente que
realiza a pesquisa).
27
O nível de intercâmbio de conhecimentos é proporcional ao grau de entendimento entre os
integrantes da organização. No TCE, por haver auditores com especialização variada e
diferentes experiências pregressas, há necessidade de um suporte tecnológico que propicie um
intercâmbio de conhecimentos no coletivo de trabalho com essas características. A gestão do
conhecimento das pessoas em um coletivo de trabalho - habilidades e experiências individuais
em relação ao trabalho realizado - é fundamental para que o desempenho de uma organização
seja maximizado.
Um passo importante será a categorização do conhecimento como um bem, que compõe a principal parte do patrimônio de uma organização. O entendimento deste fato pelas autoridades de uma corporação poderá viabilizar os trabalhos necessários para o bom gerenciamento dos conhecimentos da organização, gerando um novo tipo de conhecimento: o conhecimento da organização sobre si mesma. (ORTENCIO, 2006, p. 11).
Uma solução possível passa pelo uso de uma base de dados alimentada constantemente pelos
próprios agentes. Muitas tecnologias físicas e cognitivas estão disponíveis para a melhoria dos
acessos a informações que permanecem nas organizações: gerenciamento eletrônico de
documentos, Groupware, painéis eletrônicos e grupos de discussão, bases de dados online,
intranet etc. Mas a Gestão do Conhecimento não deve ser centrada apenas em tecnologias
físicas e cognitivas, mesmo que dependa delas, e sim articulá-las com tecnologia
organizacional, direcionada à interação entre pessoas e processos. (SEEMANN, 1997).
Essas tecnologias são úteis para facilitar o compartilhamento de informações entre as pessoas,
mas não são suficientes para que este objetivo seja atingido. O ambiente organizacional que
pretende a interação entre pessoas necessita, além do acesso a tecnologias, promover um
ambiente propício para o uso efetivo de tais ferramentas. A centralidade da organização deve
ser orientada para o suporte de competências dos agentes que operam os processos e não para
o tecido tecnológico.
A criação do conhecimento organizacional deve ser entendida como um processo que amplia ‘organizacionalmente’ o conhecimento criado pelos indivíduos, cristalizando-o como parte da rede de conhecimentos da organização. Esse processo ocorre dentro de uma ‘comunidade de interação’, que atravessa níveis e fronteiras interorganizacionais. (TAKEUCHI & NONAKA, 1997, p. 165).
28
Polanyi (1966) afirma que “os seres humanos adquirem conhecimentos criando e organizando
ativamente suas próprias experiências [...] podemos observar mais do que podemos dizer”. A
construção e a interferência do conhecimento mútuo influenciam a evolução das relações na
equipe. As trocas interativas dentro de uma equipe, envolvendo mecanismos específicos,
podem ser fonte de erros, como também ponto de apoio para consertá-los. A figura 4 tem por
objetivo ilustrar a complexidade envolvida na transferência de conhecimento entre duas
pessoas que não possuem uma mesma base de orientação (os planos de referência individuais
interferem na interpretação da informação transmitida).
Figura 4: A gestão do conhecimento e a transferência de informações entre agentes.
O desenvolvimento de relatórios de auditoria é cada vez mais complexo (em face do avanço
tecnológico, das alterações na legislação, do aperfeiçoamento da expertise técnica dos órgãos
auditados etc.), tornando-se praticamente impossível que um único auditor domine todo o
conhecimento agregado aos empreendimentos modernos (sejam compras, serviços ou ambos).
Portanto o TCE deve promover a cooperação, além de estabelecer diretrizes formais de
conduta, pois caso os procedimentos prescritos não promovam a troca de informações entre os
agentes, as experiências individuais não serão disseminadas.
Planos de referência teórico-práticosde diferentes agentes
Interpretações distintas
Dado ou Informação
Matérias-primas na geração de conhecimentos
29
A despeito do aumento de produtividade proporcionado pelo uso intensivo da informática na
elaboração de relatórios de auditoria, não há incremento significativo no aprimoramento
técnico dos agentes devido ao uso desta tecnologia. O trabalho coletivo também não é
privilegiado durante a prática de redação, quando conhecimentos individuais ou informações
relatadas anteriormente pelos diversos agentes poderiam servir de input e somarem-se ao
corpo dos relatórios correntes. Nota-se, todavia, a ocorrência de relatórios extremamente
distintos a despeito de versarem sobre contratações análogas e em condições semelhantes.
Caso haja uma decisão gerencial de produção de artigos científicos a partir da colaboração de
dois ou mais agentes, o TCE estará agindo de acordo com as learning organizations
(organizações de aprendizagem). Para Ferreira et al. (2005, p. 152-153), “as organizações que
procuram seguir esse modelo aspiram a uma realidade além de sua própria sobrevivência [...],
focalizando seus interesses no desenvolvimento de estruturas evolutivas”. Falando sobre
aprendizado contínuo em organizações, Mota (2004) explica que
toda empresa possui um grande estoque de conhecimentos, além de uma imensa capacidade de recriá-los e de aplicá-los. Cabe à empresa simplesmente abrir canais de comunicação, criando um ambiente onde existam: incentivos para as pessoas experimentarem, correrem riscos e tolerarem erros; participação para as pessoas manifestarem a sua criatividade; e meios para todos aprenderem de suas próprias experiências. (MOTA, 2004, p. 135).
Uma estrutura de trabalho coletivo pronta a dar suporte adequado à produção científica do
TCE pode ser o embrião de um grupo de pesquisas. Além da publicidade positiva para a
organização quando houver a divulgação de trabalhos inéditos, os auditores terão uma
formação melhor estruturada e serão capazes de promover a capacitação dos agentes
auditados com maior efetividade. Ao não analisar tecnicamente uma irregularidade detectada,
não apontando suas causas e conseqüências em um relatório de auditoria que não seja voltado
ao problema, o auditor pode anotar o que viu e aproveitar, em outra oportunidade, um canal
de comunicação com os técnicos públicos auditados.
30
3. A VALIDAÇÃO DE UM ENSAIO
A análise de um exemplo de coleta, registro e maturação de informações emersas de uma
série de inspeções realizadas por técnicos de controle externo do TCE-RJ, apresentada nesta
seção, objetiva facilitar a reflexão sobre problema da pesquisa. Tais inspeções ocorreram
entre janeiro de 2000 e dezembro de 2002 em obras e serviços de engenharia realizados em 10
(dez) prefeituras municipais do Estado do Rio de Janeiro.
Os técnicos que participaram das inspeções, incluindo o autor deste trabalho, visaram à
produção de relatórios técnicos sobre a situação físico-financeira dos contratos em andamento
em cada município. Desta forma, ao longo de visitas in loco foram coletados dados e
informações sobre a situação legal e econômica da execução dos contratos, bem como das
condições técnicas dos serviços executados. Tais informações foram registradas em relatórios
de inspeção que, por sua vez, integraram processos administrativos que seguiram o trâmite
ordinário do Controle Externo do TCE até chegarem ao Plenário para serem apreciados.
As informações referentes às inspeções municipais que proporcionaram a elaboração do
ensaio apresentado no apêndice II – “Alguns aspectos do trabalho dos fiscais de obras
públicas em Prefeituras Municipais no Rio de Janeiro” – foram anotados em arquivos de
texto, organizados e reescritos ao longo de vários anos. Tais informações foram colecionadas
simultaneamente a outros grupos de dados. Paralelamente, alguns campos teóricos foram
testados para dar alguma cientificidade aos grupos de dados e informações anotados.
Como possibilidade de enquadramento teórico ao texto do ensaio analisado, cogita-se sobre a
análise do mesmo sob alguns aspectos relacionados à eficiência, eficácia e efetividade dos
órgãos públicos. Há um processo de desenvolvimento das auditorias que buscam cada vez
mais a mensuração e a avaliação do desempenho das organizações, como mostra Bevilacqua
(2006). Além disso, as organizações podem ser vistas como sistemas sociotécnicos
(TAYLOR, 1995) quando se busca avaliar um desempenho global, especialmente buscando
uma adequação entre técnica, organização e pessoas. Mota (1997) destaca a importância da
abordagem sociotécnica para a compreensão das questões de flexibilidade organizacional e
apresenta a atualização dessa contribuição na literatura geral contemporânea (FERREIRA et
al., 2005).
31
Para a validação das informações colecionadas, foi aplicada uma pergunta aberta (cabeçalho
do apêndice II) a 46 (quarenta e seis) servidores de administrações municipais do Estado do
Rio de Janeiro, inscritos nos cursos de economicidade de contratos administrativos oferecidos
pela ECG/TCE em 12/06/2007 e 28/06/2007, a ser respondida com relação ao ensaio “Alguns
aspectos do trabalho dos fiscais de obras públicas em Prefeituras Municipais no Rio de
Janeiro”.
O texto foi apresentado aos servidores, possíveis validadores, sem o acompanhamento de
conceitos teóricos e despido de argumentações subjetivas. A pergunta aberta buscou uma
análise crítica sobre os fatos apresentados:
Comente o texto a seguir, destacando as situações que achar familiares ou que lhe pareçam absurdas. Se desejar, exponha algum caso semelhante do qual tenha conhecimento ou alguma solução porventura adotada por uma Administração Pública que enfrenta ou enfrentou problemas semelhantes. Você não precisa concordar com o texto, mas sim fazer uma análise crítica sobre ele.
Aos mesmos servidores aplicou-se um formulário (apêndice I) com perguntas abertas e
fechadas visando à investigação sobre a sua opinião a respeito da produção de artigos,
pesquisas ou estudos realizados pelo TCE. A organização dos dados coletados encontra-se no
apêndice III.
3.1. RESULTADOS
3.1.1. Ensaio
A respeito da validação do ensaio (apêndice II), como resultado da pergunta aberta aplicada
aos alunos do curso de economicidade, 42 (quarenta e duas) pessoas concordaram com o
texto do ensaio, 03 (três) não emitiram opinião e 01 (uma) afirmou que desconhecia a
existência de situações semelhantes às relatadas. Dos 42 validadores, 36 comentaram o texto,
destacando trechos variados que mais lhes paraeceram familiares e 6 (seis) acrescentaram
comentários que extrapolaram o conteúdo do ensaio. Estes comentários foram os seguintes:
� “para mudar esta realidade é preciso capacitar o funcionalismo público”;
� “os órgãos de fiscalização já estão buscanco a qualificação das gerencias públicas”;
32
� “a ECG/TCE-RJ proporciona cursos que proporcionam a qualificação de funcionários públicos municipais”. [Obs.: este comentário ocorreu (2) duas vezes];
� “nos casos de recursos carimbados há alteração nos mecanismos de controle de sua aplicação com a designação de equipe técnica qualificada objetivamente e com possibilidade de exclusividade para o exercício da função”;
� “as obras seriam melhor fiscalizadas se houvesse divisão das atividades dos fiscais por especialização (saneamento, edificações etc.)”.
A validação do ensaio logrou êxito com 91,30% das pessoas que o leram. A representação
gráfica dos dados coletados (gráfico 1) permite uma descrição facilitada do grau de aprovação
alcançado. Desta forma, pode-se considerar que as informações contidas no ensaio estão
legitimadas a servirem de base empírica para um artigo científico.
Gráfico 1: Resultado do processo de validação do ensaio do anexo II.
3.1.2. Formulário
Quanto às respostas ao formulário sobre artigos, pesquisas ou estudos já realizados pelo
TCE/RJ, os resultados (organizados no apêndice III) foram os seguintes:
1. Você já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ?
42 Concordaram com o texto (91,30 %)
3 pessoas não opinaram (6,52%)
1 pessoa desconhecia situações semelhantes (2,17%)
33
0
5
10
15
20
25
30
35
40
45
50
Sim Não
Gráfico 2: Respostas à questão: já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ? 1.1. Pode citar exemplos? Foram obtidos 27 (vinte e sete) exemplos de referência (artigos, pesquisas ou estudos)
disponibilizadas pelo TCE. A relação completa encontra-se no apêndice III, onde os Estudos
Sócioeconômico dos municípios destacam-se dos demais com 5 (cinco ocorrências). A
internet também foi lembrada por 5 (cinco ocorrências) pessoas como fonte de informações
difundidas pelo Tribunal: Artigos disponíveis na Internet (1); Pesquisas de preços pela
internet (2) Consultas pela internet / Temas site TCE (2).
1.2. O quanto cada um deles contribuiu para o aprimoramento de seu trabalho?
0
2
4
6
8
10
12
14
Contribuíram muito Contribuíram Neutro Não responderam
Gráfico 3: Respostas à questão: o quanto cada um deles (artigos, pesquisas ou estudos efetuados pelo TCE-RJ ) contribuiu para o aprimoramento de seu trabalho?
44
02
95,65 %
12
38,71 %
08
25,81 % 03
9,68%
08
21,81 %
34
De acordo com os dados apresentados, mais de 95% dos técnicos municipais que
responderam ao formulário já tomaram conhecimento de publicações do TCE. Destes,
64,52% acreditam que as publicações do TCE têm contribuído (ou contribuído muito) para
suas tarefas na administração pública.
2. Em sua opinião, artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha? 2.1. De que forma?
0
5
10
15
20
25
30
35
40
45
SIM NÃO Não responderam
Gráfico 4: Respostas à questão: artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha? De que forma?
Os números apresentados indicam que 39 dos 46 funcionários municipais que participaram da
pesquisa aprovam a produção científica do TCE com base em dados coletados em inspeções.
Pode-se deduzir que os respondentes têm grande interesse em serem leitores de tais
piblicações.
31 (79,49%)
08 (20,51%)
39
84,78 %
03 04
35
4. CONCLUSÃO
A suposição sobre a possibilidade da elaboração de estratégias para a confecção de artigos
científicos, a partir de informações colhidas pelos técnicos do TCE ao longo de trabalhos de
inspeção, foi confirmada. A pedra de toque da argumentação do estudo gira em torno de um
possível caminho de retorno dos métodos e técnicas acadêmicas de pesquisa que são
utilizadas por Entidades Superioras de Fiscalização (EFS), fruto de parcerias com instituições
de ensino e pesquisa, para o âmbito das publicações científicas onde também seriam úteis no
auxílio de agentes do TCE que se dediquem à ciência e à produção de artigos científicos.
Na prática, a ciência lida com incertezas configuradas em suposições ou hipóteses. Os
técnicos do Tribunal de Contas já têm essa experiência em seu cotidiano, mas falta-lhes
incentivo institucional para que expressem suas idéias nessa linguagem. Os beneficiários
desse processo não serão apenas dos técnicos cientistas, quando seu esforço e conhecimento
forem reconhecidos, mas de toda a instituição. A pesquisa evidenciou alguns benefícios
potenciais para cada um dos atores envolvidos com a produção científica sobre órgãos
jurisdicionados do TCE, mapeados no quadro 1.
Beneficiários Benefícios da produção científica sobre inspeções do TCE
Administrações Públicas • Divulgação de boas práticas de gestão; • Oportunidade de aprimoramento de suas ações com auxílio do
conhecimento científico resultante das pesquisas.
Técnicos do TCE
• Desenvolvimento de novos métodos de inspeção; • Possibilidade de replicação do conhecimento acumulado por
meio de sistema de colaboração no TCE ou com a divulgação de seus trabalhos em publicações científicas;
• Colaboração com a aprendizagem corporativa do TCE.
Tribunal de Contas / Escola de Contas
• Aplicação da gestão do conhecimento em suas atividades, proporcionando permanente inovação em seus procedimentos;
• Divulgação de suas ações em revistas científicas; • Produção de dados primários para geração de relatórios
inéditos ou para uso de outras instituições; • Incremento na produção científica da ECG; • Oportunidade de melhoria de qualidade das orientações a
órgãos públicos inspecionados.
Comunidade Científica • Fonte primária de conhecimento a partir de observações empíricas em locais e situações de difícil observação.
Quadro 1: Benefícios da produção científica sobre inspeções do TCE.
36
O estudo aponta algumas especificidades do trabalho dos técnicos do TCE, quando em
situação de inspeção ou auditoria, que devem ser consideradas quando houver ações de
pesquisa em órgãos jurisdicionados: a escassez de tempo para o planejamento e para a
elaboração de relatórios, a dificuldade enfrentada em relação à desordem de certas
administrações e a importância do sigilo de informações sem autorização para divulgação.
As conexões entre os três campos teóricos (métodos de inspeção e auditoria para o controle
externo, método científico e gestão do conhecimento em organizações) ficaram evidenciadas
no modelo teórico apresentado. Por meio de revisão bibliográfica, a construção do referencial
teórico abordou aspectos fundamentais para a coerência do modelo proposto:
a) Relevância da aproximação do planejamento da auditoria e da pesquisa
científica; b) Influência da especialidade ou embasamento teórico do técnico auditor
enquanto pesquisador; c) Necessária participação do auditado na validação de dados coletados para
pesquisa; d) Importância do tempo de maturação de idéias para a produção de textos
científicos consistentes.
Foram apresentados fluxos de procedimentos de inspeção em compasso com atividades de
pesquisa de campo, onde foram evidenciados os pontos de tangência e divergência entre as
duas atividades que se propõe aproximar. Neste contexto, o registro de dados e sua validação
destacaram-se como atividades fundamentais para o sucesso ou insucesso da pesquisa
científica. Por tanto, a validação de um ensaio, apresentada na seção 3, procurou demonstrar a
viabilidade da operação proposta para a produção de conhecimentos a partir do modelo
teórico estudado.
A viabilidade de tal aproximação (auditoria & pesquisa científica) pode ser facilitada pelo
mapeamento apresentado dos fatores que podem subsidiar a ação científica dos técnicos
durante suas inspeções: uso de metodologias adequadas à eventual impossibilidade de
planejamento prévio da pesquisa; elaboração de modelos para que processos e fenômenos
sejam estudados, preservando-se o sigilo de fontes não autorizadas; registro de idéias em
textos sem grande pretensão inicial quanto à cientificidade, mas com ênfase na argumentação
(ensaios).
37
Mais do que um documento teórico ou acadêmico, um artigo científico baseado em inspeções
e auditorias do TCE pode ser visto como uma ferramenta colaborativa (no ambiente interno
do TCE) e participativa (em relação à sociedade). As perspectivas para o crescimento
profissional dos técnicos envolvidos com a pesquisa científica são gigantescas: apuro da
percepção de demandas de administrações auditadas; aprimoramento da capacidade crítica;
prática em redação com cientificidade; valorização da apresentação de soluções etc. Para a
sociedade o ponto central está na melhoria de qualidade das orientações aos jurisdicionados,
que depende do incremento de competências dos agentes que operam os processos de
auditagem.
Finalmente, as perguntas fechadas indicaram que há demanda para artigos científicos a serem
produzidos pelos técnicos do TCE/RJ. Mais de 95% dos técnicos municipais que responderam
ao formulário já tomaram conhecimento de artigos e, deste universo, cerca de 64% acreditam
que as publicações do TCE têm contribuído (ou contribuído muito) para suas tarefas na
administração pública. Portanto, deduzimos que a produção de conhecimentos do Tribunal
tem público com alto grau de interesse e que esse mesmo público consumirá pesquisas e
estudos que o TCE-RJ venha a realizar baseado em suas inspeções e auditorias. Além disso,
84,78 % dos alunos respondentes acham que artigos científicos elaborados por técnicos do
TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir (ou contribuir
muito) para o aprimoramento dos órgãos em que trabalham.
4.1. LIMITES DO TRABALHO
Este estudo pretendeu a elaboração de modelos baseados em revisão bibliográfica mínima
necessária ao tratamento da suposição apresentada como resposta à questão central da
pesquisa. Muito mais há na literatura a respeito dos três ramos do conhecimento que
compuseram o quadro teórico revisto. O questionário aplicado com uma pergunta aberta
forneceu validação de um ensaio que, por meio do modelo teórico proposto no estudo, deve
evoluir para um artigo científico. Entretanto, outras etapas metodológicas, que escaparam ao
escopo deste trabalho, ainda são necessárias para a finalização da pesquisa baseada no ensaio
analisado.
38
REFERÊNCIAS
ALBUQUERQUE, Frederico de Freitas Tenório de. A auditoria operacional e seus desafios: um estudo a partir da experiência do Tribunal de Contas da União. Dissertação de Mestrado em Administração – UFBA, Salvador, 2006.
APPOLINÁRIO, Fabio. Dicionário de metodologia científica. São Paulo: Atlas, 2004. AQUINO, Stepple de In: SÁ, Adolfo L. S.; PEREIRA, Gustavo P. C. (Org.). Auditoria de
Engenharia: uma contribuição do Tribunal de Contas do Estado de Pernambuco. Recife: TCE-PE, 2005. p. 287-306.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). NBR 14724.
Informação e documentação – Trabalhos acadêmicos – Apresentação, agosto/2002. BRASIL. Tribunal de Contas da União. Manual de auditoria de natureza operacional. 2000.
Disponível em: <http://www2.tcu.gov.br>. Acesso em: 9 maio 2007. BEVILACQUA, Roberto. Mensuração e avaliação do desempenho das organizações. Rio de
Janeiro: Fundação Getúlio Vargas, 2006. 90 p. Apostila da disciplina. BOOTH, Wyne C., COLOMB, Gregory G. & WILLIAMS, Joseph M. A arte da pesquisa.
São Paulo: Martins Fontes, 2005. BORGES, Carlos Alberto Nunes e CAMPOS, Sandra Maria De Carvalho. Auditoria
Governamental. Apostila do Curso da Associação dos Membros dos Tribunais de Contas do Brasil (ATRICON), Rio de Janeiro, 1998.
CASTRO, Antonio M. G., LIMA, Suzana M. V. e CARVALHO, José R. P. de. Planejamento
de C&T: sistemas de informação gerencial. Brasília: Embrapa-DPD, 1999. p. 15. CHAUÍ, M. Convite à Filosofia. São Paulo: Ática, 1997. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPPES).
<http://qualis.capes.gov.br>. Acessado em 20/09/2006. CORRÊA, Vera Lúcia de Almeida. Introdução ao Trabalho Científico. Rio de Janeiro:
Fundação Getúlio Vargas, 2002. 48 p. Apostila da disciplina. CRUZ, Flávio da. Auditoria Governamental. São Paulo: Atlas, 1997. DAVIS, L. E. e TAYLOR, J. C. Design of jobs. Harmondsworth: Penguin, 1972. DEMO, Pedro. Metodologia Científica em Ciências Sociais. São Paulo: Atlas, 1995. ______. Metodologia do Conhecimento Científico. São Paulo: Atlas, 2000. ECO, Umberto. Como se Faz uma Tese. São Paulo: Perspectiva, 1994.
39
ESCOLA DE CONTAS DO TRIBUNAL DE CONTAS DO ESTADO DO RIO DE
JANEIRO (ECG/TCE-RJ). Coordenadoria de Estudos e Pesquisas (COE). <www.ecg.tce.rj.gov.br>. Acesso em 20/09/2006.
FERREIRA, V. C. P. et al. Modelos de Gestão. Rio de Janeiro: FGV, 2005. FIKER, José & MEDEIROS JUNIOR, Joaquim da Rocha. A perícia judicial: como redigir
laudos. São Paulo, PINI, 1996. GALLIANO, A. Guilherme. O método Científico: teoria e prática. São Paulo: Harbra, 1979. GIL, Antonio Carlos. Como elaborar projetos de pesquisa. 4ª ed. São Paulo: Atlas. 2002. GAO - United States General Accounting Office. Approach and methodology selection
workshop: instructor manual. Washington. 1994. GOMES, Marcelo Barros. Controle Externo. Rio de Janeiro: Fundação Getúlio Vargas, 2007.
126p. Apostila da disciplina. HOUAISS, A. Dicionário eletrônico Houaiss da língua portuguesa. Rio de Janeiro: Objetiva,
2001. INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS
(INTOSAI). Código de Ética e Normas de Auditoria. 2005. Disponível em: <http://www.tce.ba.gov.br/4-congresso/codigo.pdf>. Acesso em: 12 maio 2007.
KRICK, E. V. An Introduction to Engineering and Engineering Design. New York: John
Wiley & Sons. 1965. MAGARÃO, Marília. Processos de mudança e modelagem organizacional. Rio de Janeiro:
Fundação Getúlio Vargas, 2002. 83 p. Apostila da disciplina. MIGUELES, Carmen. Pesquisa: por que administradores precisam entender disso? Rio de
Janeiro: E-Papers, 2004. MOTA, Paulo Roberto. Gestão Contemporânea: a ciência e a arte de ser dirigente. 8ª ed. Rio
de Janeiro: Record, 1997. MOTA, Paulo Roberto. Transformação Organizacional: a teoria e a prática de inovar. Rio de
Janeiro: Qualitymark, 2004. NAGEL, José. Perspectivas para a educação e a pesquisa em controle externo no próximo
milênio. Revista do TCU, Brasília, v. 31, n. 84, p. 317-332, abr/jun. 2000. Notas de aula. Disciplina Introdução ao Trabalho Científico – prof. Vera Lúcia de Almeida.
Curso Intensivo de Administração Pública (CIPAD). Rio de Janeiro: FGV/EBAPE, fevereiro de 2006.
40
Notas de aula. Disciplina Metodologia da Pesquisa – prof. Sylvia Constant Vergara. Curso Intensivo de Administração Pública (CIPAD). Rio de Janeiro: FGV/EBAPE, agosto de 2006.
ORTENCIO, Vanderlei Vilhanova. Gestão de dados e a abordagem capitalização de
conhecimento. In: I Congresso de Tecnologia para Gestão da Dados e Metadados do Cone Sul. Set 2003. Fonte: < http://conged.deinfo.uepg.br/~iconged/Artigos/artigo_06.pdf> obtido em 12 Jun 2007.
PINTO, Sérgio Antoni F. Introdução à auditoria. Apostila de Curso, Rio de Janeiro, Instituto
Serzedêlo Corrêa/TCE/RJ, 2001. POLANYI, M. The Tacit Dimension. Londres: Routledge & Kegan Paul.1966. RIO DE JANEIRO. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO
(TCE/RJ). Deliberação TCE/RJ 167: art. 49, parágrafos 1º, 2º e 3º. Rio de Janeiro: 1992. ROCHA, Márcio Soares da. Métodos e Procedimentos em Auditorias de Obras Públicas. In:
Anais do VI Simpósio Nacional de Obras Públicas (SINAOP). Florianópolis: 2001. SEEMANN, Patricia. A prescription for knowledge management: what Hoffmann-LaRoche´s
case can teach others. Ernst & Young, 1997. Disponível em: <http://www.businessinnovation. ey.com/journal/issue1/features/apresc/loader.html>. Acesso em: 15 maio 2007. SILVA, Lino Martins da. Auditoria Governamental. Apostila de Curso, Rio de Janeiro, 1998. TAKEUCHI, Hirotaka e NONAKA, Ikujiro. Criação de conhecimento na empresa: como as
empresas japonesas geram a dinâmica da inovação. Rio de Janeiro: Campus, 1997. TAYLOR, Frederick Winslow. Princípios de Administração Científica. São Paulo: Atlas,
1995. VERGARA, Sylvia Constant. Métodos de pesquisa em administração. 2ª ed. São Paulo: Atlas,
2006a. ______. Projetos e Relatórios de pesquisa em administração. 7ª ed. São Paulo: Atlas, 2006b.
41
GLOSSÁRIO
Achados de auditoria: constatações de determinado documento ou situação não conforme a
determinado critério.
Arbitramento: Atividade que envolve a tomada de decisão ou posição entre alternativas
tecnicamente controversas ou que decorrem de aspectos subjetivos (Resolução 345/90 do
CONFEA, art. 1º).
Artigo científico: é parte de "uma publicação com autoria declarada, que apresenta e discute
idéias, métodos, processos, técnicas e resultados nas diversas áreas do conhecimento."
(ABNT, 2002, p.2). A ABNT reconhece dois tipos de artigos: Artigo original: quando
apresenta temas ou abordagens próprias. Geralmente relata resultados de pesquisa e é
chamado em alguns periódicos de artigos científicos; Artigo de revisão: quando resume,
analisa e discute informações já publicadas. Geralmente é resultado de pesquisa bibliográfica.
Auditoria: a distinção entre inspeção e auditoria (enquanto procedimentos de fiscalização) foi
regulada pelo TCE/RJ da seguinte forma: a inspeção tem como objetivo suprir omissões e
lacunas de informações constantes em prestações e tomadas de contas, em relatórios de
auditoria ou em pareceres técnicos (PINTO, 2001).
CONFEA: Conselho Federal de Engenharia, Arquitetura e Agronomia.
Evidências de auditoria: provas obtidas pelo auditor, em face da aplicação dos
procedimentos de auditoria, para avaliar se os critérios estabelecidos estão sendo ou não
atendidos.
INTOSAI: International Organization of Supreme Audit Institutions. Organização
Internacional de Entidades Fiscalizadoras Superiores (http://www.intosai.org).
Inspeções: (1) inspeções ordinárias serão realizadas segundo programação aprovada pelo
Presidente do Tribunal, com o objetivo de verificar in loco a legalidade, a legitimidade e a
economicidade dos atos, ou contratos, de natureza contábil, financeira, orçamentária,
42
operacional e patrimonial, nas unidades dos Poderes do Estado, dos Municípios sob sua
jurisdição, e bem
assim nas entidades da administração indireta, incluídas as fundações e sociedades instituídas
ou mantidas pelos referidos Poderes, e nos fundos; (2) inspeções especiais serão realizadas em
cada caso, ex-officio, por determinação do Presidente, por solicitação do Conselheiro, do
representante do Ministério Público, ou do Secretário-Geral de Controle Externo, sempre que
houver necessidade de entendimento direto, visando a coletar dados, esclarecer fato
determinado, verificar in loco a execução de contratos, bem como dirimir dúvida ou suprir
omissões em processo em trânsito no Tribunal; (3) inspeções extraordinárias serão
autorizadas, em cada caso, pelo Plenário, tendo por finalidade apurar fatos cuja relevância ou
gravidade exijam exame mais detido e aprofundado. Deliberação TCE/RJ 167/92, art. 49,
parágrafos 1º, 2º e 3º. (RIO DE JANEIRO, 1992).
GAO: Government Accountability Office (successor do General Accounting Office). Entidade
de Fiscalização Superior (EFS) norte-americana.
NAO: National Audit Office. Entidade de Fiscalização Superior (EFS) do Reino Unido.
Papéis de trabalho: (1) Constituem um registro permanente dos serviços executados pelo
auditor, contendo os métodos e procedimentos por ele adotados, os testes que efetuou, as
informações que obteve e as conclusões relativas ao seu exame (BORGES & CAMPOS,
1998);
(2) Descrições das constatações do auditor, em cumprimento às instruções do programa de
auditoria onde são registrados todos os dados e informações julgadas relevantes para o
alcance do escopo do trabalho de auditoria. (SILVA, L., 1998).
43
APÊNDICE I: FORMULÁRIO
Por favor, opine sobre as seguintes questões:
1. Você já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ?
□ Sim
□ Não
Caso afirmativo:
1.1. Pode citar exemplos?
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
1.2. O quanto cada um deles contribuiu para o aprimoramento de seu trabalho?
□ Contribuíram muito: _______________________________________
□ Contribuíram: ____________________________________________
□ Neutro:_________________________________________________
□ Não contribuíram: ________________________________________
□ Não contribuíram de modo algum: ___________________________
44
2. Em sua opinião, artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha?
□ Sim
□ Não
Caso afirmativo:
2.1. De que forma você entende que tais artigos poderiam contribuir para o aprimoramento de seu trabalho?
□ Contribuiriam muito
□ Contribuiriam
□ Neutro
□ Não contribuiriam
□ Não contribuiriam de modo algum
45
APÊNDICE II: ENSAIO PARA VALIDAÇÃO DE PESQUISA DE CAMPO
Comente o texto a seguir, destacando as situações que achar familiares ou que lhe pareçam absurdas. Se desejar, exponha algum caso semelhante do qual tenha conhecimento ou alguma solução porventura adotada por uma Administração Pública que enfrenta ou enfrentou problemas semelhantes. Você não precisa concordar com o texto, mas sim fazer uma análise crítica sobre ele.
Alguns aspectos do trabalho dos fiscais de obras públicas em Prefeituras Municipais no Rio de Janeiro
Em geral, as atividades dos fiscais de obras dos municípios estudados não são realizadas somente em uma frente de trabalho. Normalmente, cada agente está envolvido em mais de uma fiscalização simultânea e precisa interagir com diferentes projetos, normas e empresas contratadas. Quando a equipe técnica que acompanhou determinado empreendimento não se encontra mais na Prefeitura (em função de mudança de Prefeito ou por alterações administrativas no mesmo mandato), um simples entupimento na rede pública de drenagem pode consumir dias para ser diagnosticado, pois não existem arquivos de projetos referentes ao que há sob a superfície urbana. Para contornar tais dificuldades, os fiscais tentam recuperar parte da memória urbana, não registrada apropriadamente, por meio de entrevistas com moradores que eventualmente presenciaram a condução de obras já realizadas. Ao fiscalizar obras cujos projetos são deficientes e, ainda, não são de autoria da Administração municipal, podem surgir dificuldades na aferição de procedimentos executivos (posicionamento de instalações/equipamentos, utilização adequada de materiais etc.). Diante disso, as tomadas de decisão ficam, em muitos casos, por conta dos técnicos das empresas que executam os serviços. Com poucos recursos humanos, as Administrações não conseguem fiscalizar diariamente ou, por vezes, nem uma vez a cada semana todas as obras públicas em andamento. Na tentativa de garantir o uso da boa técnica executiva, algumas Administrações promovem remanejamentos de fiscais de posturas e de obras particulares para o acompanhamento de obras públicas que, em geral, exigem conhecimentos técnico-legais não habituais para estes agentes municipais. A fiscalização também pode ficar longe das frentes de trabalho por vários dias por falta de automóveis oficiais disponíveis, havendo casos em que o fiscal usa seu carro particular para ir às obras, mas este procedimento não é comum. Em muitos casos, os técnicos das empresas fiscalizadas promovem a confecção das planilhas de medição. A legislação não desautoriza realização de medições pela contratada, mas sua verificação deve ser feita pela fiscalização do órgão contratante (o que nem sempre ocorre). A reincidência de defeitos apresentados por obras feitas repetidas vezes no mesmo município (escolas, calçamentos, praças, asfaltamentos etc.) indica, em alguns casos, uma possível deficiência na qualificação técnica dos agentes fiscais em relação aos métodos construtivos
46
(mesmo aqueles já consagrados e que não se relacionam com as inovações tecnológicas, hoje cada vez mais freqüentes). O desconhecimento de Normas Técnicas da ABNT sobre o controle tecnológico de materiais e serviços de engenharia é comum entre os fiscais de obras. Assim, serviços de pavimentação asfáltica, por exemplo, apresentam vida útil inferior à de projeto quando os parâmetros de seus componentes constituintes (finura, dosagem, homogeneidade etc.) e as condições de sua aplicação (temperatura, ferramentas e equipamentos auxiliares, tempo de transporte etc.) não são controlados. Quando escolas são construídas com verbas destinadas à Secretaria de Educação ou postos de saúde são edificados sob a supervisão da Secretaria de Saúde, o corpo técnico da Secretaria de Obras interage com a execução das obras somente em alguns momentos, em geral uma vez a cada mês quando as notas fiscais têm que ser rubricadas – por engenheiro, arquiteto ou técnico – para que o respectivo pagamento seja autorizado pela Secretaria de Fazenda. Nestes casos, os técnicos fazem meros serviços burocráticos. Os boletins de medição devem anteceder a confecção das notas fiscais, pois os valores medidos compõem o total a ser pago à contratada. Entretanto, quando um fiscal se depara com uma Nota Fiscal preenchida, tende a não se preocupar com pequenas diferenças de quantidades porventura não executadas, pensando em corrigi-las por meio de compensações em medições posteriores. Assim, o agente se arrisca a perder o controle sobre andamento da obra caso outro fiscal realize as medições subseqüentes. Planilhas e cronogramas nem sempre apresentam valores compatíveis. Nestes casos em que os procedimentos de controle da execução contratual não são bem traçados, o fiscal fica sem parâmetros para executar sua atividade. Alguns cobram da contratada as confecções de novos documentos, outros fazem suas anotações de forma paralela. A maioria dos agentes fiscais não se preocupa com o prazo relacionado ao andamento dos empreendimentos. Nestes casos, tanto as empresas quanto a Administração fazem do Termo Aditivo regra quando deveria ser exceção. Alterações de Projetos não são registradas (em desenhos, diário de obras, termo aditivo, memorando etc.), comprometendo a memória técnica do empreendimento. Uma vez que não há o costume de serem feitos projetos as built ao final da obra, é comum que serviços aditados, detalhes alterados ou troca de serviços aparentes (pinturas extras, instalações adicionais, troca de materiais como pisos ou telhas etc.) ou enterrados (movimentos de terra, concreto de fundações, tubulações etc.) não constem de arquivos municipais.
47
APÊNDICE III: ORGANIZAÇÃO DOS DADOS COLETADOS
1. Você já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ?
□ Sim = 44 opções SIM.
□ Não = 02 opções NÃO.
Caso afirmativo:
1.1. Pode citar exemplos?
� Estudo Sócioeconômico dos municípios. [Obs.: este exemplo ocorreu (5) duas vezes];
� Revista do Tribunal;
� Deliberações TCE [Obs.: este exemplo ocorreu (2) duas vezes];
� Subsídio de vereadores [Obs.: este exemplo ocorreu (3) três vezes];
� Pareceres de conselheiros;
� Artigos disponíveis na Internet;
� Entendimentos citados por doutrinadores em livros;
� Especificação de materiais;
� Pesquisas de preços pela internet [Obs.: este exemplo ocorreu (2) duas vezes];
� Fiscalização de obras (Revista TCE);
� Aplicação de recursos em obras e aproveitamento dos mesmos durante a execução;
� Royalties;
� Cursos de capacitação da ECG;
� Consultas pela internet / Temas site TCE [Obs.: este exemplo ocorreu (2) duas vezes];
� ISSQN no segmento de petróleo;
� Relatório de inspeção realizada no órgão;
� Artigo do TCE sobre as contratações de emergência da união, classificando-as como fraudulentas (relativas à recuperação das estradas federais);
� Artigo do TCE sobre o controle e gestão de receitas municipais, apresentando a coordenadoria de controle das receitas;
1.2. O quanto cada um deles contribuiu para o aprimoramento de seu trabalho?
□ Contribuíram muito = 12 opções CONTRIBUIRIAM MUITO
48
Comentários:
� “Maior clareza em Pregão”;
� “É importante conhecer o trabalho de um órgão que trabalho sobre o nosso trabalho”
□ Contribuíram = 08 opções CONTRIBUIRIAM
Comentários:
� “Esclarecimento de dúvidas”;
� “Base legal e dados estatísticos”;
□ Neutro = 03 opções NEUTRO
□ Não contribuíram =
□ Não contribuíram de modo algum =
[Obs. 08 não responderam.]
2. Em sua opinião, artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha?
□ Sim = 39 opções SIM.
□ Não = 03 opções NÃO.
[Obs. 04 não responderam.]
Caso afirmativo:
2.1. De que forma você entende que tais artigos poderiam contribuir para o aprimoramento de seu trabalho?
□ Contribuiriam muito = 31 opções CONTRIBUIRIAM MUITO
□ Contribuiriam = 8 opções CONTRIBUIRIAM
□ Neutro
□ Não contribuiriam
□ Não contribuiriam de modo algum