.
Por que áreas distintas do conhecimento não devem ser avaliadas da mesma maneira
Introdução
Poucas ideias encontram tanto consenso na sociedade contemporânea quanto a importância da educação, da ciência, da pesquisa e da inovação para o desenvolvimento econômico e social. Universidades de excelência são fundamentais para formar profissionais, produzir conhecimento, desenvolver tecnologias, contribuir para políticas públicas e ampliar a capacidade de um país compreender e enfrentar seus próprios desafios.
Entretanto, esse consenso não deve impedir que façamos uma pergunta mais difícil:
instituições que abrigam áreas tão diferentes do conhecimento deveriam organizar e avaliar seus docentes segundo uma estrutura essencialmente uniforme?
Uma universidade reúne Física, Química, Medicina, Biologia, Engenharia, Economia, Administração, Contabilidade, Direito, Educação, Filosofia, Artes e inúmeras outras áreas. Todas participam da produção e da transmissão do conhecimento, mas seus objetos, métodos, tempos de maturação, formas de validação e maneiras de produzir impacto sobre a sociedade são profundamente diferentes.
O problema surge quando essa enorme diversidade precisa caber em modelos de carreira e avaliação que, explícita ou implicitamente, acabam atribuindo peso excessivo a um determinado padrão de produtividade acadêmica, frequentemente associado ao número de artigos publicados, às citações e aos indicadores bibliométricos.
É necessário perguntar se esse modelo continua sendo suficiente para a universidade do século XXI.
Nossa tese é que a excelência acadêmica deve continuar sendo rigorosamente exigida, mas não necessariamente medida da mesma maneira em todas as áreas.
O desafio não é reduzir a importância da pesquisa.
É reconhecer que diferentes campos do conhecimento podem contribuir para a universidade e para a sociedade de maneiras igualmente importantes, embora distintas.
1. A universidade nasceu da diversidade do conhecimento
Uma grande universidade caracteriza-se justamente por reunir distintas formas de compreender a realidade.
Nas Ciências Naturais, experimentos, observações e teorias podem produzir descobertas capazes de alterar nossa compreensão da matéria, da vida ou do universo.
Na Medicina e nas Ciências da Saúde, décadas de pesquisa podem resultar em novos medicamentos, procedimentos diagnósticos, tratamentos e protocolos clínicos capazes de aumentar a expectativa e a qualidade de vida das populações.
Nas Engenharias, o conhecimento pode materializar-se em equipamentos, processos, sistemas, patentes, infraestrutura e novas tecnologias.
Nas Ciências Humanas, pode ampliar nossa compreensão sobre a sociedade, a cultura, a educação, a história e as instituições.
Na Economia, Administração e Contabilidade, além da produção científica propriamente dita, parte expressiva do impacto pode estar associada à formulação e avaliação de políticas públicas, ao aperfeiçoamento da gestão, ao funcionamento de empresas e organizações, à compreensão dos mercados, às finanças públicas, aos sistemas tributários e à formação de dirigentes dos setores público e privado.
Em todos esses casos existe produção de conhecimento.
Mas não necessariamente existe a mesma relação entre publicação acadêmica, avanço do conhecimento e impacto social.
É justamente essa diferença que precisa ser reconhecida.
2. O risco de transformar o artigo científico em finalidade
A publicação científica constitui um dos pilares da universidade.
É por meio dela que resultados são apresentados à comunidade acadêmica, submetidos à crítica, reproduzidos, contestados e incorporados ao patrimônio do conhecimento.
O problema não está, portanto, na publicação.
O problema aparece quando o instrumento passa a ocupar o lugar da finalidade.
Se promoções, concursos, avaliações e reconhecimento acadêmico são fortemente determinados pelo volume de publicações e por determinados indicadores quantitativos, cria-se um incentivo previsível: docentes e pesquisadores passam a organizar parte significativa de sua atividade para atender aos critérios segundo os quais serão avaliados.
Revistas se multiplicam. Congressos e seminários aumentam. Bases bibliométricas tornam-se cada vez mais importantes. Estratégias de publicação passam a fazer parte da própria gestão da carreira.
Tudo isso pode representar vitalidade acadêmica.
Mas também pode estimular aquilo que se convencionou chamar de produtivismo acadêmico: publicar não somente porque determinado trabalho acrescenta algo relevante ao conhecimento, mas porque a carreira exige um fluxo permanente de publicações.
A discussão não é nova.
A San Francisco Declaration on Research Assessment – DORA tornou-se uma das principais referências internacionais na defesa de avaliações científicas mais amplas. Seu trabalho recente sobre avaliação responsável enfatiza que não existe uma única abordagem adequada a todas as organizações e disciplinas.
Da mesma forma, a Coalition for Advancing Research Assessment – CoARA defende que avaliações reconheçam a diversidade de resultados, práticas e atividades científicas, combinando julgamento qualitativo com o uso responsável de indicadores quantitativos.
Portanto, discutir novas formas de avaliação acadêmica não significa diminuir o rigor científico.
Ao contrário: significa tentar avaliá-lo de maneira mais inteligente.
3. Nem todos precisam ser excelentes nas mesmas coisas
Talvez uma das ideias mais importantes do debate contemporâneo sobre avaliação seja relativamente simples:
um professor universitário não precisa necessariamente apresentar o mesmo grau de excelência em todas as dimensões da atividade acadêmica ao mesmo tempo.
Um docente pode ser um extraordinário pesquisador.
Outro pode ser um professor excepcional.
Outro pode combinar sólido trabalho acadêmico com enorme capacidade de transferência tecnológica.
Outro pode ter contribuição decisiva na formulação de políticas públicas.
Outro pode liderar hospitais universitários, laboratórios, museus, clínicas, escritórios-modelo, observatórios, centros de inovação ou programas de extensão de enorme impacto social.
Outro pode estabelecer uma relação excepcional entre universidade e empresas.
Todos podem contribuir decisivamente para a missão universitária.
Essa concepção poderia produzir uma mudança importante na cultura universitária:
deixar de perguntar apenas quanto um professor produziu e passar a perguntar também o que sua atuação acrescentou à universidade, à sua área de conhecimento e à sociedade.
4. O ensino precisa recuperar centralidade
Existe ainda uma dimensão que merece especial atenção: o ensino.
A universidade é simultaneamente instituição de produção e de transmissão de conhecimento.
Pesquisa e ensino não são atividades concorrentes. Nas melhores universidades, alimentam-se mutuamente.
Entretanto, quando os sistemas de reconhecimento profissional atribuem peso muito elevado à pesquisa mensurada por publicações, pode surgir uma assimetria.
Um artigo publicado em determinada revista permanece registrado no currículo do professor, entra em bases de dados, produz indicadores e pode gerar citações durante anos.
Uma aula excepcional, que transforma a compreensão de centenas de estudantes, é muito mais difícil de quantificar.
Essa diferença de mensuração não significa diferença de importância.
Precisamos evitar uma situação paradoxal em que instituições criadas também para ensinar acabem oferecendo incentivos profissionais muito mais claros para publicar do que para alcançar a excelência no ensino.
Em áreas fortemente ligadas à formação profissional — como Administração, Contabilidade, Direito, Engenharia e inúmeras outras — essa questão torna-se ainda mais relevante.
Formar um excelente economista, administrador, contador, engenheiro, médico, professor ou gestor público é uma contribuição acadêmica de enorme impacto social.
Não há razão para que essa dimensão seja considerada secundária simplesmente porque sua mensuração é mais complexa.
5. O exemplo da USP
A Universidade de São Paulo oferece um ponto de partida particularmente interessante para essa discussão.
O Regime de Dedicação Integral à Docência e à Pesquisa – RDIDP é o regime preferencial de seu corpo docente e tem como finalidade estimular a excelência e o aprimoramento das atividades de ensino, pesquisa, extensão e cultura.
Portanto, a própria definição institucional da atividade docente já é multidimensional.
Além disso, os parâmetros utilizados na progressão da carreira docente são definidos pelas diferentes unidades da Universidade em consonância com seus respectivos projetos acadêmicos e com as diretrizes gerais da USP.
Existe, portanto, uma base importante sobre a qual avançar.
A pergunta que propomos não é se deve haver critérios diferentes simplesmente para facilitar a progressão em determinadas áreas.
É outra:
até que ponto os projetos acadêmicos das unidades poderiam avançar na construção de perfis de excelência efetivamente compatíveis com as características de cada campo do conhecimento?
Essa diferenciação poderia ocorrer não apenas entre grandes áreas, mas também dentro delas.
Uma faculdade de Economia pode possuir departamentos com forte orientação teórica, outros mais empíricos e outros voltados à formulação de políticas públicas.
Uma escola de Engenharia pode combinar pesquisadores de ciência fundamental, desenvolvimento tecnológico e interação intensa com o setor produtivo.
Uma Faculdade de Medicina pode reunir pesquisadores de laboratório, docentes envolvidos intensamente no atendimento hospitalar e especialistas responsáveis pela formação clínica.
A universidade contemporânea é complexa demais para ser adequadamente compreendida a partir de uma única régua.
6. Uma diferenciação acadêmica responsável
Defendemos, portanto, aquilo que podemos denominar diferenciação acadêmica responsável.
Não se trata de criar áreas de primeira e segunda categoria.
Não significa estabelecer menor rigor para determinadas disciplinas.
Não significa abandonar a pesquisa nas áreas profissionais.
E tampouco significa negar a importância das publicações científicas.
Significa reconhecer que excelência acadêmica é multidimensional.
Uma política dessa natureza poderia preservar um núcleo comum de obrigações associado à condição de professor universitário, mas permitir diferentes ênfases de acordo com a área, a unidade, o departamento e o próprio projeto acadêmico do docente.
Entre as dimensões possíveis estariam:
- pesquisa e produção científica;
- ensino;
- formação de pesquisadores;
- inovação e tecnologia;
- impacto profissional;
- políticas públicas;
- impacto econômico e social;
- extensão e cultura;
- interação com empresas e governo;
- gestão e liderança acadêmica.
O peso atribuído a cada dimensão poderia variar legitimamente.
O que não deveria variar é a exigência de qualidade.
7. Da igualdade de critérios à equidade de avaliação
Existe uma distinção conceitual importante.
Tratar todos igualmente nem sempre significa avaliar todos de maneira justa.
Aplicar exatamente os mesmos indicadores a professores que trabalham em contextos radicalmente diferentes pode produzir uma aparência de objetividade, mas não necessariamente uma avaliação adequada.
Avaliar com equidade significa preservar critérios elevados enquanto se reconhecem diferenças relevantes.
Essa questão aparece também no debate internacional sobre reforma da avaliação científica, que vem defendendo maior respeito à variedade das disciplinas, aos diferentes tipos de pesquisa, aos estágios das carreiras e às distintas missões institucionais.
É uma mudança aparentemente pequena, mas conceitualmente profunda:
da padronização da excelência para o reconhecimento das diferentes formas de excelência.
8. Proposta IVEPESP: uma Matriz Multidimensional de Avaliação Docente
Reconhecer que diferentes áreas do conhecimento possuem missões, métodos e formas de impacto distintos não significa abandonar critérios objetivos nem tornar a avaliação acadêmica excessivamente subjetiva.
Ao contrário, é possível construir sistemas mais sofisticados, transparentes e rigorosos.
Uma possibilidade seria a adoção de uma Matriz Multidimensional de Avaliação Docente, baseada em um conjunto comum de dimensões acadêmicas, mas permitindo que os pesos atribuídos a cada dimensão variem de acordo com:
- a natureza da área do conhecimento;
- o projeto acadêmico da unidade;
- as características do departamento;
- o estágio da carreira docente;
- e, dentro de limites previamente estabelecidos, o perfil acadêmico do professor.
O princípio fundamental seria simples:
todos os professores seriam avaliados com rigor, mas não necessariamente segundo a mesma combinação de indicadores.
Matriz Multidimensional de Avaliação Docente – proposta para debate
| Dimensão | Exemplos de contribuições |
|---|---|
| 1. Ensino e formação | Qualidade do ensino de graduação e pós-graduação; inovação pedagógica; criação e atualização de disciplinas; materiais didáticos; orientação e formação profissional. |
| 2. Pesquisa e produção de conhecimento | Artigos, livros, capítulos, produção teórica ou experimental, originalidade, relevância, repercussão acadêmica e participação em projetos de pesquisa. |
| 3. Formação de pesquisadores | Orientação de iniciação científica, mestrado, doutorado e pós-doutorado; desenvolvimento de grupos e novas gerações de pesquisadores. |
| 4. Inovação e desenvolvimento tecnológico | Patentes, softwares, processos, protótipos, produtos, startups e transferência de tecnologia. |
| 5. Impacto profissional e econômico | Contribuições para práticas profissionais, gestão, produtividade, desenvolvimento organizacional e sistemas econômicos ou administrativos. |
| 6. Políticas públicas | Formulação, análise e avaliação de políticas públicas; participação em conselhos, comissões e organismos técnicos. |
| 7. Extensão e impacto social | Projetos com comunidades, divulgação científica, educação continuada e prestação de serviços especializados. |
| 8. Universidade–empresa–governo | Projetos cooperativos, transferência de conhecimento e desenvolvimento de soluções para os setores público e privado. |
| 9. Gestão e liderança acadêmica | Coordenação de cursos, departamentos, programas, laboratórios, centros, projetos e funções de governança institucional. |
| 10. Reconhecimento acadêmico e social | Prêmios, distinções, conferências convidadas, sociedades científicas, reconhecimento profissional e repercussão da contribuição realizada. |
9. O princípio dos pesos diferenciados
O aspecto mais importante da proposta não é simplesmente ampliar o número de indicadores.
É admitir que as diferentes dimensões possam assumir pesos distintos em diferentes contextos acadêmicos.
Um pesquisador de Física Experimental, por exemplo, poderia ter peso maior atribuído à pesquisa, à formação de pesquisadores e à produção científica.
Um professor de Engenharia fortemente envolvido com inovação poderia apresentar maior contribuição em pesquisa aplicada, desenvolvimento tecnológico e interação com empresas.
Na Medicina, poderiam coexistir perfis de pesquisadores laboratoriais, docentes, especialistas clínicos e profissionais intensamente envolvidos em hospitais universitários.
Nas áreas de Economia, Administração e Contabilidade poderiam receber maior reconhecimento, além da pesquisa acadêmica, atividades relacionadas ao ensino, às políticas públicas, à gestão, à interação com empresas e ao impacto econômico e institucional.
Na Educação, projetos capazes de melhorar práticas pedagógicas, redes escolares ou políticas educacionais deveriam encontrar formas adequadas de reconhecimento.
Nas Artes e Humanidades, livros, ensaios, produção cultural, curadoria e outras formas próprias de criação e difusão do conhecimento precisam ser consideradas de acordo com sua natureza.
Portanto, a diversidade não estaria na exigência de qualidade, mas na maneira pela qual essa qualidade se manifesta.
Modelo ilustrativo de perfis
| Dimensão | Pesquisa intensiva | Ensino e formação | Inovação e impacto | Políticas públicas e extensão |
|---|---|---|---|---|
| Ensino e formação | 20% | 40% | 20% | 25% |
| Pesquisa | 45% | 20% | 25% | 20% |
| Formação de pesquisadores | 15% | 15% | 10% | 10% |
| Inovação / impacto profissional | 5% | 5% | 30% | 10% |
| Políticas públicas / extensão | 5% | 10% | 5% | 25% |
| Gestão, liderança e outras contribuições | 10% | 10% | 10% | 10% |
| Total | 100% | 100% | 100% | 100% |
Esses percentuais são apenas ilustrativos.
Seu objetivo é demonstrar que a universidade pode reconhecer diferentes perfis de excelência acadêmica, mantendo padrões mínimos comuns e permitindo áreas de maior concentração da atividade de cada docente.
10. Salvaguardas necessárias
Qualquer mudança no sistema de avaliação docente precisa ser acompanhada de mecanismos destinados a evitar distorções.
Nenhuma dimensão deve desaparecer completamente
O reconhecimento de perfis diferenciados não deve transformar pesquisadores em profissionais afastados do ensino nem professores em docentes completamente desconectados da produção e atualização do conhecimento.
A diferenciação estabelece ênfases, não compartimentos estanques.
Qualidade deve prevalecer sobre quantidade
Vinte trabalhos de baixa contribuição não devem necessariamente representar desempenho superior a cinco trabalhos de grande relevância.
O mesmo princípio vale para ensino, inovação, extensão e todas as demais atividades.
Avaliação qualitativa deve complementar indicadores
Métricas são importantes, mas devem permanecer subordinadas ao julgamento acadêmico qualificado.
Impacto precisa ser demonstrável
Impacto social, econômico ou profissional deve ser fundamentado por evidências: políticas implementadas, tecnologias transferidas, organizações atendidas, mudanças comprovadas ou resultados alcançados.
Critérios devem ser conhecidos antecipadamente
O professor precisa saber quais parâmetros serão considerados durante determinado período de avaliação.
A matriz deve respeitar as diferenças disciplinares
Cada unidade acadêmica deveria participar da definição dos indicadores mais adequados à sua realidade, dentro de princípios gerais estabelecidos pela universidade.
A avaliação deve considerar trajetórias
A carreira acadêmica se desenvolve durante décadas. Um professor pode atravessar períodos de maior intensidade em pesquisa, ensino, gestão, inovação ou interação com a sociedade.
O sistema deve conseguir reconhecer essas diferentes etapas.
11. Da produtividade acadêmica à contribuição acadêmica
Talvez aqui esteja a transformação conceitual mais importante desta proposta.
Durante décadas desenvolvemos instrumentos extremamente sofisticados para medir produtividade acadêmica.
Agora precisamos desenvolver instrumentos igualmente sofisticados para compreender a contribuição acadêmica.
Produtividade pergunta:
Quantos artigos foram publicados?
Contribuição pergunta também:
O que esses trabalhos acrescentaram ao conhecimento?
Produtividade pergunta:
Quantas orientações foram concluídas?
Contribuição pergunta:
Que pesquisadores e profissionais foram formados?
Produtividade pergunta:
Quantos projetos foram realizados?
Contribuição pergunta:
Que problemas ajudaram a resolver?
Produtividade mede produtos.
Contribuição procura compreender qualidade, relevância, resultados e impacto.
As duas dimensões não são incompatíveis.
Um sistema acadêmico necessita de produtividade.
Mas uma universidade comprometida com a excelência não deve confundir produtividade com contribuição.
Essa distinção é especialmente importante porque aquilo que pode ser facilmente contado tende a assumir importância maior do que aquilo que é difícil medir.
Artigos são contáveis.
Citações são contáveis.
Índices bibliométricos são calculáveis.
Mas como medir adequadamente um professor que transforma a formação de milhares de estudantes ao longo de sua carreira?
Como avaliar a contribuição de um economista cuja pesquisa ajuda a aperfeiçoar uma política pública?
Como reconhecer um engenheiro cuja tecnologia passa a ser utilizada por empresas?
Como avaliar um médico que melhora protocolos assistenciais de um hospital universitário?
Como mensurar a contribuição de um educador que transforma práticas pedagógicas em uma rede de ensino?
Essas contribuições não são menores simplesmente porque não podem ser resumidas por um único indicador.
12. Uma possível agenda experimental
Transformações dessa natureza não precisam começar mediante reformas gerais e imediatas da carreira docente.
Uma estratégia mais prudente seria desenvolver projetos-piloto de avaliação multidimensional.
Universidades poderiam selecionar voluntariamente algumas unidades ou departamentos e, durante determinado período, testar diferentes modelos de avaliação.
Seriam acompanhadas dimensões relacionadas a:
- ensino;
- pesquisa;
- inovação;
- formação de pesquisadores;
- extensão;
- impacto profissional;
- políticas públicas;
- interação com empresas;
- liderança acadêmica.
Os resultados poderiam então ser comparados com os modelos tradicionais.
Professores, estudantes e dirigentes seriam ouvidos.
Os critérios poderiam ser aperfeiçoados antes de qualquer ampliação.
Há nisso uma oportunidade particularmente interessante:
a universidade pode utilizar sua própria capacidade científica para estudar e aperfeiçoar a maneira pela qual avalia seus professores.
Ou seja, transformar a reforma da avaliação acadêmica em objeto de pesquisa, experimentação e produção de evidências.
13. Proposta IVEPESP para o debate universitário
O IVEPESP propõe que uma agenda contemporânea para carreira e avaliação docente considere cinco princípios fundamentais.
1. Excelência sem uniformidade
Manter padrões acadêmicos elevados sem pressupor que todas as áreas devam produzir excelência da mesma maneira.
2. Avaliação multidimensional
Reconhecer ensino, pesquisa, formação de pesquisadores, inovação, extensão, políticas públicas, impacto social, impacto profissional e liderança acadêmica.
3. Qualidade acima da simples contagem
Reduzir gradualmente a dependência de métricas exclusivamente quantitativas.
4. Perfis acadêmicos diferenciados
Permitir diferentes combinações de atividades ao longo da carreira, respeitando vocações, missões institucionais e características disciplinares.
5. Avaliação orientada à contribuição
Perguntar não apenas o que o professor produziu, mas qual foi a relevância de sua contribuição para o conhecimento, para os estudantes, para a universidade e para a sociedade.
Conclusão
As universidades foram construídas sobre uma ideia extraordinariamente poderosa: reunir diferentes campos do conhecimento numa mesma comunidade acadêmica.
Essa unidade deve ser preservada.
Mas unidade não significa uniformidade.
Física não é Economia.
Medicina não é Administração.
Engenharia não é Filosofia.
Biologia não é Direito.
Educação não é Química.
Cada campo possui métodos, tradições, objetos, formas de validação e relações distintas com a sociedade.
O reconhecimento dessas diferenças não diminui nenhuma área.
Ao contrário, permite compreender melhor aquilo que cada uma pode oferecer.
O grande desafio das universidades talvez não seja escolher entre ensino e pesquisa, entre ciência básica e aplicada ou entre publicação e impacto social.
O verdadeiro desafio é construir um sistema capaz de reconhecer simultaneamente diferentes formas legítimas de excelência acadêmica.
A universidade do futuro continuará necessitando de pesquisadores capazes de ampliar as fronteiras do conhecimento.
Mas precisará igualmente de grandes professores, inovadores, formadores de profissionais, líderes acadêmicos, interlocutores com a sociedade, empreendedores científicos e especialistas capazes de transformar conhecimento em políticas públicas, tecnologias e desenvolvimento econômico e social.
A questão central não é diminuir as exigências da carreira universitária.
É torná-las mais inteligentes, mais abrangentes e mais coerentes com a diversidade do conhecimento que a própria universidade representa.
Por isso, talvez seja chegada a hora de substituir uma pergunta tradicional:
“Quanto esse professor publicou?”
por uma questão muito mais abrangente:
“Qual foi a contribuição deste professor para o conhecimento, para seus estudantes, para sua universidade e para a sociedade?”
A resposta certamente será diferente em cada área.
E exatamente por isso poderá oferecer uma medida muito mais verdadeira da excelência universitária.
Prof. Dr. Helio Dias
Presidente do IVEPESP – Instituto para a Valorização da Educação e da Pesquisa do Estado de São Paulo
Prof. Dr. Carlos Antonio Luque
Faculdade de Economia, Administração, Contabilidade e Atuária – Universidade de São Paulo – FEA-USP
Referências institucionais sugeridas
- Universidade de São Paulo – Estatuto do Docente e normas relativas ao RDIDP e à carreira docente.
- Universidade de São Paulo – Diretrizes e parâmetros para progressão na carreira docente.
- DORA – San Francisco Declaration on Research Assessment.
- DORA – materiais sobre Responsible Research Assessment.
- Coalition for Advancing Research Assessment – CoARA. Agreement on Reforming Research Assessment.