Logo Original Fundo Claro

Avaliação da Pós-Graduação em Educação no CTC-ES da CAPES e a não observância das normas vigentes

Por Marcos Francisco Martins[1]

 

A divulgação dos resultados da avaliação dos programas de pós-graduação costuma gerar discussões, até porque avaliar é dar valor e os valores não são uníssonos. É justamente por isso que o processo avaliativo deve ser antecedido por diálogos que produzam consensos a orientar a produção de parâmetros aos avaliadores(as) em cada área, deixando-os explícitos aos avaliados(as). Na avaliação quadrienal 2013-2016 dos programas de pós-graduação em educação, a referência normativa foi composta pela Portaria CAPES 59, de 21/03/2017 (“Regulamento para a avaliação quadrienal 2017 (2013-2016) – Programas acadêmicos e profissionais”), única para todas as áreas, e pelo Documento de área da Educação.

Todavia, na área da educação, o dissenso foi grande na avaliação do quadriênio 2013-2016. Impetrados 32 recursos (29 de programas acadêmicos e 3 de profissionais), representando cerca de 20% do total de programas, 9 deles foram aceitos pela Comissão de Análise dos Pedidos de Reconsideração e apenas 3 acatados pelo CTC-ES. Neste processo, as recorrentes discussões evoluíram para a séria desconfiança em relação à não observância da referida base normativa.

O caso da UFMG, relatado neste blog por Luciano Mendes de Faria Filho, em artigo intitulado Avaliação da Pós Graduação em Educação: inconsistência, incoerência e ilegalidade nas decisões do CTC-ES da CAPES, deixa mais do que evidenciado que o processo de avaliação quadrienal transcorreu com “inconsistência, incoerência e ilegalidade”. Mais do que evidenciar, o artigo se constitui como denúncia: o “CTC-ES na análise de nosso Recurso, não apenas desconsiderou nossos argumentos mas, pasmem, estabeleceu critérios que não estavam no documentos de área sobre a avaliação e nem foi mobilizado pelo CTC-ES no momento de análise do conjunto dos programas da área”. Infelizmente, a não observâncias às regras instituídas pode ser observada em outros casos também.

De fato, a avaliação quadrienal foi bastante complicada. O Documento de área, que orienta o desenvolvimento dos programas, foi publicado quando o quadriênio estava encerrado e ele trazia algumas inovações. Algumas delas sequer foram acordadas com a área, como as que alteraram pesos das produções (itens 4.1, 4.3, 5.1 e 5.3 do Documento de área). Outras, por sua vez, foram longamente debatidas com o Fórum de Coordenadores (Forpred) e até mesmo submetidas à votação, como a forma pela qual a produção docente seria calculada, que ficou assim definida no Documento de área: “Média ponderada de até oito produções mais bem qualificadas por docente permanente no quadriênio, compreendendo livros, capítulos, verbetes e periódicos”. Todavia, quando se foi fazer a avaliação, segundo a Coordenação de área, “por um problema técnico da CAPES, que não conseguia gerar as planilhas”, alterou-se a forma de cálculo da produção, passando a se avaliar “as melhores produções” dos programas, compondo o número total da amostra de cada programa multiplicando-se o total de docentes por 8. Feito isso, estabeleceu-se uma métrica própria para avaliar a “Distribuição das produções entre os docentes permanentes”.

E assim os programas foram avaliados pela Comissão de área, processo que no Mestrado em Educação da UFSCar Sorocaba (PPGEd-So), resultou nos seguintes valores:

Resultado da avaliação do PPGEd-So pela Comissão de Área da Educação (CA)
Quesito de avaliação Peso (%) Avaliação
1 – Proposta de Programa 0,0 Muito Bom
2 – Corpo Docente 15,0 Bom
3 – Corpo Discente, Teses e Dissertações 35,0 Muito Bom
4 – Produção Intelectual 35,0 Muito Bom

(índice de concentração da prod. apurado pela CA: 1,08 – “Muito Bom”)

5 – Inserção Social 15,0 Bom
Nota: 4

Fonte: Ficha de Avaliação disponibilizada aos programas de pós-graduação em 20/09/2017.

A nota conferida pela CA ao Programa estava de acordo com a Portaria 59, que reza:

2.2. Orientações para a atribuição de Nota

[…]

  1. c) Proposta de recomendação para nota 4

A concessão da nota 4 será possível para Programas que tenham alcançado, no mínimo, conceito ‘Bom’ em pelo menos três quesitos, incluindo, necessariamente, os Quesitos 3 e 4.

Contudo, o parecer final do CTC rebaixou a nota para 3, dizendo que “A produção intelectual do programa apresenta elevada concentração […] em 1 único docente. […] O CTC-ES recomenda a atribuição de nota 3”. O CTC, assim, discordou da métrica produzida pela área para medir a concentração da produção docente (segundo a qual o PPGEd-So teve “Muito bom”) e aplicou ao Programa outra medida, que não consta no Documento de área da Educação e nem, muito menos, na Portaria CAPES 59. Além disso, a nova medida introduzida pelo CTC não foi aplicada a todos os programas da área, apenas para alguns, como foi o caso do PPGEd-So, ferindo a isonomia do processo.

Considerando o casuístico critério para o rebaixamento de nota de 4 para 3, o PPGEd-So entrou com recurso. Submetido à nova rodada de avaliação, obteve o seguinte resultado:

Resultado da reavaliação do PPGEd-So pela Comissão de Área da Educação (CA)
Quesito de avaliação Peso (%) Avaliação / Reconsideração
1 – Proposta de Programa 0,0 Muito Bom
2 – Corpo Docente 15,0 Muito Bom
3 – Corpo Discente, Teses e Dissertações 35,0 Muito Bom
4 – Produção Intelectual 35,0 Muito Bom
5 – Inserção Social 15,0 Bom
“Conceito da Comissão: Avaliação / Reconsideração” Muito Bom

Fonte: Ficha de avaliação / Reconsideração:

Esses valores aproximam o PPGEd-So da nota 5, porque reza a Portaria CAPES 59 que para “[…] nota 5, o programa deverá obter ‘Muito Bom’ em pelo menos quatro dos cinco quesitos existentes, entre os quais terão que figurar necessariamente os quesitos 3 e 4”.

Mas, Comissão de área de reconsideração, contrariando o havia sido encaminhado ao CTC na primeira rodada de avaliação, recomendou rebaixar a nota do PPGEd-So para 3, com a seguinte

Justificativa na reconsideração:

Uma vez ratificados os problemas de distribuição da produção bibliográfica dos docentes ao longo do quadriênio, e como o pedido de reconsideração não apresentou elementos, já registrados na Plataforma Sucupira, que permitam contestar a avaliação do CTC, a Comissão de Educação mantém essa avaliação, recomendando a nota 3.

Observe-se que a Comissão de área de reconsideração:

  1. a) operou com o critério do CTC, que não está previsto na Portaria 59 e nem no Documento de área, que ele próprio homologou;
  2. b) ao aplicar o critério do CTC, estranho às bases normativas do processo, a Comissão de área contrariou a própria métrica que produziu para avaliar a distribuição da produção docente de todos os programas e que o CTC homologou;
  3. c) aplicou ao PPGED-So um critério de avaliação da distribuição da produção diferente do que foi aplicado aos demais programas, ferindo a isonomia necessária ao processo de avaliação.

Mas a confusão e a não observância das normas não param por aí. Veja o que disse a Comissão de reavaliação ao tratar da produção docente:

Tendo em vista que o CTC inseriu na avaliação o critério de distribuição, a Comissão de Educação reavaliou a produção bibliográfica qualificada dos docentes permanentes, utilizando como critério o mesmo do período de avaliação anterior. (grifo nosso)

Este excerto deixa explícito que a própria Comissão de reavaliação reconhece que o CTC “inseriu” um novo critério não previsto anteriormente para a avaliação e o aplicou a alguns poucos programas apenas. E mais: para dar conta do que foi “inserido” a posteriori pelo CTC, a Comissão utilizou o critério do “período de avaliação anterior”. Ou seja, por incrível que possa parecer, o Documento de área atual foi substituído pelo anterior no momento de julgamento do recurso do PPGEd-So. É um completo despropósito, que fere a frontalmente a legalidade e a legitimidade do processo.

Essas questões seriam graves o suficiente para terminar o texto por aqui mesmo. Entretanto, é importante tratar de um erro de cálculo presente no parecer ao recurso do PPGEd-So. A Comissão de reconsideração errou ao afirmar que

[…] identificamos quantos professores do Programa atingiram o patamar mínimo de 4 produtos bibliográficos qualificados B2 ou mais no quadriênio. Com isso, o Programa alcançou apenas 42,86% dos docentes com esse patamar, alcançando assim o conceito regular.

Considerando que os artigos com Qualis B2 equivalem a 55 pontos, 4 deles resultariam em 220 pontos. Como consta em tabelas anexadas ao recurso, apenas um (5,55%) entre os 18 docentes que atuaram no PPGEd-So no período avaliado não alcançou esse valor com a produção. Isso significa que 94,44% do total de docentes que no Programa atuaram ao longo do período avaliado atingiram este patamar, e não 42,86% como afirmou a Comissão. Ah, caro leitor(a), não se esqueça que se está aqui trabalhando com o Documento de área do período anterior; hein?!

Pelo exposto, pode-se dizer que se há algo que caracterizou esse processo de avaliação da pós-graduação em educação não foi a isonomia, tão bem exposta na Portaria 59, que afirma que a sistemática e os critérios de avaliação devem ser únicos para toda a área.

[1] Coordenador do Programa de Mestrado em Educação da UFSCar Campus Sorocaba (PPGEd-So). E-mail: marcosfranciscomartins@gmail.com

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *