AVALIAÇÃO DA PÓS-GRADUAÇÃO EM EDUCAÇÃO: uma proposta para avaliação de 2021!

CAPES

Por Luciano Mendes de Faria Filho

Acaba de sair uma versão preliminar, mas quase definitiva, do documento  que vai nortear a avaliação, relativa ao quadriênio 2013-2016, da pós-graduação em educação.  Há, nele, uma interessante caracterização da área. Há muitas novidades, sobretudo para quem não acompanha sistematicamente o assunto. Se não, vejamos o que diz o documento a esse respeito:

O número de cursos passou de 111 na Trienal de 2007 para 246 em Setembro de 2016, um aumento de 121,6%. O número de cursos de Mestrado Acadêmico (MS) passou de 78 na Trienal de 2007 para 128 em Setembro de 2016, um aumento de 64,1% e nesse mesmo período, o quantitativo de Doutorados (DR) passou de 33 para 74, um aumento de 124,2%. Houve, portanto, uma elevação bem maior no número de Doutorados em relação àquela dos Mestrados Acadêmicos.

Os Mestrados Profissionais (MP) não existiam nas Trienais de 2007 e 2010 e foram criados após esta avaliação. Na Trienal de 2013 eram 9 cursos de mestrado profissional e em Setembro de 2016, eram 44 cursos (aumento de 388,9%). (p.3)

(….)

Da análise dos dados regionais sobre a distribuição dos cursos, segundo as dependências administrativas, em Setembro de 2016, podemos concluir:

  • Na Região Norte os cursos se instalaram em instituições públicas – federais e estaduais – com predominância das federais, com 12 cursos em Setembro de 2016, enquanto nas estaduais eram apenas 2;

  • A Região Nordeste possui quase o mesmo perfil da Região Norte, com dois cursos em IES privadas. Nessa mesma ocasião a Capes registrou que se instalaram 26 cursos nas IES federais e 15 cursos nas estaduais;

  • Na Região Sudeste observa-se uma inversão desse perfil, com forte presença de IES privadas, com 43 cursos. Entretanto, o número de IES públicas também é superior nessa região: com 36 cursos nas IES federais e 23 nas estaduais;

  • Na Região Sul há um número maior de cursos em IES privadas (32), enquanto as IES públicas eram 31 cursos: 19 em IES federais, 11 em estaduais e 1 numa instituição municipal;

  • Na Região Centro-Oeste, mais uma vez, nota-se a predominância das IES públicas com 18 cursos: 15 nas federais e 3 nas estaduais. As IES privadas possuem 6 cursos. (p.5-6)

Também afirma o documento:  “quando se examinam os percentuais de programas em cada um dos estratos de notas”, o que se verifica é que:

  • O percentual de programas com Nota 3 aumenta de 24,4% do total de programas avaliados na Trienal de 2007 para mais da metade do total (54,7%) em Setembro de 2016.
  • O percentual de programas com Nota 4 teve uma forte queda em relação ao número total de programas da área, de 52,6% na Trienal de 2007 para 29,7% em Setembro de 2016.
  • No conjunto de programas com Nota 5 a queda do percentual (do conjunto de programas avaliados) foi de 16,7% na Trienal de 2007 para 10,5% em setembro de 2016.
  • No estrato de Nota 6 o percentual é pequeno e, mesmo assim, sofreu diminuição de 6,4% em 2007 para 3,5% do total em Setembro de 2016.

Os programas Nota 7 passaram de 3,3% do total existente em 2007 para 1,7% em 2016. (p.7)

Uma tal situação demonstra grandes diferenças, brutais desigualdades e um movimento de crescimento bastante desordenado da área. A diminuição das diferenças e a possibilidade de um crescimento mais harmônico e planejado da área somente poderão ser feitas se, de fato, tivermos políticas que ultrapassem a simples avaliação e incidam sobre aspectos nodais do sistema. Mas para isso é preciso repensar, inicialmente, a  própria avaliação.

Pelo que vi, no documento de avaliação não há  muitas e substantivas novidades em relação aos documentos anteriores. A mais forte das novidades é o aproveitamento, para efeitos de avaliação do Programa,  das 8 melhores publicações  de cada docente do quadriênio.  Isso já vem sendo feito há alguns anos pela Área de Educação no CNPq. Segundo o documento, será

considerada a “média ponderada de até oito produções mais bem qualificadas por docente permanente no quadriênio, compreendendo livros, capítulos, verbetes e periódicos”, e não mais toda a produção apresentada pelos docentes. As pontuações para cada produto serão as mesmas utilizadas na avaliação trienal anterior. O objetivo é alterar a característica da indução decorrente da avaliação da pós-graduação. O que se espera não é que simplesmente os programas passem a produzir mais mas que passem a produzir melhor. Dessa forma, espera-se com essa alteração que pontue mais quem produz melhor e não quem produz mais. (p.8)

Outra novidade da avaliação, mas que não está no documento, são as alterações no Qualis dos Periódicos da Área, algo que também já era esperado. Há se lamentar é a não incorporação, de maneira forte e decisiva, da relação com a escola básica como fundamental para a aferição do impacto ou inserção social dos Programas. Essa relação ficou, infelizmente, diluída dentro do item “5.1. Inserção e impacto regional e/ou nacional do programa”. Se considerarmos que esse item da avaliação é valorizado com 40% dos pontos do quesito Inserção Social, mas comporta outras coisas como “a participação em sociedades científicas, organização de eventos, criação de produtos e processos tecnológicos entre outros”, veremos que, de fato, a relação com a escola básica é menos valorizada do que a “5.3. Visibilidade ou transparência dada pelo programa à sua atuação” (que vale 30% dos pontos do quesito).

No entanto, mesmo que mínimas as  mudanças, a publicação, a posteriori,  do documento que explicita os critérios que vão dirigir a avaliação dá a nítida impressão de que as regras foram e, sobretudo, podem, mudar depois de jogado o jogo. Ou seja, somente agora, no final do último ano do quadriênio, saberemos com clareza como seremos avaliados. Isso gera, ao longo dos anos, insegurança, insatisfação e uma estranha sensação de não saber se o que está sendo feito será considerado adequado ou não pelos avaliadores.

A respeito disso eu já andei escrevendo em outro momento. Dizia:

No Brasil é difícil estabelecer, com segurança, quais são os critérios para avaliar a excelência dos Programas de Pós Graduação em Educação, seja em sua face de formação de novos pesquisadores e professores, seja em relação aos resultados da pesquisa realizada. Mesmo os pesquisadores (e avaliadores) mais experientes demonstram ter dúvidas a esse respeito, e os critérios mobilizados estão sujeitos a razoável controvérsia e desconfiança. Neste momento mesmo, estamos caminhando para o final do quarto ano do quadriênio que será avaliado e os critérios de avaliação da pós-graduação ainda não foram estabelecidos publicamente pela Comissão de Área. É como se estivéssemos definindo as regras do jogo após o seu término!

E defendia:

Nesse sentido, uma das primeiras e mais importantes iniciativas para tornar a avaliação mais legítima e transparente a todos seria a definição clara dos critérios antes do início do período que será avaliado. Não precisaria nem ser em relação a todos os critérios mas, pelo menos, aqueles basilares, tais como os referentes à avaliação da produção científica (o Qualis Periódico e os critérios de avaliação dos livros, por exemplo) e aqueles também fundamentais referentes à avaliação da formação ofertada pelos programas a seus alunos. Não há razão para que não possamos acordar que o Qualis estabelecido no início do primeiro ano do quadriênio valerá para os quatro anos e que somente será alterado, no percurso, devido à inclusão de novos periódicos. A alegada razão de que os periódicos mudam de “qualidade” ao longo do quadriênio não é nem um pouco convincente diante do prejuízo trazido pela incerteza da indefinição dos critérios.

Estou voltando ao assunto para fazer uma proposta a  respeito para meus (minhas) colegas da área de educação, sobretudo para a Comissão de Avaliação da CAPES: criar as condições para que possamos ter política de pós-graduação na área de educação, começando por dar maior estabilidade, segurança e confiança aos docentes e aos programas. Para isso, proponho instituir, ainda nesse ano de 2016, duas  Comissões:

  • Uma Comissão para estudar os documentos da área de Educação e das demais áreas das CHSSA e as normativas da CAPES, e produzir  um Documento com os critérios básicos a partir dos quais a Área será avaliada no Quadriênio 2017-2020. Essa Comissão  poderia ser composta por um representante dos Programas,  de forma a ter representação daqueles com as notas (conceitos) 3, 4, 5, 6 e 7, da Comissão de Avaliação da CAPES e alguém de fora do sistema de Pós Graduação, para nos ajudar a pensar sobre o Impacto social dos Programas. A Comissão trabalharia, no primeiro semestre de 2017,  paralela e articuladamente à Comissão de Avaliação dos Programas e submeteria o resultado de seu trabalho à Área no segundo semestre de 2017, ocasião em que também serão publicadas as notas (ou os conceitos) relativos ao quadriênio 2013-2016. Uma vez aprovados pela área, ainda em 2017, tais critérios valeriam para as avaliações de acompanhamentos ao longo do quadriênio e para a avaliação final de 2021.
  • Uma segunda Comissão trabalharia no refinamento, ou nos acertos, do atual Qualis Periódicos e no documento de Avaliação dos Livros. Também estabeleceria um Qualis Periódicos e um documento para avaliação dos livros que valeriam para o Quadriênio 2017-2020. Essa mesma Comissão poderia ser encarregada de acompanhar eventuais pedidos de reclassificação de periódicos que surgissem ao longo do quadriênio e faria, quando fosse o caso, a reclassificação dos mesmos. Como se trata de apenas refinar o que já está pronto e acompanhar ao longo do triênio, essa Comissão poderia ser relativamente pequena.  É claro que isso não dispensaria a existência de uma Comissão maior que, a cada ano, faria a avaliação dos livros com já é feito, ou deveria ser feito, hoje.

Penso que tal decisão, relativamente simples, poderia ter um impacto de grande importância na Área. Primeiramente, introduziria justiça e segurança na avaliação, com as pessoas e os programas sabendo, de antemão, em que serão cobradas no final.  Esse seria o caso, também, do Qualis periódico que, uma vez definido de antemão, mudaria apenas para favorecer e não para prejudicar o pesquisador e o programa como pode ocorrer, e realmente ocorre, hoje.

Mas, penso, a mudança mais significativa é que isso liberaria os pesquisadores e os programas para voltarem a discutir políticas de pós-graduação e de pesquisa, não ficando mobilizados, ao longo do tempo, para a discussão dos benditos (ou malditos) critérios de avaliação da CAPES.

Essa seria, a meu ver, a mais inovadora e consequente decisão que a Comissão de Área da CAPES poderia tomar e  que, certamente, seria lembrada como aquela Comissão que ousou pensar e fazer a avaliação dos Programas como parte de uma Política de Pesquisa e Pós Graduação. Se tal não for feito, infelizmente temo que a gente continue a reduzir tais políticas de Pós Graduação e Pesquisa à Avaliação Quadrienal dos Programas, algo muito similar àquilo que, hoje, nós acusamos os governos federal e estaduais de fazerem em relação à Escola Básica – reduzir a qualidade da escola básica aos resultados dos exames. O certo é que podemos ser mais criativos, inteligentes e minimamente ousados dos que os governos que a gente tanto critica! O problema é, unicamente, se queremos sê-lo!