terça-feira, 20 de fevereiro de 2018

Educação Superior: O que vale um relatório da OCDE?

O acesso ao ensino superior dos diplomados do ensino secundário pela via profissional é seguramente um ponto cuja discussão merece ir mais longe. Mas o tratamento dado no relatório é surpreendentemente simplista e pode induzir o leitor em erros graves. O alinhamento do Concurso Nacional de Acesso com a via científico-humanística do secundário é total, mas situações similares existem na maioria dos países europeus, ainda que por mecanismos diversos. A afirmação de que, noutros países, muitos alunos oriundos das vias vocacionais acedem ao ensino superior, 50% na Holanda, 59% na França e 75% na Koreia é falaciosa porque não se explica a que tipo de ensino superior acedem esses alunos e que lhes acontece depois. Na Holanda, o alinhamento entre o secundário e o superior é maior que o nosso com os candidatos do percurso vocacional a seguirem para o politécnico (HBO). Existem cursos especiais para a transição daqui para o universitário, mas a barreira é difícil de transpor. Na França, o acesso a muitos cursos universitários é livre, mas o insucesso nos primeiros anos de licenciatura é muito alto, muito mais alto que em Portugal. A continuação normal para os candidatos oriundos da via profissional são os ciclos curtos (BTS e DUT), cursos com excelente reputação e alta empregabilidade. A comparação com a Coreia é mais surpreendente pelas diferenças culturais e dos sistemas educativos, mas, também ali, a componente de ciclos curtos é muito importante e é a própria OCDE no seu último relatório sobre a Educação Superior Coreana que discute The Rhetoric of Under-education and the Reality of Over-education e as falácias dos argumentos que levaram aos problemas graves de desacerto entre as qualificações e a realidade do mercado de trabalho.
Sim, Portugal atrasou-se muito na universalização do secundário e os dados mais recentes apontam para uma perda de energia na redução do insucesso e abandono, isto depois da extinção da bem-sucedida experiência com o ensino vocacional. Atrasou-se na institucionalização dos ciclos curtos e precisa de os apoiar para que encontrem o seu espaço no imaginário estudantil e no mercado de trabalho, em analogia com os nossos parceiros europeus mais diretos. Temos hoje um ensino superior com mais de 40% dos jovens (de 20 anos) em licenciaturas e facilmente chegará a 10% adicionais em TeSP. O desempenho do secundário tradicional está a melhorar com mais candidatos a chegarem a licenciatura via Concurso Nacional de Acesso. A exemplo de outros países, é necessário preparar a transferência de estudantes entre as várias vias. Em particular, é necessário que alguns alunos da via profissional do secundário possam ter o reforço mais académico que lhes falta em absoluto e que necessitam para terem sucesso numa licenciatura. Esta é uma obrigação da escola, que muito poucas assumem hoje empurrando os seus alunos para “explicações”.
De acordo com os media, a outra grande proposta deste exame pela OCDE é a concessão de doutoramentos pelos institutos politécnicos. Convém lembrar a recomendação na sua forma original, to permit the carefully controlled award of doctoral degrees by polytechnics. This should be permitted in (a) practice-oriented applied research fields where (b) institutions have a clearly demonstrated capacity to support high quality instruction, where (c) there is a strong regional economic rationale for the offer of doctoral awards, and (d) there is collaboration with existing centres of PhD training. Os institutos politécnicos portugueses têm trilhado um percurso de consolidação que seguramente aponta para a sua futura capacidade para a concessão do grau de doutor. Esta inovação deve corresponder a um aprofundamento da sua missão e não para uma aproximação da missão universitária. A necessidade de clarificação e respeito por estas diferentes missões é aliás uma das preocupações recorrentes no relatório. Tal como as licenciaturas e mestrados do subsistema universitário e do subsistema politécnico têm de ser diferentes nos seus conteúdos e objetivos também os novos doutoramentos politécnicos deverão vir a ser diferentes. Como o Relatório reconhece, Portugal não tem poucos doutoramentos. O que precisa é de doutorados mais próximos da sua realidade económica e social. Para que venham a ser respeitados na sociedade, dando um contributo reconhecido para o seu desenvolvimento, criando valor para essa sociedade, é crucial que sejamos ainda mais exigentes com estes novos doutorados, com o perfil de formação e com a capacitação para resolver problemas e inovar. Na avaliação das unidades de investigação FCT em curso perde-se uma oportunidade de marcar este novo território. Missões diferentes exigem critérios diferentes e painéis de avaliação diferentes que desenvolvam noções diferentes de excelência. Ao propor uma avaliação única vamos de facto propor critérios únicos e incentivar ainda mais a deriva académica de todo o sistema. É importante ter programas de financiamento de projetos separados, mas não chega. A promessa de financiamento convoca narrativas de objetivos ajustados aos olhos de quem vai financiar, mas isso é pouco. É necessário criar uma nova cultura de qualidade focada nos novos objetivos e a avaliação das pessoas e das instituições é o momento definidor por excelência. Temos os meios humanos, temos os equipamentos, temos alguns bons investigadores, mas apontamos a todos a investigação universitária como meta única de excelência. Nestas condições, quem acredita que iremos ter doutoramentos diferentes, mais ajustados às necessidades do país?
Este relatório é um instrumento político. Os governos recorrem normalmente a “avaliações internacionais” quando querem ver reforçada uma agenda que encontra oposição interna. As encomendas à OCDE não deixam de cumprir esta função, embora nem sempre seja claro o objetivo inicial. O relatório agora divulgado merece uma leitura cuidada porque dá uma visão externa do nosso sistema de educação superior e de investigação e inovação. Se o recomendado aumento de despesa pública com a educação superior e a investigação vai certamente agradar ao MCTES, não é óbvio que seja suficiente para lhe dar a força que tem faltado neste período de exclusão do seu ministério da política expansionista do governo. O registo de que a despesa pública com todo o setor terá recomeçado a crescer é curioso por aparecer quando o CRUP e o CCISP registam o incumprimento de um acordo com o governo que apenas prometia manter as dotações de 2016. A fortíssima recomendação de que seja criado um sistema de financiamento por objetivos é uma imposição da lei de financiamento de 2003 que este governo não quis cumprir apesar de haver uma proposta já acordada com o CRUP e o CCISP que mostrava a viabilidade de convergência de todas as instituições com um período de transição de apenas 5 anos.

José Ferreira Gomes
Professor da Universidade do Porto;
ex-secretário de Estado do Ensino Superior no XIX e XX governos
In: Jornal Público, 20 de fevereiro de 2018

quarta-feira, 17 de janeiro de 2018

Os saldos das universidades


A existência de saldos de gerência de algumas instituições de ensino superior públicas tem sido criticada porque o dinheiro poderia ter sido usado em novos contratos de pessoal ou na melhoria das condições de trabalho. O Ministério das Finanças não compreende que instituições de ensino superior autónomas devam ter saldos que possam usar livremente como fundo de maneio ou reserva para os dias de chuva. A fraqueza política do Ministro da tutela retira-lhe capacidade para honrar os seus compromissos, embora isso não pareça ser suficiente para que daí tire as necessárias consequências.
O regime jurídico das instituições de ensino superior de 2007 veio reforçar a autonomia financeira e, no caso daquelas que assumem o estatuto de Fundação, uma autonomia patrimonial até aí desconhecida. Toda a autonomia de gestão implica riscos e é de louvar que, em dez anos de vigência, não sejam conhecidos casos de manifesta imprudência ou simples má gestão. Em plena festa socrática, corria-se o risco de que lhes fosse aberta a porta ao endividamento como forma de esconder mais dívida pública, mas isso pode ser evitado e nunca foi reivindicado por reitores e presidentes. Que agora sejam criticados pela gestão prudente, é não só injusto como um forte incentivo ao descalabro que sempre esteve ausente da gestão do ensino superior.
Embora a educação em Portugal seja relativamente cara (em relação ao PIB), o ensino superior manteve sempre uma elevada eficiência com custos inferiores aos dos nossos parceiros europeus ou da OCDE e todos os sinais apontam para que seja também mais eficaz quando avaliado pela qualidade média dos seus graduados. É verdade que o corpo docente envelheceu por termos tido um rápido crescimento (e recrutamento) na década de 1985-1995 com uma súbita estabilização a partir de 2000. Mas começa a ocorrer uma onda de reformas que promete um forte rejuvenescimento com reforço da qualidade, isto se não forem cometidos muitos erros na contratação de investigadores.
É sabido que as nossas empresas recorrem excessivamente a capital bancário para o seu fundo de maneio e até para capital que é reconhecidamente insuficiente. Nas universidades e institutos politécnicos, a autonomia foi concedida pelo Estado sem a atribuição de um fundo de capital, pelo que é absolutamente necessário que progressivamente sejam constituídas reservas para o maneio corrente de projetos e para atenuar os choques financeiros que, mais tarde ou mais cedo, vão ocorrer. A maior autonomia financeira e patrimonial deveria estar dependente da capacidade para, no médio e longo prazo, as instituições serem capazes de manter este fundo e estimular parceiros privados a que o reforcem pela comprovada boa gestão e objetivos sociais.
Nem todas as instituições têm conseguido saldos positivos o que se deve, na maioria dos casos, à quebra do valor real das dotações de orçamento de estado desde o início do século e das quebras da procura estudantil que sofreram em algumas regiões. O Ministério das Finanças é incapaz de analisar estas circunstâncias, podendo olhar apenas para dados agregados da execução orçamental no sistema da Direção Geral do Orçamento que nada esclarecem sobre a boa gestão e tudo mascaram. O Ministério da tutela não quer cumprir a lei de financiamento (por “fórmula”), talvez porque a arbitrariedade da concessão de reforços lhe dê uma aparente força política para a gestão de silêncios cúmplices. O Tribunal de Contas não fez ainda uma avaliação global da qualidade da gestão económica do ensino superior.
Vivemos assim num regime em que as instituições que cumprem o seu dever de gestão prudente são criticadas enquanto que, no outro extremo, aquelas que não se preocupam em resistir às sempre existentes pressões internas para aumento de despesa (seja ela útil ou de utilidade duvidosa) são premiadas com um discreto reforço orçamental no fim do ano. Todos os reitores de universidades e todos os presidentes de politécnicos são assim fortemente incentivados a aumentar rapidamente a despesa na certeza de que serão mais populares no seio das suas corporações internas, deixarão de ler críticas no espaço público. E terão sempre garantido o apoio das Finanças. É este o sistema perverso que está a ser alimentado por uma falta de política clara de financiamento (como é exigido por lei!) com a necessária discriminação positiva para aquelas que não podem deixar de funcionar com custos unitários mais elevados mas num espaço de saudável concorrência para melhorarem a qualidade da educação oferecida aos estudantes e dos serviços de investigação e inovação transferidos para a sociedade.
José Ferreira Gomes
Professor da Universidade do Porto;
ex-secretário de Estado do Ensino Superior no XIX e XX governos
In: Jornal Público, 17 de janeiro de 2018

terça-feira, 17 de outubro de 2017

Ciência: Avaliação das unidades ou concurso de beleza?



Anuncia-se a avaliação das unidades de I&D. Com o regresso da avaliação centrada na visita, ganhamos o contacto visual entre o avaliador e o avaliado, mas não asseguramos uma melhor qualidade da avaliação. Para unidades da dimensão das nossas não há solução simples e barata. Os indicadores bibliométricos têm limitações que todos reconhecem. A avaliação direta por pares tem outras limitações e incertezas. Estas são atenuadas se for feita com rigor e aplicada peça a peça, artigo a artigo. O custo é quase proibitivo. As avaliações tradicionais da FCT e a que agora vai ser feita não passam de concursos de beleza, na linguagem de  John Maynard Keynes (1936).

Foi finalmente publicado o Regulamento de Avaliação e Financiamento Plurianual de Unidades de I&D. Nada de novo, mas muito de curioso. Como é usual, teremos dois critérios relativos ao último quinquénio, o primeiro (A) olhando para a qualidade, mérito, relevância e nível de internacionalização da atividade realizada e o segundo (B) para o mérito científico da equipa.  Um terceiro critério (C) vai analisar a adequação de objetivos /.../ inclusivamente quanto ao plano de contratação de novos investigadores contribuindo para o aumento do emprego científico no próximo quinquénio. Presume-se que o critério (A) não se aplicará a novas unidades que terão de ser avaliadas apenas pela qualidade dos seus membros e da proposta que faz para o futuro.
Parece razoável pedir que cada unidade apresente informação sobre atividades /.../ que considerem mais relevantes evitando listas exaustivas que seriam inúteis pela sua dimensão e impossibilidade de avaliação concreta pelo painel. Já os investigadores doutorados parece poderem apresentar a sua lista exaustiva de publicações no quinquénio, mas não devem ser submetidas referências a indicadores bibliométricos, incluindo factores de impacto. É muito curiosa esta preocupação porque em Portugal nunca foi feita uma avaliação baseada em indicadores bibliométricos.
Cada unidade tem um mínimo (usual) de 10 investigadores doutorados e cada painel internacional vai avaliar pelo menos 4 unidades. Sabemos que muitas unidades têm centenas de investigadores doutorados sendo as pequenas unidades hoje residuais. (Foram eliminadas nas sucessivas rondas de avaliação!) A abrangência dos painéis é sempre um problema porque os avaliados vêm vantagens em serem avaliados por painéis muito focados nas suas áreas de trabalho, no limite por um painel especialmente desenhado para a sua unidade. A redação sugere que se vai evitar este excesso permitindo a cada painel a comparação entre pelo menos 4 unidades. É pouco, mas compreensível como limite mínimo. Vamos, portanto, ter painéis internacionais a avaliar e visitar 4 ou mais unidades, algumas com centenas de membros doutorados. Nada de novo e já sabemos o que vai acontecer.
Surpreende a necessidade de proibir as referências a indicadores bibliométricos, incluindo factores de impacto. É inútil porque nenhum avaliador confiaria nos indicadores propostos pelos avaliados pela simples razão de que teria de assegurar que os critérios e as metodologias de cálculo são uniformes o que não ocorreria! Seriam vistos como uma tentativa de influenciar ou de distorcer a visão do avaliador.
Face a uma unidade com centenas de membros doutorados, como pode o painel aplicar os critérios definidos no Regulamento.
Critério A. Para as unidades que se mantenham sem grandes alterações da sua composição, uma leitura rápida da informação sobre atividades e produção científica que considerem mais relevante permite ter uma impressão, mas dificilmente poderá decidir se estes resultados são proporcionados à dimensão da equipa.
Critério B. Espera-se que o painel analise os currículos de todos os membros doutorados, que podem ser 10 ou algumas centenas. Para cada membro tem uma informação muito rica. Terá uma descrição do trabalho e resultados do investigador com uma lista de publicações que, numa área científica típica, poderá ir da dezena à centena de artigos. Terá títulos e nomes de revistas. Não podendo ser influenciado pelo fator de impacto, terá de evitar deixar-se influenciar pelos títulos ou pelo nome das revistas. Vai ser sério e ler os artigos, pelo menos aqueles cujos títulos pareçam mais interessantes ou terá o investigador sugerido os 5 artigos mais relevantes para ele ler.  Irá ler os 5 artigos de cada autor, de cada um da centena ou centenas de membros da unidade. Alguém acredita que os membros do painel vão cumprir?
Critério C. Esta é a parte fácil. Propor objetivos ambiciosos é fácil se assumirmos que nunca serão avaliados a posteriori como agora não vai ser avaliado se os objetivos anteriormente propostos foram cumpridos. E satisfazer a expectativa de que a unidade vai dar um enorme contributo para o aumento do emprego científico, não é difícil assim venha a haver dinheiro da FCT!
Mas ainda falta a visita que o painel fará à unidade onde irá ouvir dos sucessos passados e dos planos futuros. E terá aqui a oportunidade de emendar todas as incertezas que a leitura do enorme relatório submetido poderá ter deixado. No fim, não terá dúvida em colocar a unidade num dos cinco níveis previstos.
Este procedimento não difere no essencial dos seguidos nas avaliações feitas em 1996, 1999, 2002, 2007 e 2009. Como todos recordam, as visitas foram determinantes do resultado e as grandes unidades tiveram sempre uma aparente vantagem. As mal classificadas tendem a ser as menores. Isto é facilmente compreensível, mesmo admitindo que os painéis dão o seu melhor e mais honesto esforço para premiar o melhor e assinalar o mais frágil. Face à dificuldade de avaliar a proposta submetida pela unidade, para além de uma impressão geral, a visita torna-se a componente dominante. As unidades de maior dimensão sempre terão alguns investigadores com bom currículo e com a força necessária para fazer uma apresentação convincente. As mais pequenas não podem esconder as suas fragilidades e são naturalmente atingidas pelas críticas sérias dos painéis.
O nosso processo de avaliação de unidades de I&D aproxima-se, nos objetivos, das avaliações feitas a departamentos universitários. As reservas em relação aos indicadores bibliométricos são comuns a muitas disciplinas em alguns países. Mas a alternativa não é descarregar a responsabilidade sobre um painel que fica irremediavelmente perdido num excesso de informação em bruto. A solução inglesa e italiana é começar por fazer a avaliação individual de cada artigo submetido, uns 4 por investigador considerado. É seguramente um processo muito caro porque exige uma leitura cuidada e uma classificação de cada um destes artigos. São algumas dezenas de milhão de euros nesses países. A alternativa adotada nos países nórdicos é construir métricas simples para valorar as publicações de cada autor para chegar a uma avaliação individual que depois é reunida na avaliação do departamento ou da universidade. A Espanha tem uma estratégia similar na avaliação individual para decidir os suplementos remuneratórios dos docentes.
As avaliações baseadas em métricas predefinidas estão expostas a críticas sérias. As avaliações por pares são caras, imprevisíveis e muitas vezes divergem do senso comum e, quase sempre, da opinião dos interessados. Resta o esforço de satisfazer a presumida perceção da maioria no sentido dado ao “concurso de beleza” de John Maynard Keynes. Pode esperar-se que a opinião recolhida nas visitas vá neste sentido e alguma “gestão política” dê o retoque final necessário.
Pode ser embaraçoso notar que é esta mesma teoria que tem sido usada para explicar o comportamento irracional dos mercados financeiros [Ver Richard Thaler, Prémio Nobel da Economia, 2017, em Misbehaving: The Making of Behavioural Economics, Allen Lane, Londres, 2015.]

José Ferreira Gomes
Secretário de Estado do Ensino Superior e da Ciência no XX Governo