Avaliação e indicadores educacionais em larga escala

slides com informações básicas sobre o processo de avaliação educacional e seus indicadores

1. Avaliação e Indicadores
Educacionais
Reynaldo Fernandes
Universidade de São Paulo – USP

2. Sumário
1.Avaliação Educacional: aspectos gerais
2.Indicadores Educacionais
3.O caso do IDEB

3. Avaliação Educacional: aspectos gerais

4. Avaliação Educacional
Avaliação segundo os dicionários:
Avaliar é o ato de atribuir valor ou mérito a
alguma coisa.
A avaliação está imbuída de juízo de valor.
Envolve um julgamento conclusivo em termos
de bom ou ruim, melhor ou pior.

5. Avaliação Educacional
Avaliação educacional: expressa uma conclusão
normativa acerca da qualidade (ou sucesso) de
estudantes, professores, escolas, programas,
políticas ou sistemas educacionais.
A avaliação educacional está associada a idéia
medir e julgar resultados educacionais.

6. Avaliação X Indicadores Educacionais
Indicadores não são, necessariamente, avaliações.
Enquanto avaliação educacional exprime julgamento,
indicadores podem ter um caráter mais descritivo. Mas,
eles auxiliam na formação de um juízo avaliativo. Na
verdade, essa é a principal utilidade dos indicadores
educacionais.
Embora usualmente chamados de avaliação, o
desempenho de estudantes em exames padronizados é,
mais precisamente, um indicador de resultado educacional.

7. Indicadores Educacionais

8. Indicadores Educacionais
Indicador Educacional: uma medida ou estatística
sobre alguma dimensão do processo educacional.
Principais Tipos de Indicadores:
Indicadores de Resultados
Indicadores de Insumos e Processos
Indicadores Compostos

9. Indicadores de Resultados Educacionais
Indicadores de resultados educacionais dizem
respeito às realizações educacionais alcançadas
por estudantes, escolas, sistemas educacionais
etc. No caso de estudantes:
O Montante acumulado (conhecimentos, habilidades, séries
completadas etc.)
A eficiência (tempo necessário)

10. Indicadores de Resultados Educacionais
Indicadores de resultados: desempenho dos ex-
alunos no mercado de trabalho, resultados de
exames externo, grau de satisfação dos alunos
etc.

11. Indicadores de Resultados Educacionais
Duas medidas de interesse
Aferir o aprendizado do estudante (medida direta)
Aferir a contribuição da escola / curso para o
aprendizado (medida indireta)
Base para os Modelos de
Valor Adicionado

12. Indicadores de Insumos e Processos
Educacionais
Indicadores de Insumos e processos: titulação dos
docentes, indicadores de infra-estrutura, razão docente-
aluno, método de alfabetização etc.
Se conhecêssemos precisamente como os resultados
educacionais são produzidos com base nos insumos e
processos utilizados, indicadores de insumos e
processos seriam preferidos. Geram mais informações
sobre o que precisa ser feito.
Infelizmente, diversos estudos têm apontado para a fraca
correlação entre as variáveis de insumos e processos
usualmente disponíveis e o desempenho dos estudantes
em exames padronizados.

13. Existem dois motivos para se querer juntar diferentes
indicadores em um indicador composto:
1.Considerar diferentes dimensões → envolve juízo de valor (e.g.
função utilidade, função bem estar, IDH).
2.Juntar diferentes medidas imperfeitas de determinado fator não
observado, de modo a minimizar o erro de medida → não envolve
juízo de valor (é essa a “nossa abordagem”).
Obs – Nem sempre é claro qual das duas abordagens é a mais
apropriado
Indicador Composto

14. Indicadores Compostos
Combinar diferentes dimensões de qualidade ou
desempenho educacional em um único indicador. Nesse
caso é preciso arbitrar pesos para as diferentes
dimensões. (envolve juízo avaliativo sobre o que vale
mais) E.g. IDEB que combina proficiência com fluxo
escolar. A escola é “multiproduto”!
Se eu tenho diversos indicadores imperfeitos da
qualidade da escola eu posso, ao invés de escolher entre
eles, encontrar uma forma de combiná-los, de modo a
obter um indicador “menos imperfeito”. (não envolve
juízo avaliativo). Eg. CPC no ensino superior

15. Debate sobre Indicadores
Independente de se usar indicadores de
aprendizagem ou indicadores de insumos e
processos, a discussão sobre avaliação
educação se dá em dois níveis de análise:
 Conceitual: o que medir, ou seja, quais são os
principais resultados que devemos esperar da
escola.
 Técnico-operacional: como medir, ou seja,
como obter os indicadores para medir tais
resultados.

16. “Avaliação” do Aprendizado e Erros de Medida
Características
Individuais e
Familiares
Nota nos
Exames
Contexto
Social
Escola
Aprendizado
Medida Imperfeita
de Aprendizado

17. “Avaliação” do Aprendizado e Erros de Medida
Kane e Staiger (2001 e 2002) notaram que os
resultados de exames padronizados são
medidas sujeitas a muito ruído em virtude da
grande variância do termo erro,
particularmente entre as pequenas escolas.

18. Panel SAEB 1999-2001-2003: Frequencies in top or
bottom 20 percent produced by different rankings
Certainty
Levels
Lottery
Actual
Ajusted by
SES
( 1 ) ( 2 ) ( 3 ) ( 4 )
Painel A: Number of times school appears in the top 20 percent:
Never 80.0 51.2 68.1 55.0
1 year 0.0 38.4 12.0 32.4
2 year 0.0 9.6 10.8 9.3
All 3 year 20.0 0.8 9.1 3.3
Painel B: Number of times school appears in the bottom 20 percent:
Never 80.0 51.2 64.1 52.9
1 year 0.0 38.4 16.8 33.8
2 year 0.0 9.6 12.5 12.0
All 3 year 20.0 0.8 6.6 1.2
Source: SAEB - Inep/MEC

19. Maiores variações absolutas de posições entre os
anos de 2008 e 2010 (SARESP) – 1.567 escolas
Nota matemática VA Efeito fixo
matemática
VA Efeito between
matemática
1a 1463 1465 1547
2a 1441 1448 1503
3a 1386 1447 1479
4a 1384 1441 1479
5a 1383 1423 1470
10a 1292 1319 1404
100a 837 917 1050
média (100
maiores)
1032 1103 1207
média (total) 315 360 441

20. Desenho e Implementação de um Sistema de
Metas Educacionais para o Brasil: O caso do
IDEB

21. O Índice de Desenvolvimento da Educação Índice de Desenvolvimento da Educação
Básica - IDEBBásica - IDEB
Indicador que combina o desempenho na Prova Brasil com
as taxas de aprovação.
Introduzido em no início de 2007.
O objetivo foi o de ancorar um sistema de metas.
 A preocupação foi a de reduzir o risco que um programa de
accountability, baseado apenas em exames padronizados,
viesse a contribuir para agravar o já dramático quadro de
repetência e evasão escolar no país.

22. O Índice de Desenvolvimento da Educação Índice de Desenvolvimento da Educação
Básica - IDEBBásica - IDEB
Indicador sintético que combina informações de
desempenho e de fluxo escolar
N = proficiência média (leitura e matemática) dos alunos na
Prova Brasil
P = taxa média de aprovação na etapa de ensino
0 < N > 10; 0 < P > 1 e 0 < IDEB > 10
jjj PNIDEB

23. O Índice de Desenvolvimento da Educação
Básica - Ideb
Sob certas hipóteses, a taxa de aprovação em determinada
série é igual ao inverso do tempo médio para se concluir a
série. Então,
T
ji = tempo médio para que os alunos da unidade j concluam
a série
ji
ji
ji
T
N
Ideb

24. O IDEB e a Nota de Corte para a Aprovação
Um aumento da nota de corte eleva a média condicional a aprovação E(N|Nota>a), mas aumenta a repetência. Se a distribuição de notas for normal, o IDEB cai.
Se a reprovação for produtiva, a taxa de reprovação ótima é diferente de zero.
Se a reprovação for produtiva, a taxa de reprovação
24 a Proficiência
Nota de corte (a)

25. Fixação das Metas do IDEB do Brasil para
2021

26. Meta do IDEB para o Brasil
Objetivo Geral:
Atingir até 2021 os resultados educacionais da
OCDE relativos a:
Desempenho em Leitura e Matemática
 Taxa de repetência
IDEB e suas projeções procura materializar
esse objetivo

27. Meta do IDEB para o Brasil
Meta do IDEB para 2021:
Taxa de promoção = 96% → Moda dos países das
OCDE
E a Proficiência?

28. Distribuição de proficiências do Brasil no
Pisa
28
Proficiência
média OCDE
 Se o Desempenho médio da OCDE encontra-se no percentil
P de desempenho do Brasil, então a meta do Brasil é ter, em
2021, um desempenho equivalente ao percentil P de 2005.

29. Fixação de uma META para o BRASIL: IDEB=6
IDEB atual
3.5 6 6.5 7
Média no SAEB 239.5 308.6 325.7 342.8
Média correspondente no PISA* - OCDE Reino UnidoHolanda
Posição correspondente no PISA* 42º 25º 19º 4º
Tempo para Convergência (IDEB=9.9) - 102 85 71
* PISA 2003
Meta para IDEB (2025)
IDEB - 2a fase do Ensino Fundamental
Proficiência em Matemática
Obs – Na realidade esse procedimento gerou um
IDEB ≈ 6,25. Entre 6 e 6,5 optou-se por 6.

30. Metas do IDEB para Estados, Municípios e
Escolas e Metas Intermediárias

31. Gráfico ilustrativo da projeção do IDEB
0
1
2
3
4
5
6
7
8
9
10
135791113151719212325272931333537394143454749
IDEB
2005
IDEB
2021
Tempo
Esforço
necessário

32. Projeção para o Brasil
4a Série do Ensino Fundamental
IDEB 2021: 6.0
IDEB 2095: 9.90
0.00
1.00
2.00
3.00
4.00
5.00
6.00
7.00
8.00
9.00
10.00
2
0
0
5
2
0
1
1
2
0
1
7
2
0
2
3
2
0
2
9
2
0
3
5
2
0
4
1
2
0
4
7
2
0
5
3
2
0
5
9
2
0
6
5
2
0
7
1
2
0
7
7
2
0
8
3
2
0
8
9
2
0
9
5
2
1
0
1
2
1
0
7
ano
I
D
E
B
Esforço:0,056
anos para convergência
-IDEB2005 Brasil = 3,8
-Meta Brasil 2021 = 6
-Tempo para a Meta = 16
Esforço = ?
=>Tempo de convergência = ?

33. Redução da Desigualdade
IDEB BR: 6.0
IDEB_1: 5.0
IDEB_2: 6.8
0
1
2
3
4
5
6
7
8
9
10
2
0
0
5
2
0
1
0
2
0
1
5
2
0
2
0
2
0
2
5
2
0
3
0
2
0
3
5
2
0
4
0
2
0
4
5
2
0
5
0
2
0
5
5
2
0
6
0
2
0
6
5
2
0
7
0
2
0
7
5
2
0
8
0
2
0
8
5
2
0
9
0
2
0
9
5
ano
I
D
E
B
Brasil Estado 1 Estado 2