Avaliação de Modelos Preditivos e Descritivos: Visão Geral

Qual tópico NÃO é explicitamente listado como parte da avaliação de modelos preditivos e descritivos nesta visão geral?

• Métricas de Erro

• Amostragem

• Testes de Hipótese

• Treinamento de Redes Neurais Profundas

• Decomposição Viés–Variância da Taxa de Erro

Em classificação, a métrica err(f) representa:

• A proporção de itens corretamente classificados

• A proporção de itens classificados incorretamente

• A soma dos verdadeiros positivos

• A média dos erros absolutos

Considere as fórmulas apresentadas: err(f) é a taxa de erro e ac(f) = 1 − err(f). Qual afirmação está correta?

• A acurácia aumenta quando a taxa de erro aumenta

• A acurácia é o complemento da taxa de acertos

• A acurácia é o complemento da taxa de erro

• A acurácia é sempre igual à taxa de erro

Analise a matriz de confusão ilustrada (3 classes). Qual é o número de acertos (soma da diagonal principal)?

• 21

• 16

• 19

• 15

Você tem um conjunto de dados pequeno e deseja obter uma estimativa estável de desempenho com média e desvio padrão, preservando a possibilidade de repetir exemplos no treino. Qual técnica é mais adequada?

• Holdout

• Validação cruzada

• Bootstrap

• Divisão 80/20 fixa

Qual medida está diretamente associada à proporção de previsões incorretas do modelo em todo o conjunto de dados?

• Precisão

• Taxa de Erro Total

• Sensibilidade (Recall)

• Especificidade

Na análise ROC, qual eixo representa a Taxa de Falsos Positivos (FP) no diagrama com a linha tracejada de “classificador aleatório” e pontos para Algoritmo A, B e C?

• Eixo vertical (y)

• Eixo horizontal (x)

• Ambos os eixos

• Nenhum dos eixos

Observe o diagrama ROC que compara Algoritmo A (triângulo), B (círculo) e C (quadrado). Qual algoritmo está mais próximo do “céu ROC” (alto VP e baixo FP), indicando melhor desempenho?

• Algoritmo A

• Algoritmo B

• Algoritmo C

• Todos têm o mesmo desempenho

Na comparação de dois modelos usando o Teste de Wilcoxon, qual coluna da tabela é usada para ordenar os pares ao atribuir os ranks antes de somar R+ e R−?

• Diferença

• Dif_absoluta

• C4.5

• C4.5+m

Qual pós-teste listado apresenta, em geral, valores de q0,05 menores do que o outro para o mesmo número de algoritmos (A)?

• Nemenyi

• Bonferroni-Dunn

• Ambos têm sempre o mesmo valor

• Nenhum dos dois utiliza q0,05