AvaliacaoDasPropostas < Enearte

Enearte Web>EnviarProposta>AvaliacaoDasPropostas (10 Jun 2009, ValessioBrito? ) (raw view)EditAttach
---+!! Classificação das Propostas

Este é o resumo da metodologia utilizada pelo papers para a classificação das propostas.
Este documento é uma versão generalizada do
[[PubFisl7.ClassificaçãoDasPropostas][documento original escrito para o fisl7.0]].

---++ Definições

   * Proposta: é uma proposta de palestra que entrou no sistema até o final do período de envio de propostas.
   * Trilha: É um conjunto de propostas que tenham o mesmo tema em
     comum.
   * Proponente: É o autor de uma proposta.
   * Avaliador: É uma pessoa escolhida pelo Comitê de Programa do evento para proceder a avaliação das propostas.
   * Avaliação: É a atribuição de conceitos subjetivos para uma proposta
     feita por um avaliador em conjunto com a recomendação e a
     auto-avaliação da capacidade do avaliador.   
   * Avaliação Rejeitada: É uma avaliação que foi rejeitada pelos
     critérios de exclusão das avaliações conforme descritos a seguir.
   * Escore Bruto: É um número entre 1 e 20 pelo qual as propostas são
     avaliadas. O cálculo do Escore Bruto (e seus derivados) é explicado
     a seguir.

---++ Formulário de Avaliação

As avaliações serão feitas segundo os seguintes elementos:

   * Grau de confiança da avaliação (*gr*): Representa o quanto o
     avaliador confia em sua própria avaliação. Formado por categorias
     qualitativas "Não conheço bem o assunto, sou generalista", "Não sou
     expert, mas sinto-me à vontade com o assunto, mas não sou expert",
     "Sou expert", atribuídas aos valores 1,0, 1,5 e 2,0
     respectivamente.

   * Relevância (*rel*): Representa o quanto o avaliador acredita que a
     proposta é relevante para a finalidade do evento. Formado pelas
     categorias qualitativas "Nenhuma", "Pouca", "Alguma", "Muita",
     "Extrema", associadas aos valores de 1 a 5, respectivamente.

   * Qualidade técnica (*qual*): Representa a qualidade técnica da
     proposta segundo o que o avaliador pôde apurar a partir do resumo e
     da descrição fornecidos pelo autor. Formado pelas categorias
     qualitativas "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema",
     associadas aos valores de 1 a 5, respectivamente.

   * Experiência do autor com o tema (*exp*):Representa a experiência do
     autor da proposta segundo o que o avaliador pôde apurar a partir do
     mini-curríiculo fornecido. Formado pelas categorias qualitativas
     "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema", associadas aos
     valores de 1 a 5.

   * Recomendação geral (*rec*): Representa a impressão geral do
     avaliador sobre a proposta. Formado pelas categorias qualitativas
     "Rejeição forte - Tenho argumentos fortes para rejeitar o
     trabalho", "Rejeição fraca - Não tenho argumentos fortes para
     rejeitar o trabalho; tenho mais argumentos para rejeitar o trabalho
     do que para aceitar", "Aceitação fraca - Não tenho argumentos
     fortes para aceitar o trabalho; tenho mais argumentos para aceitar
     o trabalho do que para rejeitar", "Aceitação forte - Tenho
     argumentos fortes para aceitar o  trabalho", associadas aos valores
     1,0, 1,5, 1,75, e 2,0 respectivamente.

---++ Critério de Exclusão de uma Avaliação

Para evitar distorções o Comitê de Programa excluirá as avaliações que
responderem a qualquer dos seguintes critérios:

   * Trilha incompleta: O avaliador deverá avaliar a trilha
     completamente, sem deixar nenhuma proposta sem avaliação. Todas as
     avaliações (dentro de uma mesma trilha) de um avaliador que não
     tenha avaliado a trilha completa serão excluídas.

---++ Cálculo do Escores Bruto, Composto e Médio

Os Escores Bruto (*eb*) e Composto (*ec*) de cada avaliação e o Escore
Médio (*em*) de cada proposta são calculados através das seguintes
fórmulas:

<verbatim>
    eb = [ (rel * 0,20) + (qual * 0,50) + (exp * 0,30) ]
    ec = gr * eb * rec
    em = media(ec1 + ec2 + ... + ecN)
</verbatim>

---++ Cálculo da Média e do Desvio-Padrão das Trilhas

Todas os *em* das propostas de uma mesma trilha servem para cálculo da
média e do desvio-padrão daquela trilha. As formulas utilizadas são as
mesmas de qualquer livro de estatística, mas para constar:

<verbatim>
    m  = (em1 + em2 + ... + emN) / N
    dp = sqrt( 1/2 * ( ((em1 - m) ^ 2) + ((em2 - m) ^ 2) + ... + ((emN - m) ^ 2) ))
</verbatim>

---++ Cálculo do Escore Padrão e do Argumento de Classificação

Da mesma forma, com a *m*, o *dp* de cada trilha, e os *em* das
propostas, agora podemos calcular o escore padrão (*z*) de cada
proposta. Novamente, os livros de estatística nos trazem a fórmula:

<verbatim>
    z = (em - m) / dp
</verbatim>

O argumento de classificação (*ac*) é obtido multiplicando o *z* por 100 e somando 500:

<verbatim>
    ac = z * 100 + 500
</verbatim>

---++ Classificação das Propostas

O *ac* das propostas serve para classificá-las dentro de cada trilha,
conforme as seguintes regras:

   * As propostas serão aceitas a medida que houverem vagas dentro de
     uma mesma trilha.
   * Se um proponente tem duas propostas aceitas, a de
     menor *ac* será descartada e a próxima proposta da classificação
     entrará na zona de aceite (a menos que seja, novamente, do mesmo
     proponente, quando o mesmo processo se repete).

---++ Links

[[http://en.wikipedia.org/wiki/Standard_deviation][Desvio Padrão]]%BR%
[[http://en.wikipedia.org/wiki/Standard_score][Escore Padrão]]




<!-- 
   * Set VIEW_TEMPLATE = Layout
-->
Topic revision: r1 - 10 Jun 2009 - 14:32:50 - ValessioBrito?
Enearte
Copyright &Â© by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback