Estamos atualizando nossos métodos de pontuação
Na TestGorilla, temos o compromisso de melhorar continuamente sua experiência e a facilidade de uso de nossa plataforma. Nossa próxima área de foco tem como objetivo fortalecer nossos métodos de pontuação e oferecer a você mais opções do que nunca. Este artigo abordará as alterações nos métodos de pontuação que estão sendo feitas na plataforma e, à medida que as implementarmos para mais usuários, nossos artigos existentes serão atualizados para incluir essas novas alterações. Este artigo se aplica a todos os usuários novos e atuais da TestGorilla.
Tempo de leitura: cerca de 8 minutos
Conteúdo deste artigo
- O que está mudando?
- O que são percentis?
- Por que percentis?
- Como são calculadas as pontuações de percentil?
- Uso da pontuação de percentil
- Perguntas frequentes
O que está mudando?
A partir de 14 de outubro, e durante todo o mês, estaremos lançando a pontuação de percentil no aplicativo. Se você for um novo usuário, poderá usar a pontuação de percentil imediatamente! Você verá como os candidatos se classificam em relação a outros que fizeram a mesma avaliação, oferecendo uma maneira mais clara e precisa de avaliar os resultados.
Além disso, serão feitas as seguintes atualizações:
- Há um novo botão de alternância em cada página de avaliação para alternar entre as métricas de pontuação. O percentil está definido como padrão, mas você pode alternar para “Pontuação bruta” (anteriormente “Porcentagem”) se preferir.
- Na página de resultados de cada candidato, as pontuações bruta e de percentil aparecem lado a lado, juntamente com uma curva de sino que mostra como eles se comparam a outros que fizeram a mesma avaliação.
- Ambas as métricas de pontuação são apresentadas lado a lado em relatórios em PDF para facilitar a comparação.
- Somente a métrica selecionada na página de avaliação está disponível em exportações para CSV e Excel.
O que são percentis?
Percentis são uma métrica de pontuação que ajuda você a entender o desempenho do candidato em comparação com outros. Por exemplo, um candidato com pontuação no 54º percentil é um candidato que se saiu melhor na prova do que 54% dos outros candidatos em nosso grupo de referência. Observe que isso é diferente de um candidato que obteve 54% de respostas corretas em uma prova.
A alternativa à pontuação de percentil é a porcentagem de acertos. Para continuar com nosso exemplo, ter 54% de respostas corretas significa simplesmente que o candidato respondeu a um certo número de questões corretamente. Não leva em conta a dificuldade ou similaridade dessas questões, o que torna muito mais fácil ignorar bons candidatos.
Com a porcentagem de acertos, não há como saber se esses 54% são porque o candidato se saiu bem nas questões difíceis importantes, ou porque ele acertou todas as questões fáceis que um candidato altamente qualificado pode achar uma distração. Além disso, comparar resultados entre avaliações pode ser complicado com a porcentagem de acertos, pois as provas da mesma habilidade entre avaliações terão questões diferentes.
A pontuação de percentil é um número único que combina informações sobre as respostas do candidato e dificuldade da questão. Isso facilita a diferenciação entre candidatos bons, ótimos e excelentes. Também permite que você compare os candidatos em diferentes avaliações, pois a pontuação de percentil já leva em conta a dificuldade das questões e das provas. Quando um desenvolvedor pontua no 90º percentil em uma prova de Javascript, isso significa que apresentou um desempenho melhor do que 90% dos outros candidatos que fizeram a prova.
Enquanto uma pontuação de 90% de acertos em uma prova difícil pode significar muito, uma pontuação de 90% em uma prova fácil não significa tanto. Um resultado no 90º percentil sempre significa o mesmo: que o candidato é melhor que 90% dos outros que fizeram a prova. Isso torna possível classificar e comparar os candidatos sem considerar as questões individuais, suas diferenças e dificuldades.
Por que percentis?
Há vários fatores-chave pelos quais adicionamos a pontuação de percentil:
- Interpretação consistente e confiável dos resultados
- Considera a dificuldade da questão
- Maior confiança nas habilidades do candidato
- Permite flexibilidade
Para uma análise mais aprofundada da ciência e do raciocínio por trás de cada fator, confira nosso blog.
Acreditamos que as pontuações de percentil não são apenas uma nova maneira de classificar os candidatos; são uma ferramenta poderosa que lhe ajuda a tomar decisões de contratação mais informadas e confiantes. Quer esteja avaliando provas individuais ou avaliações gerais, os percentis oferecem uma visão mais completa das capacidades de um candidato.
As pontuações de percentil oferecem insights mais profundos ao levar em conta a dificuldade das questões, facilitando a comparação justa dos candidatos entre as avaliações, mesmo que eles enfrentem diferentes níveis de desafio na prova. Ao contrário da pontuação bruta, que reflete apenas as respostas corretas, os percentis mostram o desempenho de um candidato em comparação com outros.
|
Como são calculadas as pontuações de percentil?
No nível de provas, levamos em conta a dificuldade das questões individuais. Considere dois candidatos: um pode responder corretamente às questões mais fáceis, enquanto o outro acerta as mais difíceis. Nosso sistema ajusta suas pontuações de acordo com isso.
Isso é feito ponderando as respostas corretas com o parâmetro que descreve a dificuldade das questões. A dificuldade da questão é calculada observando o desempenho na amostra de referência e calculando a probabilidade de o candidato médio responder corretamente à questão.
Uma questão com dificuldade de 0,8 é fácil, sendo que 80% dos candidatos podem respondê-la corretamente. Uma questão com dificuldade de 0,2 é difícil, e apenas 20% das pessoas conseguem respondê-la corretamente. Essas informações são usadas para atribuir um peso maior à questão difícil do que à fácil.
Para obter uma visão mais detalhada sobre como as pontuações de percentil são calculadas, confira nosso blog.
Uso da pontuação de percentil
Com essa atualização, há várias maneiras de começar a usar a pontuação de percentil em seu processo de contratação imediatamente:
|
Alternando entre métodos de pontuação A pontuação de percentil agora será o método de pontuação padrão; isso significa que os resultados do candidato na página de visão geral da avaliação serão exibidos automaticamente usando a métrica de pontuação de percentil. Isso pode ser alternado de volta para a opção de pontuação bruta, se for mais adequada às suas necessidades. |
||
|
Página de resultados Na página de resultados de cada candidato, há uma curva em forma de sino que marca o percentil em que o candidato se enquadra, em comparação com a média. Abaixo da curva em forma de sino estão as provas incluídas na avaliação, que exibem o percentil em que o candidato se encontra em cada prova, bem como a pontuação bruta (porcentagem) que recebeu.
|
||
|
Relatórios em PDF Tanto a pontuação de percentil quanto a pontuação bruta estarão nos relatórios em PDF. Elas são exibidas lado a lado, a nível de avaliação e de prova. |
||
|
Exportações em CSV/Excel As exportações em CSV e Excel exibirão uma única métrica de pontuação: aquela selecionada na visão geral da avaliação. Pode ser a pontuação de percentil ou a pontuação bruta. |
||
|
Relatórios em PDF com resumo da avaliação A métrica de pontuação escolhida também afeta a forma como o relatório em PDF do resumo dos resultados exibe o desempenho do candidato na avaliação. A métrica escolhida será exibida em todo o relatório. Se você quiser alterar a métrica exibida, basta ajustar na visão geral da avaliação. |
Perguntas frequentes
Ainda posso ver a porcentagem de acertos?Sim! Você ainda pode visualizar a porcentagem de acertos na opção "pontuação bruta", mas a pontuação padrão agora será baseada em percentis.
Isso afetará minhas avaliações ou dados existentes?Seus dados de avaliações anteriores permanecem intactos e agora estarão disponíveis na opção "pontuação bruta". Você também verá a pontuação de percentil nos resultados de provas anteriores.
Como são calculadas as pontuações de percentil?As pontuações de percentil levam em conta tanto o número de respostas corretas quanto a dificuldade das questões, mostrando o desempenho de um candidato em comparação com todos os outros candidatos que fizeram a mesma prova na TestGorilla.
Essas pontuações são derivadas de escores z, que pressupõem uma distribuição normal padrão (ou seja, curva de sino). Esses escores z são calculados usando estatísticas específicas de cada questão, que se ajustam à sua dificuldade. Os escores z são então convertidos em pontuações de percentil para refletir a classificação do candidato em relação aos outros. Para obter mais detalhes sobre como o cálculo funciona, visite nosso blog de Ciência.
Qual é a diferença entre uma pontuação de percentil e a porcentagem de acertos?
A pontuação de percentil compara o desempenho de um candidato com o de outros que fizeram a mesma prova, mostrando sua classificação em relação ao grupo de referência. A porcentagem de acertos reflete simplesmente o número de questões respondidas corretamente. Você pode visualizar a porcentagem de acertos na opção "pontuação bruta".
Como as pontuações de percentil beneficiam meu processo de contratação em geral?
As pontuações de percentil oferecem uma maneira consistente de comparar os candidatos porque mostram o desempenho de uma pessoa em comparação com outras, independentemente da dificuldade da prova. Diferentemente das pontuações brutas, onde 60% em uma prova fácil não é o mesmo que 60% em uma prova difícil, os percentis refletem o desempenho do candidato em relação aos seus pares, tornando as comparações justas e padronizadas ao longo do tempo.
Por que devo confiar mais nos percentis do que nas pontuações percentuais?
Os percentis levam em conta o desempenho de outros candidatos que fizeram a mesma prova e a dificuldade de cada questão, fornecendo uma imagem mais clara das habilidades de um candidato em relação aos outros. Uma porcentagem de acertos alta em uma prova fácil não é tão esclarecedora quanto uma pontuação de percentil alta, que reflete a posição do candidato em um grupo de referência amplo.
Qual é o grupo de referência para as pontuações de percentil?
O grupo de referência consiste em todos os candidatos que fizeram a prova, permitindo que você compare seus candidatos com uma referência global, e não apenas com aqueles que estão dentro do seu grupo de contratação imediata.
Como o cálculo do percentil define o peso das questões fáceis e difíceis?
Nosso sistema ajusta as pontuações com base na dificuldade das questões. Por exemplo, responder corretamente a uma questão difícil (o que poucos candidatos conseguem fazer) contribui mais para a pontuação final do que uma questão fácil.
Como devo interpretar um candidato com pontuação no 90º percentil?
Um candidato no 90º percentil teve um desempenho melhor que 90% dos outros candidatos da TestGorilla que fizeram a mesma prova. Isso mostra sua força relativa em comparação com um grupo de talentos mais amplo.
As pontuações de percentil dos candidatos mudam com o tempo, quando mais e mais candidatos fazem a prova? Os dados usados para calcular as pontuações de percentil são revisados e atualizados regularmente ao longo do tempo. A cadência exata dessas atualizações é determinada por vários fatores, inclusive o número de candidatos e o tempo decorrido desde a última atualização.
E se eu quiser enfatizar certas habilidades mais do que outras em minha avaliação?
Você pode atribuir pesos diferentes às provas em uma avaliação. A pontuação de percentil será ajustada para refletir a importância relativa que você atribui a cada área de habilidade, fornecendo uma pontuação geral personalizada.
A pontuação de percentil será alterada se eu adicionar ou remover provas de uma avaliação?
Sim, a pontuação geral de percentil é recalculada com base na combinação de provas e em seus pesos atribuídos, garantindo que reflita suas necessidades específicas de contratação.
As pontuações percentuais estão disponíveis através das integrações com sistemas de rastreamento de candidatos (ATS)?
As pontuações sincronizadas com os ATS serão pontuações brutas. Como é possível alternar entre métodos de pontuação na visão geral dos resultados durante uma avaliação ativa, precisamos garantir que os resultados compartilhados com o ATS sejam comparáveis entre os candidatos. Por isso, não pode haver uma mistura de pontuações brutas e percentuais.
No futuro, vamos analisar se as integrações com ATS específicos poderão receber tanto as pontuações brutas quanto as percentuais, mas atualmente isso não é possível para a maioria dos ATS.