Avaliação da Eficiência e da Eficácia do Treinamento
De Acordo com a Norma ISO 10015, os recursos utilizados para avaliar o treinamento devem ter como objetivo verificar se o treinamento foi eficiente e eficaz:
Eficiente: Se os procedimentos foram seguidos.
Eficaz: Se os requisitos especificados foram alcançados.
Nas empresas, onde o RH é estratégico, o treinamento é eficiente e eficaz, porque seu resultado é medido e avaliado. Como afirmam Kaplan e Norton, “medir é importante; o que não é medido não é gerenciado”.
A seguir,descrevemos os principais recursos para avaliar o treinamento:
1. Avaliação REAÇÃO
O objetivo deste tipo de avaliação, como o próprio nome diz, é avaliar a reação do participante, para saber qual é o valor percebido por ele.
Kirkpatrick descreve esta avaliação como a medida de satisfação do cliente e justifica:
“[…] se os participantes não reagem de forma favorável, provavelmente não estarão motivados a aprender. Reação positiva e satisfação, pode não assegurar o aprendizado, mas reação negativa certamente reduz a possibilidade de aprendizado.”
Geralmente, os formulários de avaliação, têm muitas questões; mas, conforme nos sugere Peter Drucker, para ouvir o treinando (que é cliente do treinamento), bastam duas perguntas:
1ª - O que você achou deste curso ?
2ª - Que sugestão você nos dá para melhorarmos este curso ?
É recomendável que os profissionais de RH, atendam às diretrizes das normas de gestão e procurem, já na avaliação de reação, avaliar a eficácia do treinamento. É preciso deixar de solicitar ao treinando sua opinião sobre a sala, sobre o coffe break ou sobre outros questões de pouca relevância e procurar, realmente, saber se o treinamento foi ou não eficaz.
2. Avaliação de APRENDIZAGEM
Esta avaliação mede o conhecimento ou a habilidade adquirida pelo treinando, com relação ao que foi ensinado.
Através de pré e pós teste, feito por escrito ou oralmente, é possível verificar se o processo ensino/aprendizagem foi eficaz.
3. Avaliação da MUDANÇA DE COMPORTAMENTO
Para avaliar mudança de comportamento de um profissional, é preciso observá-lo durante um período relativamente longo. Com a devida orientação do pessoal de RH, os gestores da empresa poderão avaliar suas equipes de trabalho para verificar se o treinamento que estes receberam foi válido ou não.
4. Avaliação de RESULTADOS através de INDICADORES
Os indicadores são os melhores recursos para avaliar os resultados do treinamento.
Empresas internacionais de consultoria, já identificaram mais de 900 indicadores para avaliar resultados do treinamento. Mas, é conveniente lembrar a questão da objetividade. Vale mais utilizar poucos indicadores, mas que sejam os mais precisos possíveis.
Veja, a seguir, alguns indicadores que podem ser utilizados, com mais freqüência, para avaliar resultados do treinamento:
FATURAMENTO PER CAPITA:
Também chamado de riqueza criada por empregado ou de produtividade, este é um dos melhores indicadores para medir a eficiência e a eficácia das empresas e, conseqüentemente, do desenvolvimento do seu pessoal e das ações de treinamento. Este indicador é utilizado para medir a produtividade do pessoal em determinado período e para compará-la com a atingida em outros períodos.
A revista EXAME para classificar as Melhores e Maiores Empresas do Brasil, utiliza, entre outros, o indicador riqueza criada por empregado, definido-o assim:
RIQUEZA CRIADA POR EMPREGADO é o total da riqueza criada pela empresa dividido pela média aritmética do número de empregados, sem levar em conta eventuais serviços terceirizados. Serve para indicar a produtividade dos trabalhadores e a contribuição média de cada um na riqueza gerada pela empresa.
CUSTO D0 TURNOVER
Custos diretos e indiretos com desligamento de pessoal, podem atingir vários dígitos em se tratando de executivos ou profissionais especializados.
A saída voluntária de um executivo custa em média um ano de seu salário, conforme cálculo da consultoria internacional - INFOHRM. (1)
Ao utilizar indicador baseado em turnover lembre-se:
“Empresas, com taxas de turnover muito baixas (< 3 %), são, geralmente, organizações estáticas. O excesso de estabilidade pode ser um problema, pois pode dificultar a implementação de mudanças na empresa. É tão ruim taxas de turnover muito altas, quanto muito baixas”.(2)
O cálculo do índice de rotatividade de pessoal é baseado no volume de entradas e saídas de pessoal em determinado período, e em termos percentuais. O período pode ser mensal, trimestral, semestral ou anual.
(A + D) : 2
_________ X 100 = .... %
EM
A= Admissões de pessoas, dentro do período considerado (Entrada)
D= Desligamento de pessoas (Tanto por iniciativa da empresa como por iniciativa dos empregados) no período considerado (Saídas).
EM= Efetivo médio do período. É obtido pela soma dos efetivos existentes no início e no final do período, dividida por dois.
Exemplo: A= 2 B= 4 EM= 20 Turnover= 15%
TEMPO DE TREINAMENTO PER CAPITA:
Um índice, mundialmente aceito é aquele que considera - Empresa em nível de excelência em treinamento - aquela que atinge a média de 100 h/treinamento por empregado.
No caso específico de Presidentes, Diretores, Gestores, Consultores e outros profissionais do conhecimento, o ideal são 160 h/treinamento, por ano, para atingirem o nível de excelência. Devem, portanto, trabalhar 10 meses, ter férias de 1 mês, e ter o correspondente a um mês - 160 horas - para se reciclar.
Neste caso, a reciclagem pode ser através de cursos, palestras, leituras, atividades de benchmarking, visitas a feiras e exposições.
Mas atenção! O indicador “Horas/Treinamento”, quando analisado isoladamente, só mede o “esforço” do RH. Indica se o RH trabalhou muito ou pouco, desenvolvendo treinamento. Para melhor análise é, portanto, indispensável avaliar o resultado dos treinamentos realizados.
ATITUDES DOS EMPREGADOS E O DESEMPENHO DA EMPRESA:
A edição especial “As melhores empresas para você trabalhar” – publicada regularmente pela revista EXAME, tem demonstrado que as melhores empresas para os empregados são, também, as melhores em lucratividade e produtividade.
Um “case” bastante divulgado, em 1998 (3) relatava que:
Após diversos estudos, os profissionais da Sears chegaram á seguinte conclusão, com relação ao índice que mede a atitude dos empregados:
Melhorias de Cinco Pontos nas atitudes dos empregados levam a um aumento de 1.3 pontos na satisfação dos clientes, o que, por sua vez, resulta em aumento de 0,5 % nas receitas.
Pesquisa da ISR (4) revela que companhias que possuem colaboradores comprometidos apresentam melhores resultados financeiros. A descoberta mais importante foi a diferença de quase 52 % no aumento do lucro operacional ao longo de um ano, entre companhias com colaboradores altamente comprometidos versus companhias cujos colaboradores tiveram baixos índices de comprometimento.
Companhias de alto comprometimento tiveram um aumento de 19,2 %, enquanto companhias de baixo comprometimento tiveram uma redução de 32,7 % no lucro operacional ao longo do período em estudo.
RESULTADOS DA FORÇA E DO ESFORÇO DE VENDAS
Se o treinamento previsto é para a força de vendas, podemos escolher, entre outros, os seguintes indicadores para avaliar o resultado:novos cliente em relação à carteira de clientes atuais; vendas mês a mês, comparadas com as vendas atuais ou com as vendas dos meses do ano anterior; visitas realizadas – verso – pedidos; investimento em promoções e em outros esforços de venda – verso – retorno obtido.
O importante, como sempre, é escolher os indicadores que realmente sejam adequados para avaliar os resultados esperados.
ROI - INDICADOR PARA MEDIR O O RETORNO DO INVESTIMENTO
O ROI (Return On Investiment) é considerado o processo mais eficaz para medir o resultado do investimento em treinamento.
Estrategicamente podemos ter dois procedimentos ao utilizar o ROI: utilizá-lo para medir todas as atividades de treinamento ou somente para medir alguns programas selecionados, por serem mais importantes ou por receberem maior investimento.
A primeira providência para se calcular o ROI é fazer um levantamento dos custos. Para tanto, a empresa deve ter um plano de contas e, sempre que possível, um programa informatizado que facilite a coleta de dados e informações sobre os custos do treinamento.
Para fazer o levantamento dos custos, temos duas opções: A primeira é levantar todos os custos diretos e indiretos que estejam relacionados com as atividades de treinamento. Nesse caso, será relativamente fácil obter os dados na “contabilidade”, quando a empresa é organizada por “centros de custo”. É possível chegar a detalhes calculando, por exemplo, as horas “não trabalhadas” dos treinandos, os salários dos profissionais de RH/T&D e todas os outros custos da área – total ou rateado. Algumas empresas têm o chamado custo por pessoa empregada que inclui, sob a forma de rateio, salários, impostos, taxas de luz, água e outras despesas. Com este custo, devidamente definido, fica fácil calcular o custo do pessoal envolvido no treinamento. A segunda opção é considerar somente os custos diretos. Esse procedimento é facilmente viabilizado, principalmente quando a empresa terceiriza o treinamento. Nesse caso, a planilha de custos do treinamento pode ter somente os seguintes itens:
Pagamento a terceiros, dos serviços de desenvolvimento do treinamento e com a produção de recursos instrucionais.
Pagamento de despesas com transporte e hospedagem; se houver.
É bom deixar claro que a melhor planilha de custos é aquela que atende as necessidades e objetivos da empresa, e que, para fins de controle e comparação, sua estrutura não seja alterada.
A segunda providência, para calcular o ROI, é identificar os Benefícios do Treinamento, o que muitas vezes é complexo. A grande dificuldade está em verificar até que ponto o treinamento é responsável pelos resultados alcançados. Por exemplo: Após o treinamento dos vendedores houve um aumento nas vendas – vendeu-se R$ 100.000,00 a mais. Acontece que, na mesma ocasião, foi feito outro investimento em “promoção de vendas” ou então o maior concorrente faliu. Nesse caso, podemos considerar o aumento das vendas como resultado exclusivo do treinamento?
Para solucionar dificuldades como esta, temos duas opções:
1ª - Avaliar os resultados qualitativos e quantitativos
Podemos, por exemplo, considerar como resultado “quantitativo”, do treinamento de vendedores, a conquista de 50 novos clientes. Como resultado “qualitativo”, a melhoria da imagem da empresa, o nível de satisfação dos clientes e muitos outros melhorias.
2ª - Avaliar o retorno do investimento, através do ROI
Se a intenção da empresas for realmente avaliar o retorno do investimento, o melhor recurso é o ROI, mesmo havendo dificuldade para identificar, com maior precisão, o que gerou os resultados. Em muitos casos, a partir dos dados qualitativos e quantitativos, podemos facilmente calcular o retorno do investimento.
Leia, a seguir, o que nos ensina o Dr. Jac Fitz-enz (5), sobre o princípio “ceteris paribus”, que devemos levar em consideração, quando avaliamos o resultado do treinamento:
O objetivo de um esforço de avaliação, válido e confiável, que atribui um valor específico ao resultado de um programa de treinamento é simplesmente este: demonstra que há uma provável correlação entre o evento de treinamento e uma subseqüente mudança de qualidade, produtividade, vendas ou serviço.
A metodologia deveria implicar o seguinte: ‘Dadas as condições estabelecidas, e assumindo que os outros fatores são iguais, o efeito observado é, muito provavelmente, resultado do treinamento’.
Antes de começar a censurar previamente o assunto, observe que o princípio de ceteris paribus ( todo o resto sendo igual) é a fundamentação básica para todas as tentativas de ‘prova’. E é precisamente a pressuposição que sustenta todos os planejamentos de negócios e sua conseqüente avaliação.
Há empresas que calculam freqüentemente os custos do retrabalho, os custo da prevenção e outros custos da não qualidade. O valor correspondente à diminuição destes custos é um resultado que pode ser atribuído ao treinamento ou a outras ações de melhoria.
Para maior objetividade na apuração dos resultados e de suas causas, é recomendável consultar os gestores, das áreas em questão, e os profissionais que foram treinados. Essa consulta pode ser feita em reunião com todos os envolvidos no processo, para se chegar a um consenso. Isto é relativamente fácil, para as empresas que têm como norma avaliar seus objetivos estratégicos.
Nas reuniões de avaliação, todos os gestores podem ser consultados, utilizando, por exemplo, o seguinte questionário:
Após o treinamento dos vendedores, registramos um aumento de 10 % nas vendas, equivalente a R$ 100.000,00. Você atribui este resultado ao treinamento? Que outros fatores ou atividades influíram nos resultados? Em que porcentagem?
Recursos utilizados para isolar os efeitos do treinamento
Como vimos anteriormente, Estimativa de Retorno do Investimento é uma das formas mais confiáveis para se isolar os efeitos do treinamento.
Além da Estimativa temos os seguintes recursos:
Grupos de controle
A abordagem mais precisa para isolar o impacto de um treinamento é o uso de grupos de controle. Esta abordagem envolve a comparação entre a participação de um grupo que participa do treinamento e um grupo de controle, que não participa do treinamento.
Linha de Tendência
O método consiste na representação gráfica de uma linha de tendência para projetar o futuro, usando dados históricos de desempenho como base. Depois que o evento acontece, o desempenho em relação ao que havia sido desenhado na linha de tendência pode ser atribuído ao treinamento, de uma forma bastante sensata.
Marcos Antônio L. de Oliveira ( 6 ) comentando sobre a exatidão da medição, diz o seguinte: “Nem sempre a precisão é essencial. É melhor ter alguma medição, mesmo não tão precisa, do que não ter nenhuma”
Considerando o exposto, e de acordo com a boa técnica, devemos calcular o ROI da seguinte forma:
• Calcular os Benefícios do treinamento *
• Calcular os Custos
• Subtrair os Custos dos Benefícios
• Dividir o Benefício Líquido pelo Custo
* ATENÇÃO: As estatísticas provam que o resultado de um treinamento eficaz pode ser observado durante 6 ou 12 meses. Quando isto ocorre, deve-se considerar o total dos benefícios ocorridos nesses meses.
EXEMPLO: Benefício: R$ 165.000,00 Custo: R$ 25.000,00 ROI: 5,6
Conclusão: Para cada real investido no treinamento, houve um retorno de R$ 5,60.
De acordo com a norma ISO 10015, a Avaliação dos Resultados do Treinamento é o 4º estágio do Ciclo do Treinamento. O melhor retorno do investimento em treinamento depende, portanto, do correto desenvolvimento dos estágios anteriores.
Sebastião Guimarães
guimaraes@tgtreinamento.com.br
(1) Peter Howes – Chief Executive Officer –INFOHRM PTY LTD – in workshop A – The future of Human Capital Analytics –
IQPC -24/05/07
(2) Luiz Augusto P.M.Simão – Mensuração – Gerenciando o conhecimento nas organizações – Revista ”Falando de
Qualidade” – nº 138 – Editora epse.
(3) The Employee – Customer Profit Chain at Sears – in “Havard Business-Revie”, Jan-Feb 1998
(4) Disponível em: < www.isrinsight.com.br > Acesso em 04/10/06
(5) Excerto do artigo da revista Training Magazine – Yes … you can weight training’s value do Dr. Jac Fitz-enz – 1994.
(6) Marcos Antonio Lima de Oliveira- Certified Quality Engineer - ASQ/US Diretor da Qualitas Treinamento e Consultoria.