Metodologia ROI de um Evento - 5 níveis de avaliação

O objetivo final de qualquer evento de negócios é gerar lucro, ou mais precisamente, agregar valor aos acionistas. E eventos só criam valor se influenciarem uma mudança de comportamento no participante. Se o evento não levar os participantes a fazerem algo que de outra forma não teriam feito, não há valor. Pensar e sentir não contam, apenas o que seus sentimentos e pensamentos os levam a fazer. Este fato simples e universal é um princípio fundamental da Metodologia ROI de um evento.

Este post explica uma abordagem escalonável e sistemática para provar o valor monetário e não monetário dos eventos, uma solução prática para:

➔ Alinhar eventos com objetivos de negócios e estratégias de marketing;

➔ Reduzir custos e aumentar o valor gerado pelo evento;

➔ Demonstrar valor, incluindo ROI, para todas as partes interessadas;

➔ Medir o ROI;

➔ Criar um negócio vencedor.

A Metodologia ROI é um padrão da indústria para medir a eficácia de reuniões e eventos.

Vale destacar que a mensuração de resultados nesse caso tem início no planejamento, onde é necessário definir os KPIs – Key Performance Indicators. O uso de indicadores de desempenho permite que você tenha controle se os objetivos de uma determinada ação foram conquistados da forma esperada. Desta maneira, a Metodologia ROI, que define objetivos e mede resultados em seis níveis, precisa ser incluída no início do planejamento de um evento, a fim de que a produção acompanhe todo o passo a passo.

HISTÓRIA E DESENVOLVIMENTO

Há bastante tempo no mercado, a Metodologia ROI foi desenvolvida pelo Dr. Jack Phillips no ROI Institute Inc. desde o final dos anos 1970. Seu trabalho inicial foi baseado no modelo Kirkpatrick, desenvolvido por Donald Kirkpatrick no final dos anos 50.

O modelo de Kirkpatricks possuía quatro níveis: Reação, Aprendizado, Comportamento e Resultados. Entenda como funciona cada um deles:

Reação

Avalia a reação do público no evento, identificando se as condições de aprendizagem estavam presentes.

Aprendizado

Identifica o que os participantes tomaram como aprendizado do evento e pode ser usado questionários curtos para a avaliação.

Comportamento

Depois do aprendizado, visa medir se o participante teve alguma mudança de comportamento e colocou em prática aquilo que ele aprendeu.

Resultados

Aqui, você deve avaliar se o evento correspondeu com o esperado das partes interessadas. O modelo de Kirkpatric encontra o retorno das expectativas ou o chamado ROE – Return On Expectactions.

5 níveis de sucesso e adaptações

Ao passar do tempo, Jack Philips fez alguns ajustes nas etapas apresentadas acima e adicionou ROI como o quinto nível. Phillips também desenvolveu uma série de diretrizes e tornou o modelo mais prático e consistente em sua aplicação.

Criado no início para avaliação de resultados, vale ressaltar que o método se destaca por ser um modelo eficaz de planejamento. Toda a estratégia desenvolvida para a produção de um evento deve ser alinhada com outras atividades para um objetivo final. Observe o infográfico abaixo para entender melhor e perceba a conexão existente projetada para entrelaçar os níveis subsequentes.

METODOLOGIA ROI DE PHILIPS

O modelo aperfeiçoado por Phillips possui cinco níveis.

Na fase de planejamento, os objetivos são traçados primeiramente para o Nível 5 – o ROI, que representa o lucro do evento e termina com a definição do público-alvo. Em todas as etapas do planejamento, os objetivos devem corresponder à categoria dos participantes do evento. Há uma exceção em “Quem devemos convidar para alcançar o impacto desejado – no nível 4”, que acontece no final. Sendo assim, a ordem vai do 5 para o nível 0. Deste modo, os objetivos estabelecidos para cada um dos níveis são mensuráveis pelos KPIs (indicadores-chave de desempenho) já mencionados no início deste conteúdo.

De modo inverso, ao trabalhar apuração dos resultados, a sequência funciona do nível 0 e vai até o topo. Os resultados são mensurados por diferentes métodos de coleta de dados. Existe uma conexão entre todos os níveis para que cada um sirva o próximo.

Para fazer o download do material gratuitamente, clique aqui!

Infográfico: Paula Nobre

Entenda melhor as etapas de cada nível seguindo a leitura:

Nível 5 - Retorno do investimento

O Retorno de Investimento (ROI) compara os benefícios monetários de um evento com os custos dele próprio. É a relação existente entre o lucro gerado e o montante investido. Para eventos de associação e governo, o lucro não é, necessariamente, um objetivo. O valor final é a missão política para o qual a organização existe substituindo o ROI.

Na imagem abaixo, você conseguirá identificar todas as fases propostas por Philips em seu modelo de avaliação do ROI:

Imagem: Philips (2003, p.37)

Nível 4 – Impacto

O Impacto ou Impacto nos Negócios avalia os resultados gerados a partir da realização do evento. É usado nos cálculos de lucro e ROI, já que representa a contribuição do valor final para as partes interessadas. Mede mudanças em variáveis como produção, custos relacionados ao evento, qualidade, tempo. Em um evento de cliente, o impacto resulta nas vendas. Já para um evento interno, trata-se da eficácia organizacional. Esses resultados podem ser adquiridos através dos registros da empresa, como vendas ou contabilidade de custos. Os dados considerados mais simples, você pode pedir aos participantes para estimar o impacto comercial de certas mudanças de comportamento.

A adaptação de Philips é muito mais ampla e permite avaliar o impacto do evento na organização, ajudando a identificar se outros fatores também contribuíram com a entrega dos resultados.

Nível 3 – Comportamento

Também chamado de “Aplicação e Implementação”. Avalia o que aconteceu de diferente no comportamento dos participantes depois do evento. É a forma que o aprendizado foi aplicado, já que se não houver aplicação, pode-se considerar sem valor! Você pode oferecer ao participante uma certa experiência com o produto, mas se ele não tiver oportunidade de aplicar o conhecimento, o aprendizado foi desperdiçado. Atente-se para o seguinte questionamento: “O que exatamente você sabe que os participantes devem mudar no comportamento após o evento?”

Nesta etapa, Philips considerou que o Modelo Kirkpatrick poderia ser melhorado, tornando-o muito mais fácil ao identificar o porquê o evento proporcionou mudanças ou não no local de trabalho. Se não sair como o esperado, a Metodologia ROI de Philips auxilia a encontrar se o problema está na aplicação do aprendizado ou na sua implementação.

Nível 2 – Aprendizagem

É um nível estreitamente conectado com o 1 e seu objetivo é medir o que os participantes aprenderam durante o evento e o que passaram a descobrir que antes não sabiam anteriormente. Mas por que essa etapa se faz importante? Porque a aprendizagem permite uma mudança de comportamento. Em um evento, por exemplo, você pretende aumentar as vendas para gerar receita de um produto específico. Para que se tenha resultados efetivos é necessário que todo o evento se enquadre na aprendizagem – onde ofereça habilidades sobre o produto, informações e diferenciais. É aqui que os participantes aprendem algo de novo sobre a mercadoria para efetivar a compra. Nesta fase você pode aplicar testes de múltipla escolha ou questionários antes e/ou depois do evento.

Nível 1 - Ambiente de Aprendizagem e Satisfação

Mede-se a reação e satisfação do participante com a experiência, conteúdo e valor do evento. Pode ser por meio de pesquisas impressas ou on-line, com questionamentos sobre instalações, logística, forma e conteúdo. Essa etapa é importante, pois é possível identificar a qualidade do ambiente de aprendizagem, fator decisivo para a mudança de comportamento do público, além de fornecer valor aos stakeholders.

Nível 0 – Público-Alvo

Aqui, trata-se da maneira como garantir a presença do público correto, que são aqueles com maior aprendizado, que se encontram no nível 2, e os que estão dentro do nível 3 – comportamento.

Isolando os efeitos da reunião

Ao medir o impacto provocado nos negócios, devemos usar um método para isolar o efeito da reunião. Se as vendas aumentaram após o evento para o cliente, como você saberá se foi por causa da produção do evento e não exatamente da campanha publicitária lançada?

Existem vários meios para descobrir isso, mas o melhor é fazer um experimento do grupo de controle, que pode ser uma maneira mais difícil e cara. Uma outra alternativa seria pedir aos participantes que estimem os efeitos do evento comparando com outros fatores.

Funcionamento da Metodologia ROI

Agora que você já entendeu o conceito da Metodologia ROI, vamos verificar o seu funcionamento.

Seu foco está em coleção de dados, isolar o impacto do treinamento X o impacto de outros fatores, contabilizar os benefícios intangíveis e calcular o ROI.

O modelo Philips determina que os dados de negócios sejam arrecadados antes, durante e depois do evento e são analisados pelas seguintes características: melhorias de processo, melhorias de produtividade e lucros aumentados.

A partir de então, você consegue comparar o custo do seu evento com o benefício monetário, resultando o impacto no âmbito financeiro da empresa.

Então, vamos ver na prática como isso tudo funciona?

A fórmula que representa a comparação dos benefícios com os custos é a seguinte:

BCR = Benefícios do Programa/Custos do Programa.

Em uma pesquisa realizada para o XXXII Encontro da Anpad com foco no ROI em treinamento operacional, gerencial/executivo e de vendas em empresas de São Paulo e Rio de Janeiro, foi apresentado o seguinte exemplo:

Um BCR de 4:1 aponta que a cada real investido, retornam R$ 4 em forma de benefícios para a empresa.

Uma empresa X que ofereceu treinamento para gerentes e supervisores obteve R$ 1.680.000,00. Levando em conta os gastos de implementação de R$ 265.000,000, resultamos na relação custos X benefícios. Fazendo o cálculo na fórmula apresentada:

BCR = R$ 1.680.000,00/R$ 265.000,00

BCR = 6:3:1

É possível então concluir que para cada real investido foram devolvidos R$ 6,3 em benefícios!

Ficou mais claro? Vamos adiante!

CRÍTICAS METODOLOGIA ROI

A Metodologia de ROI sofreu algumas críticas, ainda que seja muito bem aceita nos dias de hoje.

Uma delas é que ela calcula o ROI somente depois que o evento chega ao fim. Se você calcular que um evento custa mais para ser entregue do que o valor que ele entregou, infelizmente não é possível fazer nenhuma alteração!

Já a outra crítica é a utilidade, pois o próprio Jack Philips já afirmou que os cálculos de ROI não são totalmente necessários para todos os cursos de treinamento, por exemplo, já que os quatro primeiros níveis já dão o panorama dos resultados. Caso tenha sido um sucesso no Nível 4 – Impacto, não é preciso ocupar tempo calculando o ROI.

Conseguiu entender a necessidade de avaliar os resultados por meio de indicadores? É válido ressaltar que envolver toda a sua equipe no processo, desde o início do planejamento até a medição dos resultados, é de grande relevância para conseguir aquilo que se espera.

Gostou das dicas? Compartilhe conosco tudo o que você aprendeu aqui. E assine nossa newsletter para ficar informado sobre conteúdos semelhantes!