Pirâmide ou caranguejo? Encontre uma estratégia de teste adequada

Descubra como combinar diferentes tipos de teste em uma estratégia razoável que corresponda ao seu projeto.

Bem-vindo de volta! O último artigo estabeleceu as bases para abordar os diferentes tipos de teste e o que eles contêm, além de esclarecer as definições dos tipos de teste. Lembra desta imagem de meme? Você deve estar se perguntando como todos esses tipos de teste que você aprendeu podem funcionar juntos.

Um armário com duas gavetas que podem ser abertas ao mesmo tempo.

Em seguida, você vai aprender exatamente isso. Este artigo apresenta uma introdução sobre como combinar esses tipos de teste em estratégias razoáveis e escolher uma que corresponda ao seu projeto.

É possível comparar as estratégias com várias formas para entender melhor o significado delas. Confira uma lista de estratégias com os respectivos tamanhos e escopos de desenvolvimento.

Tamanho do aplicativo Composição da equipe Dependência de testes manuais Estratégia de teste
Pequeno Somente desenvolvedores Alta Teste de casquinha de sorvete
Teste de caranguejo
Pequeno Desenvolvedores e engenheiros de controle de qualidade Alta Teste de casquinha de sorvete
Teste de caranguejo
Pequeno Somente desenvolvedores Baixo Pirâmide de testes
Grande Somente desenvolvedores Alta Troféu de teste
Diamante de teste
Grande Desenvolvedores e engenheiros de controle de qualidade Alta Troféu de teste
Caranguejo de teste
Grande Somente desenvolvedores Baixo Troféu de teste
Honeycomb de teste

Vamos analisar as estratégias mais de perto e entender o significado por trás dos nomes.

Determine as metas de teste: o que você quer alcançar com esses testes?

Antes de começar a criar uma boa estratégia, defina sua meta de teste. Quando você considera que seu aplicativo foi testado o suficiente?

Alcançar uma alta cobertura de teste geralmente é visto como o objetivo final dos desenvolvedores quando se trata de testes. Mas será que essa é sempre a melhor abordagem? Há outro fator crítico a ser considerado ao decidir sobre uma estratégia de teste: atender às necessidades dos usuários.

Como desenvolvedor, você também usa muitos outros aplicativos e dispositivos. Nesse sentido, você é o usuário que depende de todos esses sistemas para "simplesmente funcionar". Por sua vez, você depende de inúmeros desenvolvedores para fazer o melhor para que os aplicativos e dispositivos funcionem. Para retribuir, como desenvolvedor, você também se esforça para corresponder a essa confiança. Portanto, sua primeira meta deve ser sempre enviar um software que funcione e atenda aos usuários. Isso se estende aos testes que você escreve para garantir a qualidade do aplicativo. Kent C. Dodds resume isso muito bem na postagem Static vs Unit vs Integration vs E2E Testing for Frontend Apps (link em inglês):

Quanto mais os testes se assemelharem à forma como o software é usado, mais confiança eles vão dar a você.

por Kent C. Dodds

Kent descreve isso como ganhar confiança nos testes. Quanto mais você se aproximar dos usuários escolhendo um tipo de teste adequado, mais poderá confiar que os resultados serão válidos. Em outras palavras, quanto mais você sobe na pirâmide, mais confiança você tem. Mas o que é a pirâmide?

Como determinar estratégias de teste: como escolher uma estratégia de teste

Como primeira etapa, determine quais partes dos requisitos você precisa verificar para garantir que sejam atendidas. Descubra quais tipos de teste usar e em que nível de detalhe você pode alcançar a maior confiança, mantendo uma estrutura de custos eficiente. Muitos desenvolvedores abordam esse tópico usando analogias. Confira as mais comuns, começando pelo clássico.

Várias formas, como pirâmide, diamantes, cone de gelo, favos de mel e um troféu, representando estratégias de teste.

O clássico: a pirâmide de testes

Assim que você começar a procurar estratégias de teste, provavelmente vai encontrar a pirâmide de automação de testes como a primeira analogia. Mike Cohn apresentou esse conceito no livro "Succeeding with Agile". Mais tarde, Martin Fowler expandiu o conceito no artigo Practical Test Pyramid (link em inglês). A pirâmide pode ser representada visualmente da seguinte forma:

A pirâmide de testes.

Como mostrado neste desenho, a pirâmide de testes consiste em três camadas:

  1. Unidade. Esses testes estão na camada de base da pirâmide porque são rápidos de executar e simples de manter. Eles são isolados e têm como alvo as menores unidades de teste. Por exemplo, confira um teste de unidade típico para um produto muito pequeno.

  2. Integração. Esses testes estão no meio da pirâmide porque têm uma velocidade de execução aceitável, mas aproximam você do usuário mais do que os testes de unidade. Um exemplo de teste de integração é um teste de API. Também é possível classificar os testes de componentes como esse tipo.

  3. Testes de ponta a ponta (também chamados de testes de interface). Esses testes simulam um usuário real e a interação dele. Esses testes precisam de mais tempo para serem executados e, portanto, são mais caros. Eles estão no topo da pirâmide.

Confiança versus recursos

Como mencionado brevemente antes, a ordem das camadas não é uma coincidência. Eles mostram as prioridades e os custos correspondentes. Isso dá uma ideia clara de quantos testes você precisa escrever para cada camada. Você já viu isso na definição dos tipos de teste.

Como os testes E2E são os mais próximos dos usuários, eles dão mais confiança de que o aplicativo está funcionando como esperado. No entanto, eles exigem uma pilha de aplicativos completa e um usuário simulado. Por isso, também podem ser os mais caros. Portanto, a confiança está em concorrência direta com os recursos necessários para executar os testes.

A pirâmide de testes com setas mostrando a direção da confiança e os recursos necessários para diferentes tipos de teste.

A pirâmide tenta resolver esse problema fazendo com que você se concentre mais nos testes de unidade e priorize estritamente os casos cobertos pelos testes de ponta a ponta. Por exemplo, as jornadas do usuário mais importantes ou os locais mais vulneráveis a defeitos. Como Martin Fowler enfatiza, os dois pontos mais essenciais na pirâmide de Cohn são os seguintes:

  1. Escreva testes com granularidade diferente.
  2. Quanto mais alto o nível, menos testes você deve ter.

A pirâmide evoluiu! Adaptações das pirâmides de teste

Há vários anos, as discussões giram em torno da pirâmide. A pirâmide parece simplificar demais as estratégias de teste, deixa de fora muitos tipos de teste e não se encaixa mais em todos os projetos do mundo real. Portanto, pode ser enganoso. A pirâmide perdeu a forma? Guillermo Rauch tem uma opinião sobre isso:

Criar testes. Mas não muito. Principalmente integração.

por Guillermo Rauch

Essa é uma das citações mais comuns sobre o assunto, então vamos analisá-la:

  • "Escrever testes". Não só porque isso gera confiança, mas também porque economiza tempo na manutenção.
  • "Não muitos". Uma cobertura de 100% nem sempre é boa, porque os testes não são priorizados e há muita manutenção.
  • "Principalmente integração". Novamente, a ênfase está nos testes de integração: eles têm o maior valor comercial, oferecendo um alto nível de confiança diário e mantendo um tempo de execução razoável.

Isso faz você pensar novamente na pirâmide de testes e mudar o foco para os testes de integração. Nos últimos anos, muitas adaptações foram propostas. Vamos analisar as mais comuns.

Diamante de teste

A primeira adaptação remove a ênfase excessiva nos testes de unidade, como visto na pirâmide de testes. Imagine que você tenha alcançado 100% de cobertura nos testes de unidade. No entanto, na próxima vez que você refatorar, vai precisar atualizar muitos desses testes de unidade e pode ficar tentado a ignorá-los. Por isso, elas sofrem erosão.

Como resultado, e junto com o maior foco nos testes de integração, o seguinte formato pode surgir:

O losango de teste.

Uma pirâmide evolui para um diamante. As três camadas anteriores aparecem, mas com um tamanho diferente, e a camada de unidade foi cortada:

  • Unidade. Escreva testes de unidade da maneira que você definiu antes. No entanto, como eles tendem a se desgastar, priorize e cubra apenas os casos mais críticos.
  • Integração. Os testes de integração que você conhece, que testam a combinação de unidades únicas.
  • E2E. Essa camada lida com os testes de IU de forma semelhante à pirâmide de testes. Escreva testes E2E apenas para os casos de teste mais críticos.

Testar o Honeycomb

Há outra adaptação, introduzida pelo Spotify, que é semelhante ao diamante de teste, mas mais especializada para sistemas de software baseados em microsserviços. O favo de mel de teste é outra analogia visual para a granularidade, o escopo e o número de testes a serem criados para um sistema de software baseado em microsserviços. Devido ao tamanho pequeno, a maior complexidade em um microsserviço não está no serviço em si, mas na forma como ele interage com outros. Portanto, uma estratégia de teste para um microsserviço deve se concentrar principalmente em testes de integração.

O favo de mel de testes.

Essa forma lembra um favo de mel, daí o nome. Ele tem as seguintes camadas:

  • Testes integrados. O artigo do Spotify usa uma citação de J. B. Rainsberger (link em inglês) para definir essa camada: "Um teste que será aprovado ou reprovado com base na exatidão de outro sistema". Esses testes têm dependências externas que você precisa considerar. Por outro lado, seu sistema pode ser uma dependência que interrompe outros sistemas. Assim como os testes E2E em outras analogias, use esses testes com cuidado, apenas para os casos mais essenciais.
  • Testes de integração. Assim como em outras adaptações, você precisa se concentrar nessa camada. Ele contém testes que verificam se o serviço está correto de maneira mais isolada, mas ainda em combinação com outros serviços. Isso significa que os testes também vão incluir outros sistemas e se concentrar nos pontos de interação, por exemplo, com testes de API.
  • Testes em detalhes de implementação. Esses testes se assemelham aos testes de unidade, que se concentram em partes do código que são naturalmente isoladas e, portanto, têm a própria complexidade interna.

Se quiser saber mais sobre essa estratégia de teste, consulte a postagem que compara a pirâmide de teste ao favo de mel (em inglês) de Martin Fowler e o artigo original do Spotify (em inglês).

Troféu de teste

Já é possível notar um foco repetido nos testes de integração. No entanto, outro tipo que você encontrou no artigo anterior não é um teste em teoria, mas ainda é um aspecto importante que você precisa considerar em uma estratégia de teste. A análise estática não está presente na pirâmide de testes e na maioria das adaptações que você viu até agora. Há a adaptação do troféu de teste que considera a análise estática, mas mantém o foco nos testes de integração. O troféu de teste se originou da citação anterior de Guillermo Rauch e foi desenvolvido por Kent C. Dodds:

O troféu de teste.

O troféu de teste é uma analogia que mostra a granularidade dos testes de uma maneira um pouco diferente. Ela tem quatro camadas:

  • Análise estática. Ele desempenha um papel vital nessa analogia e permite que você detecte erros de digitação, de estilo e outros bugs apenas executando as etapas de depuração já descritas.
  • Testes de unidade. Eles garantem que a menor unidade seja testada adequadamente, mas o troféu de teste não os enfatiza tanto quanto a pirâmide de teste.
  • Integração. Esse é o foco principal, porque equilibra o custo e a maior confiança da melhor maneira, como em outras adaptações.
  • Testes de interface. Incluindo testes visuais e de ponta a ponta, eles estão no topo do troféu de teste, de forma semelhante ao papel que desempenham na pirâmide de testes.

Para saber mais sobre o troféu de teste, consulte a postagem do blog de Kent C. Dodds sobre esse assunto.

Algumas abordagens mais focadas na interface

Tudo isso é ótimo, mas não importa como você chama sua estratégia, seja de "pirâmide", "favo de mel" ou "diamante", ainda falta algo. Embora a automação de testes seja valiosa, é importante lembrar que os testes manuais ainda são essenciais. Os testes automatizados devem aliviar as tarefas de rotina e liberar os engenheiros de controle de qualidade para se concentrarem em áreas cruciais. Em vez de substituir os testes manuais, a automação deve complementá-los. Existe uma maneira de integrar testes manuais com automação para alcançar os melhores resultados?

Cone de gelo de teste e caranguejo de teste

Existem duas adaptações da pirâmide de testes que se concentram mais nessas formas de teste focadas na interface. Ambos têm a vantagem de alta confiança, mas são naturalmente mais caros devido à execução mais lenta do teste.

O primeiro, o cone de gelo de teste, parece uma pirâmide invertida. Sem a etapa de teste manual, ela também é conhecida como pizza de teste.

O cone de gelo de teste.

O cone de gelo tem um foco maior em testes manuais ou de interface e um foco menor em testes de unidade. Muitas vezes, isso acontece em projetos em que os desenvolvedores começaram a trabalhar com poucas ideias sobre a estratégia de teste. O código de gelo é considerado um antipadrão, e com razão. Ele é caro em termos de recursos e trabalho manual.

O caranguejo de teste é semelhante ao cone de gelo de teste, mas com mais ênfase em testes de ponta a ponta e visuais:

O caranguejo de teste.

Essa estratégia de teste inclui mais um aspecto: ela verifica se o aplicativo funciona e tem uma boa aparência. O caranguejo de teste destaca a importância do teste visual, definido no artigo anterior. Os testes de integração, divididos em testes de componentes e de API, ficam ainda mais em segundo plano, e os testes de unidade desempenham um papel ainda mais secundário aqui. Confira mais detalhes sobre essa estratégia de teste neste artigo sobre o caranguejo de teste.

Embora sejam mais caras, essas duas estratégias de teste têm seu lugar: por exemplo, em projetos menores, em que menos testes são necessários ou menos complexidade precisa ser coberta. Nesse caso, uma estratégia de teste completa com foco em testes de integração pode ser excessiva.

Embora essas duas estratégias de teste sejam mais caras, elas têm seu lugar, por exemplo, em projetos menores que exigem menos testes e não precisam cobrir muita complexidade. Nesse caso, uma estratégia de teste em grande escala focada em testes de integração pode ser desnecessariamente complexa.

Orientação prática: vamos criar uma estratégia!

Agora você já conhece as estratégias de teste mais comuns. Você começou com o clássico, a pirâmide de testes, e conheceu suas muitas adaptações. Agora você precisa avaliar as opções para seu produto e decidir qual é a melhor para seu projeto. A resposta a essa pergunta deve começar com o clássico "Depende". Mas isso não o torna menos preciso.

Depende.

A escolha da estratégia de teste mais adequada entre as descritas, e até mesmo as que ficaram de fora, depende do seu aplicativo. Ele precisa se adequar à sua arquitetura, aos seus requisitos e, por último, mas não menos importante, aos seus usuários e aos requisitos deles. Tudo isso pode variar de acordo com o aplicativo. Isso é totalmente normal. Lembre-se de que seu objetivo mais importante é atender aos usuários, não seguir uma definição de livro didático.

Na maioria das vezes, os testes do mundo real são difíceis de separar e definir individualmente. Até mesmo Martin Fowler enfatiza o aspecto positivo de definições diferentes, como no caso dos testes de unidade. Como Justin Searls afirma corretamente em seu tweet (link em inglês):

[…] escreva testes expressivos que estabeleçam limites claros, sejam executados de forma rápida e confiável e falhem apenas por motivos úteis.

por Justin Searls

Concentre-se nos testes que relatam erros reais que os usuários podem encontrar e não se distraia do seu objetivo. Os testes precisam ser projetados para beneficiar o usuário, não apenas para fornecer 100% de cobertura ou para debater qual porcentagem de qual tipo de teste escrever.

Concentre-se em testes que relatam erros reais que os usuários podem encontrar e não se distraia do seu objetivo. Os testes precisam ser projetados para beneficiar o usuário, não apenas para fornecer 100% de cobertura ou gerar debates sobre qual porcentagem de um tipo de teste específico você precisa escrever.