¿Pirámide o cangrejo? Encuentra una estrategia de pruebas que se adapte a tus necesidades

Descubre cómo combinar diferentes tipos de pruebas en una estrategia razonable que se adapte a tu proyecto.

¡Les damos la bienvenida nuevamente! En el artículo anterior, se sentaron las bases para abordar los diferentes tipos de pruebas y lo que contienen, y se aclararon las definiciones de los tipos de pruebas. ¿Recuerdas esta imagen de meme? Es posible que te hayas preguntado cómo podrían funcionar juntos todos esos tipos de pruebas que conociste.

Un armario con dos cajones que puedes abrir al mismo tiempo.

A continuación, aprenderás exactamente eso. En este artículo, se presenta una introducción sobre cómo combinar estos tipos de pruebas en estrategias razonables y elegir una que coincida con tu proyecto.

Puedes comparar las estrategias con varias formas para comprender mejor su significado. Aquí tienes una lista de estrategias con sus respectivos tamaños y alcances de desarrollo.

Tamaño de la aplicación Composición del equipo Dependencia de las pruebas manuales Estrategia para las pruebas
Pequeño Solo para desarrolladores Alta Prueba de cono de helado
Prueba de cangrejo
Pequeño Desarrolladores e ingenieros de QA Alta Prueba de cono de helado
Prueba de cangrejo
Pequeño Solo para desarrolladores Baja Pirámide de pruebas
Grande Solo para desarrolladores Alta Trofeo de pruebas
Diamante de pruebas
Grande Desarrolladores e ingenieros de QA Alta Trofeo de prueba
Cangrejo de prueba
Grande Solo para desarrolladores Baja Trofeo de pruebas
Honeycomb

Analicemos con más detalle las estrategias y conozcamos el significado de sus nombres.

Determina los objetivos de las pruebas: ¿Qué quieres lograr con estas pruebas?

Antes de comenzar a crear una buena estrategia, determina tu objetivo de prueba. ¿Cuándo consideras que tu aplicación se probó lo suficiente?

Lograr una alta cobertura de pruebas suele considerarse el objetivo final de los desarrolladores cuando se trata de realizar pruebas. Sin embargo, ¿es siempre el mejor enfoque? Es posible que haya otro factor crítico que debas tener en cuenta cuando decidas una estrategia de pruebas: satisfacer las necesidades de tus usuarios.

Como desarrollador, también usas muchas otras aplicaciones y dispositivos. En este sentido, eres el usuario que confía en que todos estos sistemas “simplemente funcionen”. A su vez, confías en que innumerables desarrolladores hagan todo lo posible para que sus aplicaciones y dispositivos funcionen. Para revertir esta situación, como desarrollador, también debes esforzarte por estar a la altura de esta confianza. Por lo tanto, tu primer objetivo siempre debe ser enviar software que funcione y atender a tus usuarios. Esto se extiende a las pruebas que escribes para garantizar la calidad de la aplicación. Kent C. Dodds lo resume muy bien en su publicación Static vs Unit vs Integration vs E2E Testing for Frontend Apps:

Cuanto más se parezcan tus pruebas a la forma en que se usa el software, más confianza te darán.

por Kent C. Dodds

Kent lo describe como ganar confianza en las pruebas. Cuanto más te acerques a los usuarios eligiendo un tipo de prueba adecuado, más podrás confiar en que tus pruebas tendrán resultados válidos. En otras palabras, cuanto más alto subas en la pirámide, más confianza tendrás. Pero espera, ¿qué es la pirámide?

Determina las estrategias de prueba: Cómo elegir una estrategia de prueba

Como primer paso, determina qué partes de los requisitos debes verificar para asegurarte de que se cumplan. Descubre qué tipos de pruebas usar y con qué nivel de detalle puedes lograr la mayor confianza y, al mismo tiempo, mantener una estructura de costos eficiente. Muchos desarrolladores abordan este tema con analogías. Estas son las más comunes, empezando por la clásica y conocida.

Muchas formas, como una pirámide, diamantes, un cono de helado, panales y un trofeo, que representan estrategias de prueba.

El clásico: La pirámide de pruebas

En cuanto comiences a buscar estrategias de prueba, es probable que la pirámide de automatización de pruebas sea la primera analogía que encuentres. Mike Cohn introdujo este concepto en su libro "Succeeding with Agile". Más adelante, Martin Fowler amplió el concepto en su artículo Practical Test Pyramid. Puedes representar la pirámide de forma visual de la siguiente manera:

La pirámide de pruebas

Como se muestra en este dibujo, la pirámide de pruebas consta de tres capas:

  1. Unidad. Estas pruebas se encuentran en la capa base de la pirámide porque son rápidas de ejecutar y fáciles de mantener. Están aisladas y se orientan a las unidades de prueba más pequeñas. Por ejemplo, consulta una prueba de unidades típica para un producto muy pequeño.

  2. Integración. Estas pruebas se encuentran en el medio de la pirámide, ya que tienen una velocidad de ejecución aceptable, pero te acercan más al usuario que las pruebas de unidades. Un ejemplo de una prueba de integración es una prueba de API. También puedes clasificar las pruebas de componentes como este tipo.

  3. Pruebas de extremo a extremo (también llamadas pruebas de IU) Estas pruebas simulan un usuario real y su interacción. Estas pruebas necesitan más tiempo para ejecutarse y, por lo tanto, son más costosas. Se encuentran en la parte superior de la pirámide.

Confianza frente a recursos

Como se mencionó brevemente antes, el orden de las capas no es una coincidencia. Muestran las prioridades y los costos correspondientes. Esto te brinda una idea clara de cuántas pruebas debes escribir para cada capa. Ya viste esto en la definición de los tipos de pruebas.

Como las pruebas de E2E son las más cercanas a tus usuarios, te brindan la mayor confianza de que tu aplicación funciona según lo previsto. Sin embargo, requieren una pila de aplicaciones completa y un usuario simulado, por lo que también son potencialmente las más costosas. Por lo tanto, la confianza compite directamente con los recursos que necesitas para ejecutar las pruebas.

La pirámide de pruebas con flechas que muestran la dirección de la confianza y los recursos necesarios para los diferentes tipos de pruebas.

La pirámide intenta resolver este problema haciendo que te enfoques más en las pruebas de unidades y priorices estrictamente los casos que abarcan las pruebas de extremo a extremo. Por ejemplo, los recorridos del usuario más importantes o los lugares más vulnerables a los defectos. Como enfatiza Martin Fowler, los dos puntos más esenciales de la pirámide de Cohn son los siguientes:

  1. Escribir pruebas con diferentes niveles de detalle
  2. Cuanto más alto sea el nivel, menos pruebas deberías tener.

¡La pirámide evolucionó! Adaptaciones de las pirámides de pruebas

Durante varios años, las conversaciones giraron en torno a la pirámide. La pirámide parece simplificar demasiado las estrategias de prueba, deja de lado muchos tipos de pruebas y ya no se adapta a todos los proyectos del mundo real. Por lo tanto, puede ser engañosa. ¿La pirámide perdió su forma? Guillermo Rauch tiene una opinión al respecto:

Escribe pruebas. Son pocas. Principalmente, integración.

por Guillermo Rauch

Es una de las citas más comunes sobre este tema, así que analicémosla:

  • "Escribe pruebas". No solo porque genera confianza, sino también porque ahorra tiempo en el mantenimiento.
  • "No demasiados". La cobertura del 100% no siempre es buena porque, en ese caso, las pruebas no se priorizan y habrá mucho mantenimiento.
  • "Principalmente de integración". Aquí, nuevamente, el énfasis está en las pruebas de integración: tienen el mayor valor empresarial, ya que te brindan un alto nivel de confianza diario y, al mismo tiempo, mantienen un tiempo de ejecución razonable.

Esto te hace pensar de nuevo en la pirámide de pruebas y cambiar tu enfoque a las pruebas de integración. En los últimos años, se propusieron muchas adaptaciones, así que veamos las más comunes.

Diamante de prueba

La primera adaptación quita el énfasis excesivo en las pruebas de unidades, como se ve en la pirámide de pruebas. Imagina que alcanzaste el 100% de cobertura en las pruebas de unidades. Sin embargo, la próxima vez que realices una refactorización, deberás actualizar muchas de estas pruebas de unidades y es posible que sientas la tentación de omitirlas. Por lo tanto, se erosionan.

Como resultado, y junto con el mayor enfoque en las pruebas de integración, puede surgir la siguiente forma:

El diamante de prueba

Una pirámide evoluciona a un diamante. Puedes ver las tres capas anteriores, pero con un tamaño diferente, y la capa de unidades se cortó:

  • Unidad. Escribe pruebas de unidades de la forma en que las definiste antes. Sin embargo, como tienden a erosionarse, prioriza y cubre solo los casos más críticos.
  • Integración. Las pruebas de integración que conoces, que prueban la combinación de unidades individuales.
  • E2E. Esta capa controla las pruebas de IU de manera similar a la pirámide de pruebas. Ten cuidado de escribir pruebas de E2E solo para los casos de prueba más críticos.

Panal de pruebas

Existe otra adaptación, presentada por Spotify, que es similar al diamante de pruebas, pero más especializada para sistemas de software basados en microservicios. El panal de pruebas es otra analogía visual de la granularidad, el alcance y la cantidad de pruebas que se deben escribir para un sistema de software basado en microservicios. Debido a su tamaño pequeño, la complejidad más considerable en un microservicio no está dentro del servicio en sí, sino en cómo interactúa con otros. Por lo tanto, una estrategia de pruebas para un microservicio debería enfocarse principalmente en las pruebas de integración.

El panal de pruebas.

Esta forma nos recuerda a un panal de abejas, de ahí el nombre. Tiene las siguientes capas:

  • Pruebas integradas. En el artículo de Spotify, se incluye una cita de J. B. Rainsberger para definir esta capa: “Una prueba que se aprobará o fallará según la exactitud de otro sistema”. Estas pruebas tienen dependencias externas que debes tener en cuenta y, por el contrario, tu sistema podría ser una dependencia que rompa otros sistemas. Al igual que con las pruebas de E2E en otras analogías, usa estas pruebas con cuidado, solo para los casos más esenciales.
  • Pruebas de integración. Al igual que con otras adaptaciones, debes enfocarte en esta capa. Contiene pruebas que verifican la exactitud de tu servicio de una manera más aislada, pero aún en combinación con otros servicios. Eso significa que las pruebas también incluirán algunos otros sistemas y se enfocarán en los puntos de interacción, por ejemplo, a través de pruebas de API.
  • Pruebas de detalles de implementación. Estas pruebas se asemejan a las pruebas de unidades, que se enfocan en partes del código que están aisladas de forma natural y, por lo tanto, tienen su propia complejidad interna.

Si quieres obtener más información sobre esta estrategia de pruebas, consulta la publicación que compara la pirámide de pruebas con el panal de Martin Fowler y el artículo original de Spotify.

Trofeo de prueba

Ya puedes ver un enfoque repetitivo en las pruebas de integración. Sin embargo, otro tipo que encontraste en el artículo anterior no es una prueba en teoría, pero sigue siendo un aspecto importante que debes considerar en una estrategia de pruebas. El análisis estático no se incluye en la pirámide de pruebas ni en la mayoría de las adaptaciones que viste hasta ahora. Existe la adaptación del trofeo de pruebas que tiene en cuenta el análisis estático y, al mismo tiempo, mantiene el enfoque en las pruebas de integración. El trofeo de pruebas se originó a partir de la cita anterior de Guillermo Rauch y fue desarrollado por Kent C. Dodds:

El trofeo de las pruebas

El trofeo de pruebas es una analogía que representa el nivel de detalle de las pruebas de una manera un poco diferente. Tiene cuatro capas:

  • Análisis estático. Desempeña un papel fundamental en esta analogía y te permite detectar errores tipográficos, de estilo y de otro tipo con solo ejecutar los pasos de depuración ya descritos.
  • Pruebas de unidades. Garantizan que la unidad más pequeña se pruebe de forma adecuada, pero el trofeo de pruebas no las enfatizará en la misma medida que la pirámide de pruebas.
  • Integración. Este es el enfoque principal, ya que equilibra el costo y la mayor confianza de la mejor manera, como con otras adaptaciones.
  • Pruebas de IU Incluyen pruebas visuales y de extremo a extremo, y se encuentran en la parte superior del trofeo de pruebas, de manera similar a su rol en la pirámide de pruebas.

Para obtener más información sobre el trofeo de pruebas, consulta la entrada de blog de Kent C. Dodds sobre este tema.

Algunos enfoques más centrados en la IU

Todo eso está muy bien, pero no importa cómo llames a tu estrategia, "pirámide", "panal" o "diamante", todavía falta algo. Si bien la automatización de pruebas es valiosa, es importante recordar que las pruebas manuales siguen siendo esenciales. Las pruebas automatizadas deberían aliviar las tareas rutinarias y liberar a los ingenieros de control de calidad para que se enfoquen en áreas cruciales. En lugar de reemplazar las pruebas manuales, la automatización debería complementarlas. ¿Existe alguna manera de integrar las pruebas manuales con la automatización para obtener resultados óptimos?

Cono de helado de prueba y cangrejo de prueba

De hecho, existen dos adaptaciones de la pirámide de pruebas que se enfocan más en estas formas de pruebas centradas en la IU. Ambas tienen la ventaja de una alta confianza, pero, naturalmente, son más costosas debido a una ejecución de prueba más lenta.

El primero, el cono de hielo de prueba, se parece a la pirámide invertida. Sin el paso de pruebas manuales, también se conoce como la pizza de pruebas.

El cono de helado de prueba.

El cono de helado se enfoca más en las pruebas manuales o de IU, y menos en las pruebas de unidades. Suele tomar forma en proyectos en los que los desarrolladores comenzaron a trabajar con solo algunas ideas sobre la estrategia de pruebas. El código de hielo se considera un antipatrón, y con razón. Es costoso en términos de recursos y trabajo manual.

El cangrejo de prueba es similar al cono de helado de prueba, pero con más énfasis en las pruebas visuales y de extremo a extremo:

El cangrejo de prueba.

Esta estrategia de pruebas incluye un aspecto más: verifica que tu aplicación funcione y se vea bien. El cangrejo de pruebas destaca la importancia de las pruebas visuales, que se definen en el artículo anterior. Las pruebas de integración, divididas en pruebas de componentes y de APIs, pasan a un segundo plano, y las pruebas de unidades desempeñan un papel aún más secundario en este caso. Puedes encontrar más detalles sobre esta estrategia de pruebas en este artículo sobre el cangrejo de pruebas.

Si bien son más costosas, estas dos estrategias de prueba tienen su lugar: por ejemplo, en proyectos más pequeños en los que se necesitan menos pruebas o se debe cubrir menos complejidad. En este caso, una estrategia de pruebas completa que se centre en las pruebas de integración podría ser excesiva.

Aunque estas dos estrategias de prueba son más costosas, tienen su lugar, por ejemplo, en proyectos más pequeños que requieren menos pruebas y no necesitan cubrir mucha complejidad. En este caso, una estrategia de pruebas a gran escala centrada en las pruebas de integración puede ser innecesariamente compleja.

Consejos prácticos: ¡Planifiquemos una estrategia!

Ya conoces las estrategias de prueba más comunes. Comenzaste con el clásico, la pirámide de pruebas, y conociste sus muchas adaptaciones. Ahora debes evaluarlas para tu producto y decidir cuál es la mejor para tu proyecto. La respuesta a esta pregunta debería comenzar con la frase favorita de todos: "Depende". Sin embargo, eso no lo hace menos preciso.

Depende.

La elección de la estrategia de pruebas más adecuada de las descritas, incluso las que se omitieron, depende de tu aplicación. Debe adaptarse a tu arquitectura, tus requisitos y, por último, pero no menos importante, a tus usuarios y sus requisitos. Todo esto puede variar de una aplicación a otra. Es completamente normal. Recuerda que tu objetivo más importante es brindar un servicio a tus usuarios, no una definición de libro de texto.

La mayoría de las veces, las pruebas del mundo real son difíciles de separar y definir de forma individual. Incluso el propio Martin Fowler enfatiza el aspecto positivo de las definiciones diferentes, como en el caso de las pruebas de unidades. Como Justin Searls afirma correctamente en su tweet:

[…] escribe pruebas expresivas que establezcan límites claros, se ejecuten de forma rápida y confiable, y solo fallen por motivos útiles.

por Justin Searls

Enfócate en las pruebas que informan errores reales que los usuarios podrían encontrar y no te distraigas de tu objetivo. Las pruebas deben diseñarse para beneficiar al usuario, no solo para proporcionar una cobertura del 100% o para debatir qué porcentaje de qué tipo de prueba escribir.

Enfócate en las pruebas que informan errores reales que podrían encontrar tus usuarios y no te distraigas de tu objetivo. Las pruebas deben diseñarse para beneficiar al usuario, no solo para proporcionar una cobertura del 100% o generar debates sobre qué porcentaje de un tipo de prueba en particular debes escribir.