Пирамида или краб? Выберите подходящую стратегию тестирования

Узнайте, как объединить различные типы тестирования в разумную стратегию, соответствующую вашему проекту.

С возвращением! В предыдущей статье мы заложили основу для работы с разными типами тестирования, рассказали, что они включают, и дали определения. Помните этот мем? Возможно, вы задавались вопросом, как все эти типы тестирования, о которых вы узнали, могут работать вместе.

Шкаф с двумя ящиками, которые можно открыть одновременно.

Далее вы узнаете именно об этом. В этой статье рассказывается, как объединить эти типы тестирования в разумные стратегии и выбрать ту, которая подходит для вашего проекта.

Чтобы лучше понять, как работают эти стратегии, можно сравнить их с геометрическими фигурами. Ниже приведен список стратегий с указанием размеров и областей разработки.

Размер приложения Состав команды Зависимость от ручного тестирования Стратегия тестирования
Маленький Только для разработчиков Высокий Тестирование рожка мороженого
Тестирование краба
Маленький Разработчики и инженеры по контролю качества Высокий Тестирование рожка мороженого
Тестирование краба
Маленький Только для разработчиков Низкая Пирамида тестирования
Крупный Только для разработчиков Высокий Кубок за тестирование
Бриллиант за тестирование
Крупный Разработчики и инженеры по контролю качества Высокий Кубок тестирования
Краб тестирования
Крупный Только для разработчиков Низкая Трофей тестирования
Honeycomb тестирования

Давайте подробнее рассмотрим эти стратегии и узнаем, что означают их названия.

Определите цели тестирования. Чего вы хотите достичь?

Прежде чем разрабатывать стратегию, определите цель тестирования. Когда вы считаете, что ваше приложение протестировано в достаточной степени?

Достижение высокого охвата тестирования часто рассматривается как конечная цель разработчиков, когда дело доходит до тестирования. Но всегда ли это лучший подход? При выборе стратегии тестирования необходимо учитывать ещё один важный фактор – потребности пользователей.

Как разработчик, вы также используете множество других приложений и устройств. В этом отношении вы являетесь пользователем, который полагается на то, что все эти системы «просто работают». В свою очередь, вы полагаетесь на бесчисленное количество разработчиков, которые делают все возможное, чтобы их приложения и устройства работали. Как разработчик, вы также стремитесь оправдать это доверие. Поэтому вашей первой целью всегда должно быть создание работающего программного обеспечения и обслуживание пользователей. Это касается и тестов, которые вы пишете, чтобы обеспечить качество приложения. Кент К. хорошо резюмирует это в своей статье Статическое, модульное, интеграционное и сквозное тестирование для фронтенд-приложений:

Чем больше ваши тесты напоминают то, как используется ваше программное обеспечение, тем больше уверенности они могут вам дать.

Кент К. Dodds

Кент описывает это как обретение уверенности в тестах. Чем ближе вы к пользователям, тем больше вы можете доверять результатам тестирования. Другими словами, чем выше вы поднимаетесь по пирамиде, тем увереннее вы становитесь. Но подождите, что это за пирамида?

Определение стратегий тестирования: как выбрать стратегию тестирования

Для начала определите, какие требования вам нужно проверить. Узнайте, какие типы тестирования использовать и на каком уровне детализации можно достичь наибольшей уверенности, сохраняя при этом эффективную структуру затрат. Многие разработчики используют аналогии, чтобы объяснить эту тему. Вот самые популярные из них, начиная с классического.

Различные фигуры, такие как пирамида, ромбы, рожок мороженого, соты и кубок, символизирующие стратегии тестирования.

Классика: пирамида тестирования

Как только вы начнете искать стратегии тестирования, вы, вероятно, столкнетесь с пирамидой автоматизации тестирования в качестве первой аналогии. Майк Кон представил эту концепцию в своей книге "Succeeding with Agile". Позже Мартин Фаулер расширил эту концепцию в своей статье Практическая пирамида тестирования. Пирамиду можно представить визуально следующим образом:

Пирамида тестирования.

Как показано на этом рисунке, пирамида тестирования состоит из трех уровней:

  1. Единица измерения. Они находятся в основании пирамиды, потому что их легко выполнять и поддерживать. Они изолированы и нацелены на самые мелкие тестовые единицы. Например, посмотрите на типичный модульный тест для очень маленького продукта.

  2. Интеграция. Эти тесты находятся в середине пирамиды, поскольку они имеют приемлемую скорость выполнения, но приближают вас к пользователю больше, чем модульные тесты. Примером интеграционного теста является тест API. К этому типу также можно отнести тестирование компонентов.

  3. Сквозные тесты (также называются тестами пользовательского интерфейса). Эти тесты имитируют реального пользователя и его взаимодействие. Такие тесты требуют больше времени на выполнение и поэтому стоят дороже. Они находятся на вершине пирамиды.

Достоверность и ресурсы

Как уже кратко упоминалось ранее, порядок слоев не случаен. Они показывают приоритеты и соответствующие затраты. Это даёт вам чёткое представление о том, сколько тестов вы должны написать для каждого уровня. Вы уже видели это в определении типов тестирования.

Поскольку сквозные тесты наиболее близки к вашим пользователям, они дают вам наибольшую уверенность в том, что ваше приложение работает так, как задумано. Однако для них требуется полный стек приложений и симуляция пользователя, поэтому они могут быть самыми дорогими. Таким образом, уверенность напрямую конкурирует с ресурсами, необходимыми для выполнения тестов.

Пирамида тестирования со стрелками, показывающими направление уверенности и ресурсы, необходимые для различных типов тестирования.

Пирамида тестирования помогает решить эту проблему, заставляя вас сосредоточиться на модульных тестах и строго приоритизировать случаи, покрываемые сквозными тестами. Например, это могут быть наиболее важные пути пользователей или места, наиболее уязвимые для дефектов. Как подчеркивает Мартин Фаулер, два наиболее важных момента в пирамиде Кона заключаются в следующем:

  1. Пишите тесты с разной степенью детализации.
  2. Чем выше уровень, тем меньше тестов должно быть.

Пирамида эволюционировала! Адаптация пирамид тестирования

В течение нескольких лет обсуждения велись вокруг пирамиды. Пирамида тестирования слишком упрощает стратегии тестирования, не учитывает многие типы тестирования и больше не подходит для всех реальных проектов. Поэтому она может вводить в заблуждение. Пирамида потеряла форму? Гильермо Раух (Guillermo Rauch) считает, что:

Напишите тесты. Не слишком много. В основном интеграция.

Гильермо Раух (Guillermo Rauch)

Это одна из самых часто цитируемых цитат по этой теме, поэтому давайте разберем ее:

  • "Напиши тесты". Это не только укрепляет доверие, но и экономит время на обслуживание.
  • "Не слишком много". 100 % покрытие не всегда хорошо, потому что тогда у вашего тестирования нет приоритета и потребуется много обслуживания.
  • "В основном интеграция". Здесь снова акцент делается на интеграционных тестах: они имеют наибольшую ценность для бизнеса, обеспечивая высокий уровень уверенности каждый день при сохранении разумного времени выполнения.

Это заставляет вас снова задуматься о пирамиде тестирования и сместить фокус на интеграционное тестирование. За последние несколько лет было предложено множество адаптаций, поэтому давайте рассмотрим наиболее распространенные из них.

Тестовый ромб

Первая адаптация убирает чрезмерный акцент на модульном тестировании, как показано в пирамиде тестирования. Представьте, что вы достигли 100 % покрытия модульными тестами. Однако в следующий раз, когда вы будете проводить рефакторинг, вам придется обновить многие из этих модульных тестов, и у вас может возникнуть соблазн пропустить их. и разрушаются.

В результате, а также в связи с повышенным вниманием к интеграционному тестированию, может возникнуть следующая форма:

Тестовый ромб.

Пирамида превращается в ромб. Вы видите три предыдущих слоя, но другого размера, а слой единиц измерения был вырезан:

  • Единица измерения. Напишите модульные тесты так, как вы определили их ранее. Однако со временем они могут терять актуальность, поэтому лучше сосредоточиться на самых важных случаях.
  • Интеграция. Интеграционные тесты, которые вы знаете, тестируют комбинацию отдельных блоков.
  • E2E. Этот уровень обрабатывает тесты пользовательского интерфейса, аналогичные пирамиде тестирования. Поэтому пишите сквозные тесты только для самых важных случаев.

Тестируем соты

Существует ещё одна адаптация, представленная Spotify, которая похожа на тестовый ромб, но дополнительно специализирована для программных систем на основе микросервисов. Тестовые соты – это ещё одна визуальная аналогия для детализации, области применения и количества тестов, которые нужно написать для программной системы на основе микросервисов. Из-за небольшого размера микросервиса основная сложность заключается не в самом сервисе, а в том, как он взаимодействует с другими. Поэтому стратегия тестирования микросервиса должна быть сосредоточена в первую очередь на интеграционных тестах.

Тестовые соты.

Эта форма напоминает соты, отсюда и название. Она состоит из следующих слоев:

  • Интегрированные тесты. В статье Spotify приводится цитата Дж. Б. Рейнсбергера (J. B. Rainsberger): "Тест, который будет пройден или не пройден в зависимости от корректности другой системы". У таких тестов есть внешние зависимости, которые необходимо учитывать. И наоборот, ваша система может быть зависимостью, которая нарушает работу других систем. Как и в других аналогиях, используйте сквозные тесты осторожно и только в самых важных случаях.
  • Интеграционные тесты. Как и в случае с другими адаптациями, вам следует сосредоточиться на этом уровне. Они проверяют корректность работы сервиса в более изолированном режиме, но все же в сочетании с другими сервисами. Это означает, что тесты будут включать и некоторые другие системы и фокусироваться на точках взаимодействия, например, через тесты API.
  • Тесты, проверяющие детали реализации. Эти тесты напоминают модульные тесты, которые фокусируются на частях кода, которые естественным образом изолированы и, следовательно, имеют свою собственную внутреннюю сложность.

Если вы хотите узнать больше об этой стратегии тестирования, прочитайте запись Мартина Фаулера, в которой сравниваются пирамида и соты тестирования, и оригинальную статью от Spotify.

Кубок за тестирование

Вы уже можете увидеть повторяющийся фокус на интеграционных тестах. Однако другой тип, с которым вы столкнулись в предыдущей статье, не является тестированием в теории, но по-прежнему является важным аспектом, который следует учитывать в стратегии тестирования. Статический анализ отсутствует в пирамиде тестирования и в большинстве адаптаций, которые вы видели до сих пор. Существует адаптация трофея тестирования, которая учитывает статический анализ, сохраняя при этом фокус на интеграционных тестах. Трофей тестирования основан на цитате Гильермо Рауха и разработан Кентом К. Доддс:

Трофей за тестирование.

Трофей тестирования – это аналогия, изображающая детализацию тестов несколько иным образом. Она состоит из четырех слоев:

  • Статический анализ. Он играет важную роль в этой аналогии и позволяет выявлять опечатки, стилистические ошибки и другие проблемы, просто выполняя уже описанные шаги отладки.
  • Модульные тесты. Они гарантируют, что ваш наименьший блок будет надлежащим образом протестирован, но трофей тестирования не будет подчеркивать их в той же степени, что и пирамида тестирования.
  • Интеграция. Это основной вариант, поскольку он обеспечивает оптимальный баланс между стоимостью и достоверностью результатов.
  • Тесты пользовательского интерфейса. Включая E2E и визуальные тесты, они находятся на вершине трофея тестирования, аналогично их роли в пирамиде тестирования.

Подробнее о трофее тестирования читайте в записи блога Кента К. Dodds.

Некоторые подходы, ориентированные на пользовательский интерфейс

Это все хорошо, но как бы вы ни называли свою стратегию – "пирамида", "соты" или "алмаз", – чего-то все равно не хватает. Хотя автоматизация тестирования полезна, важно помнить, что ручное тестирование по-прежнему необходимо. Автоматизированное тестирование должно облегчить рутинные задачи и освободить инженеров по обеспечению качества, чтобы они могли сосредоточиться на критически важных областях. Автоматизация должна дополнять ручное тестирование, а не заменять его. Можно ли интегрировать ручное тестирование с автоматизацией для достижения оптимальных результатов?

Тестовый рожок мороженого и тестовый краб

Действительно, существуют две адаптации пирамиды тестирования, которые больше ориентированы на эти способы тестирования, ориентированные на пользовательский интерфейс. Оба варианта обеспечивают высокую достоверность, но требуют больше времени и средств из-за более медленного выполнения теста.

Первый, тестовый конус, похож на перевернутую пирамиду. Без этапа ручного тестирования она также известна как пицца тестирования.

Тестовый рожок мороженого.

В конусе мороженого больше внимания уделяется ручному тестированию или тестированию пользовательского интерфейса и меньше всего внимания уделяется модульному тестированию. Часто это происходит в проектах, где разработчики начали работу, имея лишь несколько мыслей о стратегии тестирования. Код ICE считается антипаттерном, и это справедливо. Он требует больших ресурсов и ручной работы.

Тестовый краб похож на тестовый рожок мороженого, но с большим акцентом на E2E и визуальное тестирование:

Краб-тестировщик.

Эта стратегия тестирования включает ещё один аспект: она проверяет, что ваше приложение функционирует и выглядит хорошо. Краб-тестировщик подчеркивает важность визуального тестирования, описанного в предыдущей статье. Интеграционное тестирование, разделенное на тестирование компонентов и API, уходит на второй план, а модульное тестирование играет здесь ещё более второстепенную роль. Подробнее об этой стратегии тестирования рассказывается в статье о крабе тестирования.

Несмотря на более высокую стоимость, эти две стратегии тестирования имеют свое место: например, в небольших проектах, где требуется меньше тестов или требуется охватить меньшую сложность. В этом случае полноценная стратегия тестирования, ориентированная на интеграционное тестирование, может оказаться слишком сложной.

Хотя эти две стратегии тестирования более затратны, они имеют свое место, например, в небольших проектах, которые требуют меньшего количества тестов и не требуют покрытия большой сложности. В этом случае полномасштабная стратегия тестирования, ориентированная на интеграционное тестирование, может быть излишне сложной.

Практические советы: давайте разработаем стратегию!

Теперь вы знаете о самых распространенных стратегиях тестирования. Вы начали с классической пирамиды тестирования и познакомились с её многочисленными адаптациями. Теперь вам нужно оценить их для своего продукта и решить, какой из них лучше всего подходит для вашего проекта. Ответ на этот вопрос начинается с любимой всеми фразы "Это зависит от обстоятельств". Но это не делает его менее точным.

Это зависит от ситуации.

Выбор наиболее подходящей стратегии тестирования из описанных (и даже не упомянутых) зависит от вашего приложения. Оно должно соответствовать вашей архитектуре, вашим требованиям и, что не менее важно, вашим пользователям и их требованиям. Все это может отличаться от приложения к приложению. Это совершенно нормально. Помните, что ваша главная цель – помогать пользователям, а не следовать определениям из учебников.

Чаще всего реальные тесты трудно разделить и определить по отдельности. Даже сам Мартин Фаулер подчеркивает положительный аспект различных определений, например, в случае модульного тестирования. Как правильно заметил Джастин Сирлс (Justin Searls) в своем твите:

[…] писать выразительные тесты, которые устанавливают четкие границы, выполняются быстро и надежно и завершаются неудачно только по полезным причинам.

Джастин Сирлс

Сосредоточьтесь на тестах, которые сообщают о реальных ошибках, с которыми могут столкнуться пользователи, и не отвлекайтесь от своей цели. Тесты должны быть разработаны так, чтобы приносить пользу пользователю, а не просто обеспечивать 100% покрытие или спорить о том, какой процент какого типа тестирования писать.

Сосредоточьтесь на тестах, которые сообщают о реальных ошибках, с которыми могут столкнуться ваши пользователи, и не отвлекайтесь от своей цели. Тесты должны быть разработаны так, чтобы приносить пользу пользователю, а не просто обеспечивать 100-процентное покрытие или вызывать споры о том, какой процент определенного типа тестирования следует написать.