Piramida czy krab? Wybierz odpowiednią strategię testowania

Dowiedz się, jak połączyć różne typy testów w rozsądną strategię, która pasuje do Twojego projektu.

Witamy z powrotem W ostatnim artykule omówiliśmy podstawy dotyczące różnych typów testów i ich zawartości oraz wyjaśniliśmy definicje typów testów. Pamiętasz ten mały obrazek z memem? Być może zastanawiasz się, jak wszystkie te rodzaje testów, o których się dowiedziałeś, mogą ze sobą współpracować.

Szafka z 2 szufladami, które można otworzyć jednocześnie.

W następnej sekcji dowiesz się, jak to zrobić. Z tego artykułu dowiesz się, jak połączyć te typy testów w sensowne strategie i wybrać tę, która pasuje do Twojego projektu.

Aby lepiej zrozumieć znaczenie strategii, możesz porównać je z różnymi kształtami. Oto lista strategii z odpowiednimi rozmiarami i zakresami rozwoju.

Rozmiar aplikacji Skład zespołu Poleganie na testach ręcznych Strategia testowania
Mały Tylko deweloperzy Wysoki Testowanie loda w rożku
Testowanie kraba
Mały Programiści i inżynierowie ds. kontroli jakości Wysoki Testowanie loda w rożku
Testowanie kraba
Mały Tylko deweloperzy Niski Piramida testowa
Duży Tylko deweloperzy Wysoki Trofeum testowania
Diament testowania
Duży Programiści i inżynierowie ds. kontroli jakości Wysoki Testing Trophy
Testing Crab
Duży Tylko deweloperzy Niski Trofeum testowe
Honeycomb testowy

Przyjrzyjmy się bliżej strategiom i poznajmy znaczenie ich nazw.

Określ cele testów: co chcesz osiągnąć dzięki tym testom?

Zanim zaczniesz opracowywać dobrą strategię, określ cel testowania. Kiedy uznasz, że aplikacja została wystarczająco przetestowana?

Osiągnięcie wysokiego pokrycia testowego jest często postrzegane jako ostateczny cel deweloperów, jeśli chodzi o testowanie. Czy jednak zawsze jest to najlepsze podejście? Przy podejmowaniu decyzji o strategii testowania warto wziąć pod uwagę jeszcze jeden ważny czynnik – potrzeby użytkowników.

Jako deweloper używasz też wielu innych aplikacji i urządzeń. W tym sensie jesteś użytkownikiem, który polega na tym, że wszystkie te systemy „po prostu działają”. Z kolei polegasz na niezliczonych deweloperach, którzy robią wszystko, aby ich aplikacje i urządzenia działały. Deweloperzy również starają się nie zawieść tego zaufania. Dlatego Twoim pierwszym celem powinno być zawsze dostarczenie działającego oprogramowania i obsługa użytkowników. Dotyczy to również testów, które piszesz, aby zapewnić jakość aplikacji. Kent C. Dodds podsumowuje to bardzo dobrze w swoim poście Static vs Unit vs Integration vs E2E Testing for Frontend Apps (Testy statyczne, jednostkowe, integracyjne i E2E w przypadku aplikacji frontendowych):

Im bardziej testy przypominają sposób korzystania z oprogramowania, tym bardziej wiarygodne są ich wyniki.

Autor: Kent C. Dodds

Kent opisuje to jako nabieranie pewności co do testów. Im bliżej użytkowników będziesz dzięki wyborowi odpowiedniego typu testów, tym bardziej możesz ufać, że wyniki testów będą prawidłowe. Innymi słowy, im wyżej wspinasz się po piramidzie, tym większą masz pewność. Ale czym jest piramida?

Określanie strategii testowania: jak wybrać strategię testowania

Najpierw określ, które części wymagań musisz sprawdzić, aby upewnić się, że są spełnione. Dowiedz się, jakich typów testów używać i na jakim poziomie szczegółowości możesz uzyskać największą pewność przy zachowaniu efektywnej struktury kosztów. Wielu deweloperów podchodzi do tego tematu, używając analogii. Oto najpopularniejsze z nich, zaczynając od dobrze znanej klasyki.

Wiele kształtów, takich jak piramida, romby, rożek lodowy, plastry miodu i trofeum, które reprezentują strategie testowania.

Klasyka: piramida testowa

Gdy zaczniesz szukać strategii testowania, prawdopodobnie jako pierwszą analogię napotkasz piramidę automatyzacji testów. Mike Cohn wprowadził tę koncepcję w swojej książce „Succeeding with Agile”. Później Martin Fowler rozwinął tę koncepcję w artykule Practical Test Pyramid (Praktyczna piramida testowa). Piramidę można przedstawić wizualnie w ten sposób:

Piramida testowa.

Jak widać na tym rysunku, piramida testowa składa się z 3 warstw:

  1. Jednostka. Te testy znajdują się na poziomie podstawowym piramidy, ponieważ są szybkie w wykonaniu i łatwe w utrzymaniu. Są odizolowane i dotyczą najmniejszych jednostek testowych. Zobacz na przykład typowy test jednostkowy bardzo małego produktu.

  2. Integracja. Te testy znajdują się w środku piramidy, ponieważ mają akceptowalną szybkość wykonywania, ale przybliżają Cię do użytkownika bardziej niż testy jednostkowe. Przykładem testu integracji jest test interfejsu API. Do tego typu możesz też zaliczyć testy komponentów.

  3. Testy E2E (nazywane też testami interfejsu). Te testy symulują prawdziwego użytkownika i jego interakcję. Takie testy wymagają więcej czasu na wykonanie, więc są droższe. Są na szczycie piramidy.

Pewność a zasoby

Jak już wspomnieliśmy, kolejność warstw nie jest przypadkowa. Pokazują priorytety i odpowiadające im koszty. Dzięki temu uzyskasz jasny obraz tego, ile testów należy napisać dla każdej warstwy. Znasz już ten termin z definicji typów testów.

Testy E2E są najbliższe użytkownikom, więc dają największą pewność, że aplikacja działa zgodnie z oczekiwaniami. Wymagają jednak pełnego stosu aplikacji i symulowanego użytkownika, dlatego mogą być najdroższe. Dlatego pewność jest w bezpośredniej konkurencji z zasobami, których potrzebujesz do przeprowadzenia testów.

Piramida testowa ze strzałkami wskazującymi kierunek ufności i zasoby wymagane w przypadku różnych typów testów.

Piramida próbuje rozwiązać ten problem, kładąc większy nacisk na testy jednostkowe i ściśle określając priorytety przypadków objętych testami E2E. Na przykład najważniejsze ścieżki użytkowników lub miejsca najbardziej podatne na błędy. Jak podkreśla Martin Fowler, 2 najważniejsze punkty piramidy Cohna to:

  1. pisać testy o różnym stopniu szczegółowości;
  2. Im wyższy poziom, tym mniej testów powinno być przeprowadzanych.

Piramida się rozwinęła. Adaptacje piramid testowych

Od kilku lat dyskusje koncentrują się wokół piramidy. Piramida wydaje się nadmiernie upraszczać strategie testowania, pomija wiele typów testów i nie pasuje już do wszystkich rzeczywistych projektów. Może więc być myląca. Czy piramida straciła swój kształt? Guillermo Rauch ma na ten temat swoje zdanie:

Pisanie testów. Nie za dużo. Głównie integracja.

Guillermo Rauch

To jeden z najczęściej cytowanych fragmentów na ten temat, więc przyjrzyjmy mu się bliżej:

  • „Napisz testy”. Nie tylko dlatego, że buduje to zaufanie, ale także dlatego, że oszczędza czas na konserwację.
  • „Niewiele”. Pokrycie na poziomie 100% nie zawsze jest dobre, ponieważ wtedy testowanie nie jest traktowane priorytetowo i wymaga dużo pracy związanej z konserwacją.
  • „Głównie integracja”. W tym przypadku również nacisk kładziony jest na testy integracyjne: mają one największą wartość biznesową, ponieważ zapewniają wysoki poziom pewności każdego dnia, a jednocześnie ich czas wykonywania jest rozsądny.

To sprawia, że ponownie zastanawiasz się nad piramidą testów i skupiasz się na testach integracyjnych. W ciągu ostatnich kilku lat zaproponowano wiele modyfikacji, więc przyjrzyjmy się najczęstszym z nich.

Diament testowy

Pierwsza adaptacja usuwa nadmierny nacisk na testy jednostkowe, który widać w piramidzie testów. Wyobraź sobie, że masz 100% pokrycia testami jednostkowymi. Jednak przy następnej refaktoryzacji trzeba będzie zaktualizować wiele z tych testów jednostkowych, co może kusić do ich pominięcia. Dlatego ulegają erozji.

W rezultacie, wraz z większym naciskiem na testowanie integracji, może powstać taki kształt:

Diament testowy.

Piramida zmienia się w diament. Widoczne są 3 poprzednie warstwy, ale mają inny rozmiar, a warstwa jednostki została wycięta:

  • Jednostka. Napisz testy jednostkowe w sposób, w jaki zostały wcześniej zdefiniowane. Ponieważ jednak mają tendencję do erozji, nadaj priorytet tylko najważniejszym przypadkom i tylko je uwzględnij.
  • Integracja. Testy integracji, które znasz, testują kombinację pojedynczych jednostek.
  • E2E. Ta warstwa obsługuje testy interfejsu podobnie jak piramida testów. Pamiętaj, aby pisać testy E2E tylko w przypadku najważniejszych elementów testowania.

Testowanie plastra miodu

Istnieje jeszcze jedna adaptacja, wprowadzona przez Spotify, która jest podobna do diamentu testowego, ale jest bardziej wyspecjalizowana pod kątem systemów oprogramowania opartych na mikroserwisach. Plaster miodu testowania to kolejna wizualna analogia dotycząca szczegółowości, zakresu i liczby testów, które należy napisać dla systemu oprogramowania opartego na mikroserwisach. Ze względu na niewielki rozmiar mikroserwisu największa złożoność nie dotyczy samej usługi, ale sposobu, w jaki wchodzi ona w interakcje z innymi. Dlatego strategia testowania mikroserwisu powinna koncentrować się głównie na testach integracji.

Testowy plaster miodu.

Ten kształt przypomina plaster miodu, stąd nazwa. Składa się z tych warstw:

  • Testy zintegrowane. W artykule Spotify wykorzystano cytat z J. B. Rainsbergera, który definiuje tę warstwę jako „test, który zakończy się powodzeniem lub niepowodzeniem w zależności od poprawności innego systemu”. Takie testy mają zależności zewnętrzne, które należy wziąć pod uwagę. Z drugiej strony Twój system może być zależnością, która powoduje błędy w innych systemach. Podobnie jak w przypadku testów E2E w innych analogiach, używaj tych testów ostrożnie, tylko w najważniejszych przypadkach.
  • Testy integracyjne. Podobnie jak w przypadku innych adaptacji, należy skupić się na tej warstwie. Zawiera testy, które sprawdzają poprawność działania usługi w bardziej odizolowany sposób, ale nadal w połączeniu z innymi usługami. Oznacza to, że testy będą obejmować też inne systemy i skupiać się na punktach interakcji, np. za pomocą testów interfejsu API.
  • Testy szczegółów implementacji. Te testy przypominają testy jednostkowe – testy, które koncentrują się na częściach kodu, które są naturalnie odizolowane i mają własną wewnętrzną złożoność.

Jeśli chcesz dowiedzieć się więcej o tej strategii testowania, przeczytaj post Martina Fowlera, w którym porównuje piramidę testową z plastrem miodu, oraz oryginalny artykuł Spotify.

Trofeum za testowanie

Możesz już zauważyć powtarzające się skupienie na testach integracji. Jednak inny typ, który pojawił się w poprzednim artykule, nie jest testowaniem w teorii, ale nadal jest ważnym aspektem, który należy wziąć pod uwagę w strategii testowania. Analizy statycznej brakuje w piramidzie testowej i w większości adaptacji, które do tej pory widzieliście. Istnieje adaptacja trofeum testowego, która uwzględnia analizę statyczną, ale koncentruje się na testach integracyjnych. Trofeum testowe pochodzi z wcześniejszego cytatu Guillermo Raucha i zostało opracowane przez Kenta C. Dodds:

Trofeum za testowanie.

Trofeum testowe to analogia przedstawiająca szczegółowość testów w nieco inny sposób. Składa się z 4 warstw:

  • Analiza statyczna. Odgrywa on kluczową rolę w tej analogii i pozwala wychwycić literówki, błędy stylistyczne i inne błędy, po prostu wykonując opisane już kroki debugowania.
  • Testy jednostkowe. Zapewniają one odpowiednie przetestowanie najmniejszej jednostki, ale trofeum testowe nie kładzie na nie takiego nacisku jak piramida testowa.
  • Integracja. To jest główny cel, ponieważ pozwala on najlepiej zrównoważyć koszty i wyższy poziom ufności, podobnie jak w przypadku innych adaptacji.
  • Testy interfejsu. Obejmują testy E2E i testy wizualne. Znajdują się na szczycie trofeum testowego, podobnie jak w piramidzie testowej.

Więcej informacji o trofeum testowym znajdziesz w poście na blogu Kenta C. Dodds na ten temat.

Podejścia bardziej skoncentrowane na interfejsie

Wszystko to brzmi świetnie, ale niezależnie od tego, czy nazwiesz swoją strategię „piramidą”, „plastrem miodu” czy „diamentem”, czegoś w niej brakuje. Automatyzacja testów jest przydatna, ale należy pamiętać, że testowanie ręczne jest nadal niezbędne. Testowanie automatyczne powinno odciążyć inżynierów ds. zapewniania jakości od rutynowych zadań i pozwolić im skupić się na kluczowych obszarach. Automatyzacja nie powinna zastępować testów ręcznych, ale je uzupełniać. Czy można połączyć testowanie ręczne z automatyzacją, aby uzyskać optymalne wyniki?

Testowanie rożka lodowego i testowanie kraba

Istnieją 2 adaptacje piramidy testowej, które koncentrują się bardziej na tych metodach testowania interfejsu. Obie te metody mają zaletę wysokiego poziomu ufności, ale są oczywiście bardziej kosztowne ze względu na wolniejsze wykonywanie testów.

Pierwszy, testowy stożek lodowy, wygląda jak odwrócona piramida. Bez etapu testowania ręcznego jest ona również nazywana pizzą testową.

Testowy rożek lodowy.

W rożku lodowym największy nacisk kładzie się na testowanie ręczne lub testowanie interfejsu, a najmniejszy na testy jednostkowe. Często pojawia się w projektach, w których deweloperzy rozpoczęli pracę, mając tylko kilka pomysłów na strategię testowania. Kod ICE jest uważany za antywzorzec i słusznie. Jest kosztowny pod względem zasobów i pracy ręcznej.

Testowy krab jest podobny do testowego rożka lodowego, ale kładzie większy nacisk na testy E2E i testy wizualne:

Krab testowy.

Ta strategia testowania obejmuje jeszcze jeden aspekt: sprawdza, czy aplikacja działa i wygląda dobrze. Krab testowy podkreśla znaczenie testów wizualnych, które zostały zdefiniowane w poprzednim artykule. Testy integracyjne, podzielone na testy komponentów i interfejsów API, schodzą na dalszy plan, a testy jednostkowe odgrywają jeszcze mniejszą rolę. Więcej informacji o tej strategii testowania znajdziesz w tym artykule o krabie testowym.

Te 2 strategie testowania są droższe, ale mają swoje zastosowanie, np. w mniejszych projektach, w których potrzebnych jest mniej testów lub trzeba uwzględnić mniejszą złożoność. W takim przypadku pełna strategia testowania skupiająca się na testach integracji może być zbyt skomplikowana.

Chociaż te 2 strategie testowania są bardziej kosztowne, mają swoje zastosowanie, na przykład w mniejszych projektach, które wymagają mniejszej liczby testów i nie muszą obejmować wielu złożonych kwestii. W takim przypadku strategia testowania na pełną skalę, która koncentruje się na testach integracji, może być niepotrzebnie skomplikowana.

Praktyczne porady: opracujmy strategię

Znasz już najczęstsze strategie testowania. Zaczęliśmy od klasycznej piramidy testów i poznaliśmy jej różne adaptacje. Teraz musisz ocenić je pod kątem swojego produktu i zdecydować, które z nich będzie najlepsze dla Twojego projektu. Odpowiedź na to pytanie powinna zaczynać się od ulubionego przez wszystkich „To zależy”. Nie oznacza to jednak, że jest mniej dokładny.

To zależy.

Wybór najbardziej odpowiedniej strategii testowania spośród opisanych (a nawet tych, które zostały pominięte) zależy od aplikacji. Powinien pasować do Twojej architektury, wymagań, a także użytkowników i ich wymagań. Wszystko to może się różnić w zależności od aplikacji. To zupełnie normalne. Pamiętaj, że najważniejszym celem jest dbanie o użytkowników, a nie o definicję z podręcznika.

Najczęściej testy w rzeczywistych warunkach trudno jest rozdzielić i zdefiniować indywidualnie. Nawet sam Martin Fowler podkreśla pozytywny aspekt różnych definicji, na przykład w przypadku testów jednostkowych. Jak słusznie zauważa Justin Searls w swoim tweecie:

[…] pisać ekspresyjne testy, które wyznaczają jasne granice, działają szybko i niezawodnie oraz nie powiodą się tylko z uzasadnionych powodów.

Justin Searls

Skup się na testach, które zgłaszają rzeczywiste błędy, na które mogą natrafić użytkownicy, i nie trać z oczu swojego celu. Testy powinny być zaprojektowane tak, aby przynosiły korzyści użytkownikowi, a nie tylko zapewniały 100-procentowe pokrycie lub służyły do dyskusji o tym, jaki procent którego typu testu należy napisać.

Skup się na testach, które zgłaszają rzeczywiste błędy, na które mogą natrafić użytkownicy, i nie trać z oczu celu. Testy powinny być zaprojektowane tak, aby przynosiły korzyści użytkownikowi, a nie tylko zapewniały 100-procentowe pokrycie lub wywoływały dyskusje na temat tego, jaki procent danego typu testów należy napisać.