金字塔還是螃蟹?找出合適的測試策略

瞭解如何將不同測試類型組合成適合專案的合理策略。

歡迎回來!上一篇文章奠定了許多基礎,說明如何處理不同的測試類型和其包含的內容,並釐清測試類型的定義。還記得這張迷因小圖嗎?您可能想知道,如何將學到的所有測試類型搭配使用。

有兩個抽屜的櫥櫃,可以同時打開。

接下來,您將瞭解如何做到這一點。本文將介紹如何將這些測試類型組合成合理的策略,並選擇符合專案需求的策略。

您可以將策略與多種形狀進行比較,進一步瞭解其含義。以下列出各項策略、規模和開發範圍。

應用程式大小 團隊組成 依賴手動測試 測試策略
小 僅限開發人員 高 測試冰淇淋甜筒
測試螃蟹
小 開發人員和品質確保工程師 高 測試冰淇淋甜筒
測試螃蟹
小 僅限開發人員 低 測試金字塔
大 僅限開發人員 高 測試獎盃
測試鑽石
大 開發人員和品質確保工程師 高 測試獎盃
測試螃蟹
大 僅限開發人員 低 測試獎盃
測試蜂巢

讓我們進一步瞭解這些策略,以及名稱背後的意義。

確定測試目標:您希望透過這些測試達成什麼目標?

在開始制定良好策略前,請先確定測試目標。您認為應用程式何時才算經過充分測試?

對開發人員來說,達到高測試涵蓋率通常是測試的終極目標。但這一定是最佳做法嗎?決定測試策略時,可能還需要考量另一個重要因素:滿足使用者需求。

身為開發人員,您也會使用許多其他應用程式和裝置。從這個角度來看,您是依賴所有這些系統「正常運作」的使用者。反過來說,您也依賴無數開發人員盡力讓他們的應用程式和裝置正常運作。身為開發人員,您也應努力不辜負這份信任。因此,您的首要目標應一律是推出可運作的軟體,並為使用者提供服務。這也包括您為確保應用程式品質而編寫的測試。Kent C. Dodds 在他的靜態測試、單元測試、整合測試和 E2E 測試對前端應用程式的比較文章中,對此做了很好的總結:

測試越貼近軟體的使用方式,就越能讓您放心。

by Kent C. Dodds

Kent 將其描述為「在測試中獲得信心」。選擇合適的測試類型,越貼近使用者,測試結果就越可靠。換句話說,金字塔層級越高,信心就越強。不過,什麼是金字塔?

決定測試策略:如何選擇測試策略

首先,請判斷需要檢查哪些規定,確保符合要求。瞭解應使用哪些測試類型,以及在何種詳細程度下,能以最有效率的成本結構獲得最可靠的結果。許多開發人員會使用類比來探討這個主題。以下是最常見的幾種,首先是眾所周知的經典款。

許多形狀,例如金字塔、菱形、冰淇淋甜筒、蜂巢和獎盃,代表測試策略。

經典:測試金字塔

開始尋找測試策略時,您可能會先看到測試自動化金字塔。Mike Cohn 在《Succeeding with Agile》一書中介紹了這個概念。Martin Fowler 隨後在實用測試金字塔一文中,進一步擴充了這個概念。金字塔的視覺化呈現方式如下:

測試金字塔。

如這張圖所示,測試金字塔包含三個層級:

  1. Unit。這類測試位於金字塔底層,因為執行速度快,且易於維護。這類測試會獨立執行,並以最小的測試單位為目標。舉例來說,請查看小型產品的典型單元測試。

  2. 整合。這類測試位於金字塔中間,因為執行速度可接受,但比單元測試更接近使用者。API 測試就是整合測試的一種。您也可以將元件測試歸類為這種類型。

  3. 端對端測試 (也稱為 UI 測試)。這些測試會模擬真實使用者和他們的互動。這類測試需要更多時間執行,因此費用較高。他們位於金字塔頂端。

信心與資源

如前所述,各層的順序並非巧合。其中顯示優先順序和對應的費用。這可讓您清楚瞭解應為每個層級編寫多少測試。您已在測試類型的定義中看過這項資訊。

由於 E2E 測試最貼近使用者,因此最能確保應用程式正常運作。不過,這類測試需要完整的應用程式堆疊和模擬使用者,因此可能也是成本最高的測試。因此,信心程度與執行測試所需的資源直接相關。

測試金字塔,箭頭顯示不同測試類型的可信度和所需資源方向。

金字塔模型試圖解決這個問題,讓您更專注於單元測試,並嚴格優先處理 E2E 測試涵蓋的案例。例如最重要的使用者歷程,或最容易出現瑕疵的部分。正如 Martin Fowler 強調,Cohn 金字塔中最重要的兩個重點如下:

  1. 編寫不同精細程度的測試。
  2. 層級越高,測試數量應越少。

Pyramid 升級了!測試金字塔的調整

多年來,討論都圍繞著金字塔。金字塔似乎過度簡化測試策略,忽略許多測試類型,不再適用於所有實際專案。因此可能具有誤導性。金字塔是否變形?Guillermo Rauch 對此有以下看法:

編寫測試。不會太多。主要是整合。

作者:Guillermo Rauch

這是這個主題最常被引用的名言之一,讓我們來分析一下:

  • 「Write tests」。這不僅能建立信任感,還能節省維護時間。
  • 「不會太多」。100% 的涵蓋率不一定是好事,因為這樣一來,測試就不會優先處理,而且會有很多維護工作。
  • 「Mostly integration」(主要為整合)。這裡再次強調整合測試:這類測試可提供每日高信賴水準,同時維持合理的執行時間,因此最具業務價值。

這會讓您重新思考測試金字塔,並將重點轉移至整合測試。過去幾年來,許多人提出了各種調整方法,以下介紹最常見的幾種。

測試鑽石

第一個調整是移除對單元測試的過度強調,如測試金字塔所示。假設單元測試的涵蓋率已達 100%,不過,下次重構時,您必須更新許多這類單元測試,而且可能會想略過這些測試。因此會受到侵蝕。

因此,再加上更著重整合測試,可能會出現以下形狀:

測試鑽石。

金字塔變成菱形。您可以看到前三個圖層,但大小不同,且單位圖層已剪裁:

  • Unit。按照先前定義的方式編寫單元測試。不過,由於這類測試容易失效,請優先處理並僅涵蓋最重要的案例。
  • 整合。您熟悉的整合測試,測試單一單元的組合。
  • E2E。這個層級會處理 UI 測試,與測試金字塔類似。請務必只針對最重要的測試案例編寫端對端測試。

測試蜂巢

Spotify 則採用另一種調整方式,與測試鑽石類似,但更專門用於微服務型軟體系統。測試蜂巢是另一種視覺類比,用於說明微服務型軟體系統的測試精細程度、範圍和數量。由於微服務的規模較小,因此最複雜的部分不在於服務本身,而是與其他服務互動的方式。因此,微服務的測試策略應著重於整合測試。

測試蜂巢。

這個形狀讓人聯想到蜂巢,因此得名。其中包含下列層:

  • 整合測試。Spotify 的文章引用了 J. B. Rainsberger 的定義:「根據另一個系統的正確性,決定通過或失敗的測試。」這類測試有您需要考量的外部依附元件,相反地,您的系統也可能是會破壞其他系統的依附元件。與其他類似的端對端測試一樣,請謹慎使用這些測試,僅用於最重要的案例。
  • 整合測試。與其他改編作品一樣,你應該著重於這個層面。其中包含的測試會以更獨立的方式驗證服務正確性,但仍會與其他服務結合。也就是說,測試也會包含其他系統,並著重於互動點,例如透過 API 測試。
  • 導入詳細資料測試。這類測試類似單元測試,著重於自然隔離的程式碼部分,因此有其內部的複雜性。

如要進一步瞭解這項測試策略,請參閱 Martin Fowler 比較測試金字塔和蜂巢的貼文,以及 Spotify 的原始文章。

測試獎盃

您可以看到整合測試一再出現。不過,您在上一篇文章中看到的另一種類型,在理論上並非測試,但仍是測試策略中應考量的重要面向。測試金字塔和目前為止看到的大多數調整項目中,都缺少靜態分析。測試獎盃模型則將靜態分析納入考量,同時仍著重於整合測試。測試獎盃源自 Guillermo Rauch 先前的名言,並由 Kent C. Dodds:

測試獎盃。

測試獎盃是另一種比喻,以略微不同的方式呈現測試的精細程度。這個網路有四層:

  • 靜態分析:在這個比喻中,它扮演著至關重要的角色,只要執行已列出的偵錯步驟,就能找出錯字、樣式錯誤和其他錯誤。
  • 單元測試。這類測試可確保最小的單元經過適當測試,但測試獎盃不會像測試金字塔那樣強調這類測試。
  • 整合。這是主要重點,因為它能以最佳方式平衡成本和更高的信心,就像其他調整一樣。
  • UI 測試。包括端對端和視覺測試,位於測試獎盃的頂端,類似於測試金字塔中的角色。

如要進一步瞭解測試獎盃,請參閱 Kent C. 的網誌文章。Dodds 的文章。

一些更著重於 UI 的方法

這一切都很好,但無論你如何稱呼你的策略,「金字塔」、「蜂巢」或「鑽石」,仍然缺少了一些東西。雖然自動化測試很有價值,但請務必記住,手動測試仍不可或缺。自動化測試應能減輕例行工作的負擔,讓品質查驗工程師專注於重要領域。自動化測試應與手動測試相輔相成,而非取而代之。如何整合手動和自動測試,達到最佳效果?

測試冰淇淋甜筒和測試螃蟹

測試金字塔確實有兩種改編版本,更著重於這些以 UI 為主的測試方式。兩者的優點是信賴度高,但由於測試執行速度較慢,成本自然較高。

第一個是測試冰錐,看起來像倒過來的金字塔。如果沒有手動測試步驟,則稱為測試披薩。

測試冰淇淋甜筒。

冰淇淋甜筒模型更著重於手動或 UI 測試,最不重視單元測試。如果開發人員在開始專案時,對測試策略只有一些想法,就容易出現這種情況。冰程式碼被視為反模式,而且理所當然。在資源和手動工作方面,成本高昂。

測試螃蟹與測試冰淇淋甜筒類似,但更著重於端對端和視覺測試:

測試螃蟹。

這項測試策略還包含另一個層面:驗證應用程式的功能和外觀是否良好。測試螃蟹強調視覺測試的重要性,如上一篇文章所述。整合測試分為元件和 API 測試,重要性進一步降低,而單元測試的重要性則更低。如要進一步瞭解這項測試策略,請參閱這篇關於測試蟹的文章。

雖然成本較高,但這兩種測試策略仍有其用處:例如,在需要較少測試的小型專案中,或需要涵蓋較少複雜度的專案中。在這種情況下,如果採用著重於整合測試的完整測試策略,可能就過於複雜。

雖然這兩種測試策略的成本較高,但仍有其用處,例如在需要較少測試且不需要涵蓋大量複雜性的小型專案中。在這種情況下,如果測試策略著重於整合測試,可能會過於複雜。

實用建議:擬定策略!

您現在已瞭解最常見的測試策略。您從經典的測試金字塔開始,瞭解了它的多種變化。現在,您需要評估這些模型是否適合您的產品,並決定哪一個最適合您的專案。這個問題的答案,首先要從大家最常聽到的「視情況而定」說起。不過,這並不影響準確度。

不一定。

從上述策略 (甚至未提及的策略) 中選擇最合適的測試策略,取決於您的應用程式。應符合您的架構、需求,以及使用者和他們的需求。這些設定可能因應用程式而異。這是完全正常的。請記住,最重要的目標是服務使用者,而非遵循教科書定義。

在大多數情況下,實際測試很難區分和個別定義。就連 Martin Fowler 本人也強調不同定義的正面意義,例如單元測試。Justin Searls 在他的推文中正確指出:

[…] 撰寫能清楚界定範圍、快速可靠地執行,且只在有意義的情況下失敗的測試。

by Justin Searls

請著重於測試使用者可能遇到的實際錯誤,不要偏離目標。測試應以使用者為考量,而非只追求 100% 涵蓋率,或爭論各測試類型的比例。

請著重於測試使用者可能遇到的實際錯誤,不要偏離目標。測試應以使用者為考量,而非只追求 100% 涵蓋率,或爭論特定測試類型的比例。