Tokopedia 如何運用機器學習技術改善賣家網頁應用程式,進而降低營運成本

Dendi Sunardi
Dendi Sunardi
Geoffrey Prasetyo
Geoffrey Prasetyo
Swetha Gopalakrishnan
Swetha Gopalakrishnan

Tokopedia 是印尼科技公司,擁有最大的電子商務市集之一,平台上託管超過 40 項數位產品,並有超過 1, 400 萬名註冊賣家。

Mitra Tokopedia 是 Tokopedia 的業務垂直領域之一,這款網頁應用程式可協助小型業主銷售數位產品,例如點數和遊戲優待券、數據方案、電力代幣、國家醫療保健帳單等。該網站是 Mitra Tokopedia 賣家的主要管道之一,服務範圍涵蓋 700 多個城市,因此確保流暢的使用者體驗至關重要。

新手上路流程中的重要步驟,是要求這些賣家驗證身分。賣家必須上傳國民身分證,以及手持身分證的自拍照,才能完成賣家驗證。這項程序稱為「客戶身分驗證」(KYC)。

Mitra Tokopedia 在網頁應用程式中,將機器學習功能加入這項重要的 KYC 程序,成功提升使用者體驗,驗證失敗率降低超過 20%。此外,他們也減少了近 70% 的手動核准作業,進而節省營運成本。

挑戰

大部分的 KYC 資料都遭到拒絕,導致營運團隊每週收到數千張要求手動驗證的票證。這不僅導致營運成本高昂,也造成賣家驗證程序延遲,使用者體驗不佳。遭拒的主要原因,是賣家未正確上傳手持身分證件的自拍照。Mitra Tokopedia 渴望使用現代化網頁功能,以可擴充的方式解決這個問題。

解決方案

Tokopedia 團隊決定在 KYC 流程的第一步 (使用者上傳圖片時),使用 TensorFlow.js 搭配機器學習技術解決這個問題。他們使用 MediaPipe 和 TensorFlow 的臉部偵測程式庫,在賣家上傳身分證和自拍照時,透過六個關鍵點偵測賣家的臉部。接著,系統會根據驗收條件檢查模型輸出內容。驗證成功後,資訊會傳送至後端。如果驗證失敗,賣家會收到錯誤訊息,並可選擇重試。我們採用混合式做法,模型會根據手機規格,在裝置端或伺服器端執行推論。低階裝置則會在伺服器上執行推論。

在 KYC 程序初期使用機器學習模型,可帶來以下好處:

  • 提高 KYC 程序中的拒絕率。
  • 根據模型評估的品質,警告使用者圖片可能遭拒。

為什麼要選擇機器學習,而非其他解決方案?

機器學習可自動處理重複性工作,否則手動處理會耗費大量時間或不切實際。以 Tokopedia 為例,最佳化目前的非機器學習解決方案無法產生顯著結果,而機器學習解決方案則可大幅減輕營運團隊的負擔,因為他們每週必須手動處理數千個核准。有了機器學習解決方案,幾乎可以立即完成圖片檢查,提供更優質的使用者體驗,並提升作業效率。進一步瞭解問題架構,判斷機器學習是否適合解決您的問題。

選擇模型時的注意事項

選擇機器學習模型時,應考量下列因素。

費用

他們評估了使用模型的整體成本,TensorFlow.js 是由 Google 妥善維護的開放原始碼套件,因此我們能節省授權和維護費用。另一個考量因素是推論成本。與在伺服器端使用昂貴的 GPU 處理資料相比,在用戶端執行推論可節省大量成本,尤其是當資料無效且無法使用時。

擴充性

他們考量了模型和技術的擴充性。隨著專案演進,它能否處理資料和模型複雜度的成長?是否可以擴充,以因應其他專案或用途?裝置端處理功能可將模型託管在 CDN 並傳送至用戶端,因此非常容易擴充。

效能

他們考量了程式庫的大小 (以 KB 為單位) 和執行階段程序的延遲時間。Mitra Tokopedia 的使用者族群大多使用中低階裝置,網路速度和連線能力一般。因此,下載和執行階段的效能 (即模型產生輸出的速度) 是首要考量,以滿足特定需求並確保良好的使用者體驗。

其他注意事項

法規遵循:他們必須確保所選程式庫符合相關資料保護和隱私權法規。

技能組合:評估團隊的專業知識和技能組合。部分機器學習架構和程式庫可能需要特定程式設計語言或特定領域的專業知識。考量這些因素後,他們做出明智的決定,為機器學習專案選擇合適的模型。

選擇的技術

考量這些因素後,TensorFlow.js 符合他們的需求。它能使用 WebGL 後端,完全在裝置端執行,以使用裝置的 GPU。在裝置端執行模型可縮短伺服器延遲時間,因此能更快向使用者提供意見回饋,並降低伺服器運算成本。如要進一步瞭解裝置端機器學習,請參閱「裝置端機器學習的優點和限制」一文。

「TensorFlow.js 是 Google 專為 JavaScript 開發人員打造的開放原始碼機器學習程式庫,可在瀏覽器中執行用戶端。TensorFlow.js 是最成熟的網頁 AI 選項,提供完整的 WebGL、WebAssembly 和 WebGPU 後端運算子支援,可在瀏覽器中快速執行。」- Adobe 如何運用 TensorFlow.js 搭配網頁機器學習技術,強化 Photoshop 網頁版

技術導入

Mitra Tokopedia 使用 MediaPipe 和 TensorFlow 的臉部偵測程式庫,這個套件提供用於執行即時臉部偵測的模型。具體來說,本解決方案使用這個程式庫提供的 MediaPipeFaceDetector-TFJS 模型,該模型會實作 tfjs 執行階段。

在開始實作之前,先簡要回顧一下 MediaPipe。MediaPipe 可讓您在行動裝置 (Android、iOS)、網頁、電腦、邊緣裝置和 IoT 上建構及部署裝置端機器學習解決方案。

撰寫本文時,MediaPipe 提供 14 種不同的解決方案。您可以使用 mediapipe 或 tfjs 執行階段。tfjs 執行階段是以 JavaScript 建構,並提供可由網頁應用程式從外部下載的 JavaScript 套件。這與 mediapipe 執行階段不同,後者是以 C++ 建構,並編譯為 WebAssembly 模組。主要差異在於效能、偵錯能力和套裝組合。JavaScript 套件可與 webpack 等傳統套件組合器搭配使用。相較之下,Wasm 模組是較大且獨立的二進位資源 (由於不是載入時依附元件,因此可減輕影響),且需要不同的 Wasm 偵錯工作流程。不過,這項作業的執行速度較快,有助於滿足技術和效能需求。

以 FaceDetection 為例,說明 MediaPipe 和 TensorFlow 模型如何適用於不同執行階段的圖表。
以 FaceDetection 為例,說明 MediaPipe 和 TensorFlow 模型在不同執行階段的運作方式

回到 Tokopedia 的實作,第一步是初始化模型,如下所示。使用者上傳相片時,系統會將 HTMLImageElement 做為輸入內容傳遞至偵測工具。

// Create the detector.
const model = faceDetection.SupportedModels.MediaPipeFaceDetector;
const detectorConfig = {
  runtime: 'tfjs'
};

const detector = await faceDetection.createDetector(model, detectorConfig);

// Run inference to start detecting faces.
const estimationConfig = {flipHorizontal: false};
const faces = await detector.estimateFaces(image, estimationConfig);

臉部清單結果包含圖片中偵測到的每張臉孔。如果模型未偵測到任何臉孔,清單就會是空的。每個臉部都包含偵測到的臉部定界框,以及偵測到的臉部六個關鍵點陣列。包括眼睛、鼻子和嘴巴等。每個關鍵點都包含 x 和 y,以及名稱。

[
  {
    box: {
      xMin: 304.6476503248806,
      xMax: 502.5079975897382,
      yMin: 102.16298762367356,
      yMax: 349.035215984403,
      width: 197.86034726485758,
      height: 246.87222836072945
    },
    keypoints: [
      {x: 446.544237446397, y: 256.8054528661723, name: "rightEye"},
      {x: 406.53152857172876, y: 255.8, "leftEye },
      ...
    ],
  }
]

box 代表圖片像素空間中臉部的定界框,其中 xMin、xMax 代表 x 邊界,yMin、yMax 代表 y 邊界,width、height 則是定界框的尺寸。對於 keypoints,x 和 y 代表圖片像素空間中的實際關鍵點位置。name 會提供關鍵點的標籤,分別為 'rightEye'、'leftEye'、'noseTip'、'mouthCenter'、'rightEarTragion' 和 'leftEarTragion'。如本文開頭所述,賣家必須上傳國民身分證和手持身分證的自拍照,才能完成賣家驗證。接著,系統會根據接受條件檢查模型輸出內容,也就是說,必須符合上述六個關鍵點,才能視為有效的身分證件和自拍照。

驗證成功後,相關賣家資訊會傳送至後端。如果驗證失敗,賣家會收到失敗訊息,並可選擇重試。不會將任何資訊傳送至後端。

Mitra KYC 頁面、TensorFlow.js 模型和伺服器彼此互動的圖表。
Mitra KYC 頁面、TensorFlow.js 模型和伺服器如何互動

低階裝置的效能考量

這個套件只有 24.8 KB (經過壓縮和 gzip 壓縮),不會大幅影響下載時間。不過,如果是非常低階的裝置,執行階段處理作業會耗費很長的時間。我們新增了額外邏輯,先檢查裝置 RAM 和 CPU,再將兩張圖片傳送至機器學習臉部偵測模型。

如果裝置的 RAM 超過 4 GB、網路連線速度高於 4G,且 CPU 核心數超過 6 個,系統會將圖片傳送至裝置端模型進行臉部驗證。如果不符合這些需求條件,系統會略過裝置端模型,並使用混合方法將圖片直接傳送至伺服器進行驗證,以因應這些舊裝置。隨著硬體持續演進,未來會有更多裝置能從伺服器卸載運算作業。

影響

Tokopedia 整合機器學習技術後,成功解決高拒絕率的問題,並獲得下列成果:

  • 拒絕率降低超過 20%。
  • 人工核准次數減少近 70%。

這不僅為賣家帶來更流暢的使用者體驗,也降低了 Tokopedia 團隊的營運成本。

結論

整體而言,這項個案研究的結果顯示,在適當的使用案例中,網頁上的裝置端機器學習解決方案有助於改善使用者體驗和功能成效,並節省成本及創造其他業務效益。

歡迎使用 MediaPipe Studio 和 MediaPipe 臉部偵測工具網頁版程式碼範例,親自試用 MediaPipe 臉部偵測功能。

如果您想透過裝置端機器學習技術擴充網頁應用程式的功能,請參閱下列資源: