Maroš Kutschy 在 QA Challenge Accepted 大會上表示，自動化測試結果的分析是測試活動的一個非常重要且具有挑戰性的部分。在任何時刻，我們都應該能夠根據自動化測試的結果來判斷產品的狀態。他介紹了人工智慧如何幫助他們節省分析時間、減少人為錯誤，使團隊能夠專注於新出現的失敗的測試。
Kutschy 提到，他們在分析自動化測試結果時遇到了挑戰，正在尋找一種更高效且更少出錯的分析方法：
如果你每晚執行 4000 多個測試，其中約 5% 的測試失敗，那麼你每天需要分析大約 200 個失敗的測試。
他們引入了 ReportPortal 這個工具，它使用人工智慧來分析自動化測試結果。正如 Kutschy 所說的，這個工具可以作為企業內部解決方案進行免費安裝：
作為這個工具的管理員，我完成了概念驗證和整合，並解決了所有問題。現在，功能團隊的測試人員每天都在使用它。
Kutschy 說，測試人員登入 ReportPortal 找到他們負責的作業的執行結果，並檢視有多少失敗處於“待調查”狀態。前一天的失敗測試（之前已經分析過）已被 ReportPortal 分類。對於“待調查”狀態的失敗測試，他們需要執行標準的分析流程，即除錯並找出失敗的根本原因：
ReportPortal 會顯示分析結果；你可以看到有多少測試是因產品缺陷、自動化缺陷、環境問題導致的，以及還有多少失敗的測試處於“待調查”狀態。
Kutschy 說，當你剛開始使用這個工具時，它對失敗的測試一無所知。測試人員需要決定測試失敗是產品缺陷、自動化缺陷還是環境問題導致的。當下一次相同的測試再次失敗時，工具會根據之前的判斷，利用人工智慧為失敗分配正確的狀態。
Kutschy 提到，儀表盤透過展示分析結果提供了測試和應用程式狀態的概覽檢視。即時可見的分析狀態讓你可以看到誰正在處理哪個失敗的測試，這有助於決定是否可以釋出應用程式。
使用這個工具可以節省分析時間，因為它們只關注新失敗的測試，而不是所有失敗的測試，正如 Kutschy 所說的：
區別在於，如果你今天有 100 個失敗的測試，其中只有 2 個是新出現的，你只需要檢視這 2 個。如果你不使用這個工具，就需要檢視 100 個。
由於工具會根據之前的決策對舊的失敗測試進行分類，因此減少了人為錯誤。這有助於將注意力集中在新出現的失敗測試上，Kutschy 說。
如果人類用錯誤的資料訓練人工智慧，人工智慧也會做出錯誤的決定，Kutschy 說。如果你是一個糟糕的老師，你的學生（ReportPortal）也會表現不佳：
有時，一個同事會將失敗的測試連結到錯誤的 Jira 任務，或者為失敗的測試分配錯誤的狀態。
你可以透過手動修改來“取消學習”，Kutschy 說。
如果正確使用人工智慧，它可以為你節省大量時間並減少人為錯誤，Kutschy 說。在確認它可以正常執行之後，你就可以信賴它，不再需要你們手動對失敗的測試進行分類。
InfoQ 採訪了 Maroš Kutschy，瞭解他如何使用人工智慧進行自動化測試分析。
Maroš Kutschy：我們首先進行概念驗證，確認我們可以將該工具整合到我們的測試自動化框架中。
接下來，我們讓同事們遵循使用 ReportPortal 來分析測試結果的流程。最初，他們需要對所有的失敗測試進行分類，即為它們分配正確的狀態（自動化問題、產品缺陷、環境問題）和 Jira 任務。
我們先是在指定的團隊中進行了測試，然後讓所有團隊都開始使用。試用的反饋非常積極，測試人員覺得它很有用，因為它幫助他們簡化了分析工作。
Kutschy：在開始使用人工智慧工具之前，你必須確認其可靠性。
我們必須確保 ReportPortal 做出了正確的決定。這個決定取決於我們在測試自動化框架中如何處理堆疊跟蹤資訊和 ReportPortal 的配置。如果它沒有按預期工作，我們就嘗試調整 ReportPortal 的設定。
目前的大多數討論都是關於如何使用人工智慧來生成測試自動化程式碼，但我們發現，自動化測試結果分析也是一個非常適用人工智慧的領域。我們可以在測試的許多場景中使用人工智慧（包括生成式人工智慧）。
檢視英文原文：
https://www.infoq.com/news/2025/03/AI-analysis-automated-test/
宣告：本文由 InfoQ 翻譯，未經許可禁止轉載。