VTS 儀表板 UI

VTS 儀表板提供了一個緊密結合的使用者介面,該介面使用材料設計來有效顯示有關測試結果、分析和覆蓋範圍的資訊。儀表板樣式使用開源 Javascript 函式庫(包括 Materialise CSS 和 jQueryUI)來處理 Google App Engine 中 Java servlet 提供的資料。

儀表板首頁

儀表板主頁顯示使用者已新增至收藏夾的測試套件清單。

圖 1.VTS儀表板、首頁。

從此列表中,使用者可以:

  • 選擇一個測試套件以查看該套件的結果。
  • 按一下「顯示全部」以查看所有 VTS 測試名稱。
  • 選擇編輯圖示以修改收藏清單。
    圖 2.VTS儀表板,編輯收藏頁面。

檢測結果

測試結果顯示有關​​所選測試套件的最新信息,包括分析點列表、按時間順序排列的測試用例結果表以及顯示最新運行結果細分的餅圖(用戶可以通過向右分頁加載舊數據) ) 。

圖 3.VTS儀表板,測試結果。

使用者可以使用查詢或修改測試類型(提交前、提交後或兩者)來過濾資料。搜尋查詢支援通用標記和特定於欄位的限定符;支援的搜尋欄位包括:設備建置 ID、分支、目標名稱、設備名稱和測試建置 ID。這些以以下格式指定: FIELD-ID =“ SEARCH QUERY ”。引號用於將多個單字視為單一標記,以與列中的資料相符。

數據分析

使用者可以選擇一個分析點,以折線圖直方圖的形式取得該點定量資料的互動式視圖(範例如下)。預設情況下,視圖顯示最新資訊;使用者可以使用日期選擇器載入特定的時間視窗。

圖 4.VTS儀表板,折線圖效能。

折線圖顯示來自無序效能值集合的數據,當效能測試產生隨另一個變數(例如,吞吐量與訊息大小)的函數而變化的效能值向量時,折線圖非常有用。

圖 5.VTS儀表板,直方圖效能。

測試覆蓋率

使用者可以從測試結果中的覆蓋率百分比連結查看覆蓋率資訊。

圖 6.VTS儀表板,覆蓋率百分比。

對於每個測試案例和原始文件,使用者可以根據所選測試提供的覆蓋範圍查看包含顏色編碼原始程式碼的可擴展元素:

圖 7.VTS儀表板,覆蓋原始碼。
  • 未覆蓋的線以紅色突出顯示。
  • 覆蓋的線以綠色突出顯示。
  • 不可執行的行是未著色的

覆蓋範圍資訊根據運行時提供的方式分組。測試可能會上傳覆蓋範圍:

  • 每個函數。節標題的格式為「Coverage: FUNCTION-NAME 」。
  • 總計(在測試運行結束時提供)。僅存在一個標頭:「覆蓋範圍:全部」。

儀表板從伺服器取得客戶端原始碼,該伺服器使用開源Gerrit REST API

監控和測試

VTS 儀表板提供以下監視器和單元測試。

  • 測試電子郵件警報。警報在 Cron 作業中配置,該作業以兩 (2) 分鐘的固定間隔執行。此作業讀取 VTS 狀態表以決定是否已將新資料上傳至每個表,方法是檢查測驗的原始資料上傳時間戳記是否比上次狀態更新時間戳記新。如果上傳時間戳較新,作業會查詢從現在到上次原始資料上傳之間的新資料。確定新的測試案例失敗、持續的測試案例失敗、暫時的測試案例失敗、測試案例修復、非活動測試;然後,該資訊以電子郵件格式發送給每個測試的訂閱者。
  • Web 服務健康。 Google Stackdriver 與 Google App Engine 集成,可輕鬆監控 VTS 儀表板。簡單的正常運行時間檢查驗證頁面是否可以訪問,同時可以建立其他測試來驗證每個頁面、servlet 或資料庫上的延遲。這些檢查確保儀表板始終可存取(否則將通知管理員)。
  • 分析。您可以透過在頁面設定(pom.xml 檔案)中指定有效的 Analytics ID,將 VTS 控制面板頁面與 Google Cloud Analytics 整合。整合提供了對頁面使用情況、使用者互動、位置、會話統計等更強大的分析。