ACT ACT Party

English · 한국어 · 日本語 · 简体中文 · 繁體中文

Android 封閉測試,用數據說話

1,862 次測試 · 8,054 筆每日紀錄(2026 年 8 月 16 日 – 9 月 10 日)

說明封閉測試怎麼做的文章很多,但幾乎沒有人寫 真正湊齊 12 位測試者、跑滿 14 天之後會發生什麼。我們營運一個開發者互相 測試彼此應用的服務,數據就在這裡,原樣公開。

統計範圍 — 2026 年 8 月 16 日至 9 月 10 日 · 開發者 144 人 · 應用 115 個 · 測試參與 1,862 次 · 每日紀錄 8,054 筆

1. 每四個人只有一個跑滿 14 天

只統計確實已經過了 14 天的 116 次。還在第 5 天的不能算放棄。

招到 12 人不等於 12 人跑到最後。要留出餘量。

2. 但人們不會在前期放棄

我們統計了 78 次流失分別停在第幾天。原以為會集中在前三天,結果正相反。

三分之二的流失發生在最後四天。這些人不是失去興趣,而是連續打開十幾天後 漏掉了一天 —— 忙、換手機、關了通知。

所以第 12、13 天的一次提醒,勝過前期十次說明。詳見 測試者中途退出的原因

3.「裝不上」有 83% 不是連結的問題

測試者提交了 105 次「連結打不開」的回報。每一次我們都會自動檢查:最近 7 天內是否有別人成功進入同一個應用。

105 次裡有 87 次,別人都進得去。連結是好的,只有那個人進不去。原因幾乎 都是下面三種。

① 沒有開放該國家 — 61 次

最常見。如果封閉測試的國家範圍很窄,其他國家的測試者在商店裡根本看不到應用, 只會看到此應用在您所在的國家/地區無法使用。回報來自這些國家:

GB 13 · KR 12 · IN 6 · BR 6 · SE 6 · JP 5 · FR 4 · US 4

招募之前先把國家開放。Play Console → 封閉測試 → 國家/地區。詳見 國家限制導致無法安裝時

② 登入帳號不是 Play 商店帳號

加入群組和加入測試,都必須用手機 Play 商店目前登入的那個 Google 帳號。 有多個帳號的人就卡在這裡。

向測試者要信箱時,問的應該是「你手機 Play 商店登入的帳號」,而不是 「你的信箱」。

③ 沒加入群組就先點了測試連結

用 Google 群組管理測試者時有順序:加入群組 → 加入測試 → 安裝。先點測試 連結會顯示您無法加入此計畫,而那個頁面並不會提示「請先加入群組」, 測試者便以為連結壞了。見連接 Google 群組

4. 生效需要時間

加入測試之後商店不會立刻出現該應用,大約需要 30 分鐘。不知道這一點的人會直接 關掉頁面。請提前告訴他們。

招募前的檢查清單

  1. 封閉測試是否開放所有國家
  2. 是否明確按「Play 商店帳號」索取信箱
  3. 用群組的話,是否說明加入群組 → 加入測試 → 安裝的順序
  4. 是否提前告知約 30 分鐘的延遲
  5. 是否招募了多於 12 人(完成率 27.6%)
  6. 是否準備了第 12–13 天的提醒

常見問題

測試者必須每天打開應用嗎?
Google 看的是加入測試的狀態是否持續了 14 天。每天打開並不是 Google 的要求。不過如果有測試者一次都沒打開,在正式版申請問卷裡會比較難解釋。
12 人裡有一個退出,要從頭再來嗎?
不用。其餘測試者已累積的時間照常保留,只有新加入的人需要自己跑滿 14 天。
測試者說找不到應用,但連結在我這裡是好的。
我們統計的 105 次裡有 87 次就是這種情況。按常見程度排序:國家未開放、登入帳號與 Play 商店帳號不一致、沒有加入群組。先查國家。
要招多少測試者才保險?
我們的數據裡完成率是 27.6%。如果需要 12 人,請留出餘量,並在第 12 或 13 天發一次提醒。
這些數據來自 ACT Party —— 開發者之間互相進行封閉測試的服務,是否打開過應用由 Android 使用情況自動記錄。查看看板 · 取得應用