Jumbo:チームが書いたことのないウルトラテスト
E2Eテストだけではありません。リリース候補に対して、ボット、カオス、エッジケースを1時間ぶつけます。何が壊れたかの短いレポートと、各バグの再現手順をお届けします。
時間とともに強化されます
- バグはすべてテストになります。実行でバグが見つかると、そのためのテストを保持します。以降のすべてのリリースで実行されるため、同じバグが静かに再発することはありません。
- 実行ごとに新しい経路を探索します。ボットは同じ操作を繰り返しません。各実行では、過去の実行では到達しなかったアプリの部分を探索します。
- 変更されたコードに焦点を当てます。今回のリリース候補で変更された箇所を、最も重点的に調べます。
実行の対象範囲
- ランダム探索ボット。ボットせっかちなユーザーのようにクリック、入力、移動を行い、クラッシュ、行き止まり、エラーを探します。
- 機能フラグの組み合わせ。2つのフラグが交わる箇所にバグが潜むため、さまざまな組み合わせでフラグをオンとオフに切り替えます。
- 旧版と新版の比較。前回のリリースとリリース候補を比較し、意図しない形で変わった箇所をすべて指摘します。
- ブラウザと画面サイズ。Chrome、Firefox、WebKitで、デスクトップとモバイルの各サイズを対象にします。
- 言語。翻訳の欠落、テキストの切れ、右から左へ書く言語のレイアウト、日付と通貨、タイムゾーンと夏時間の切り替えを確認します。
- サードパーティの障害模擬。Stripe、サインイン、メール、地図を意図的に遅延させたり、停止させたり、不正な応答を返させたりします。アプリがデータを失ったり、誰かに二重請求したりしてはなりません。
- データと金銭の安全性。二重クリック、複数タブ、再試行を検証し、どのユーザーも他のユーザーのデータを見ないことを確認します。
- アクセシビリティ、速度、セキュリティ。アクセシビリティのチェック、低速なスマートフォンや低速なネットワークでの性能、基本的なセキュリティ検査を行います。
- 実機(プレミアム)。同じチェックを実際のスマートフォンとタブレットで行います。
料金
Jumbo実行1回の料金は、前払いクレジットから$200で、完全なレポートが含まれます。無料の実行はありません。
| 実行 | 料金 |
|---|---|
| Jumboコア | 1回$200 |
| アドオン:言語 | 約+$100 |
| アドオン:障害模擬 | 約+$100 |
| アドオン:セキュリティ | 約+$100 |
| アドオン:実機 | 約+$100 |
| すべて実行(コアとすべてのアドオン) | 約$500 |
得意なことと、そうでないこと
Jumboは、クラッシュ、壊れたフロー、レイアウトの問題、そして障害発生時のアプリの振る舞いの検出に優れています。
お客様のビジネスルールを推測することはできません。割引が30%を超えてはならない場合や、返金が特定のポリシーに従う必要がある場合は、一度それを文書にまとめていただく必要があります。その後は、すべての実行でテストします。