コンテンツへスキップ

Jumbo:チームが書いたことのないウルトラテスト

E2Eテストだけではありません。リリース候補に対して、ボット、カオス、エッジケースを1時間ぶつけます。何が壊れたかの短いレポートと、各バグの再現手順をお届けします。

Jumbo実行をリクエスト

時間とともに強化されます

  • バグはすべてテストになります。実行でバグが見つかると、そのためのテストを保持します。以降のすべてのリリースで実行されるため、同じバグが静かに再発することはありません。
  • 実行ごとに新しい経路を探索します。ボットは同じ操作を繰り返しません。各実行では、過去の実行では到達しなかったアプリの部分を探索します。
  • 変更されたコードに焦点を当てます。今回のリリース候補で変更された箇所を、最も重点的に調べます。

実行の対象範囲

  • ランダム探索ボット。ボットせっかちなユーザーのようにクリック、入力、移動を行い、クラッシュ、行き止まり、エラーを探します。
  • 機能フラグの組み合わせ。2つのフラグが交わる箇所にバグが潜むため、さまざまな組み合わせでフラグをオンとオフに切り替えます。
  • 旧版と新版の比較。前回のリリースとリリース候補を比較し、意図しない形で変わった箇所をすべて指摘します。
  • ブラウザと画面サイズ。Chrome、Firefox、WebKitで、デスクトップとモバイルの各サイズを対象にします。
  • 言語。翻訳の欠落、テキストの切れ、右から左へ書く言語のレイアウト、日付と通貨、タイムゾーンと夏時間の切り替えを確認します。
  • サードパーティの障害模擬。Stripe、サインイン、メール、地図を意図的に遅延させたり、停止させたり、不正な応答を返させたりします。アプリがデータを失ったり、誰かに二重請求したりしてはなりません。
  • データと金銭の安全性。二重クリック、複数タブ、再試行を検証し、どのユーザーも他のユーザーのデータを見ないことを確認します。
  • アクセシビリティ、速度、セキュリティ。アクセシビリティのチェック、低速なスマートフォンや低速なネットワークでの性能、基本的なセキュリティ検査を行います。
  • 実機(プレミアム)。同じチェックを実際のスマートフォンとタブレットで行います。

料金

Jumbo実行1回の料金は、前払いクレジットから$200で、完全なレポートが含まれます。無料の実行はありません。

実行料金
Jumboコア1回$200
アドオン:言語約+$100
アドオン:障害模擬約+$100
アドオン:セキュリティ約+$100
アドオン:実機約+$100
すべて実行(コアとすべてのアドオン)約$500

得意なことと、そうでないこと

Jumboは、クラッシュ、壊れたフロー、レイアウトの問題、そして障害発生時のアプリの振る舞いの検出に優れています。

お客様のビジネスルールを推測することはできません。割引が30%を超えてはならない場合や、返金が特定のポリシーに従う必要がある場合は、一度それを文書にまとめていただく必要があります。その後は、すべての実行でテストします。

Jumbo実行をリクエスト