パート3:テスター4.0でのスクリプト実行
A. モバイル用のテストスクリプト実行
II. スクリプト実行・テスト結果確認
1. 今すぐ実行
手順1:「今すぐテストスクリプト実行」ボタンをクリックすると、「テストスクリプト実行」ポップアップが表示されます。
手順3:同じポップアップで表示されるAndroidテストスクリプト一覧から実行したいテストスクリプトを1件以上選択し、「次へ」ボタンをクリックします。
その後、iOSのデバイス、テストスクリプトを手順2、3と同じように選択できます。
手順4:テスト言語を選択します。
- ジョブ名を入力し、テスト言語を選択します。
- 「今すぐテストスクリプト実行」をクリックします。
手順5:実行中テストスクリプトを確認します(手順2で選択したデバイス名と数が表示されます。デバイス名の横にある「表示」ボタンをクリックすると、該当デバイスのストリーミング画面を表示できます)。
手順6:テストスクリプトが実行された後、テストレポートが「プロジェクト詳細」画面に表示されます。詳細を確認するには、一覧から各テストレポートをクリックしてください。
2. スケジュールによるテストスクリプト実行
手順1: 「スケジュールジョブ追加」ボタンをクリックします。
➩ 「今すぐ実行」機能と同様に、デバイス及びテストスクリプトを選択するポップアップが表示されます。
手順2:テストスクリプトを自動的に実行するスケジュール(時刻、曜日)を設定します。
- ジョブ名を入力します。
- テスト言語を選択します。
- テストスクリプト実行時間設定(時刻と曜日を含む)
- 「テストスケジュール追加」ボタンをクリックします。
➩ スケジュール追加後、設定した時間になったら、指定されたテストスクリプトが自動的に実行され、そのテストレポートも保存されます。
3. テスト結果確認
テストスクリプトが実行された後、テストレポートが「プロジェクト詳細」画面に表示されます。
詳細を確認するには、一覧から各テストレポートをクリックしてください。
結果には、合格と不合格の2種類があります。
- 合格:スクリプトは機能し、スクリプトエラーが発生せず、テストスクリプトは期待どおりの結果を返しました。
不合格:スクリプトエラーまたは入力エラーが発生しテスター4.0から結果が取得できませんでした。または、スクリプトエラーはありませんが、テスター4.0は期待とは異なる結果を返しました。結果が不合格の場合、システムはエラーの詳細とエラー手順を表示します。
ユーザーがAIを使用してテストスクリプトで期待結果を確認する場合、警告結果が追加で得られます。スクリプトは機能し、スクリプトエラーがなく、AIは結果を返します(入力エラーは返しません)が、AIの結果は何かが間違っているということです。具体的には、エレメントの画像比較関数はFALSEを返します。結果が警告の場合、ユーザーは結果を確認する必要があります。
AIは2枚のスクリーンショットを比較する時に、2枚の画像の同様比率を示し、値は0~100%になります。
テスター4.0では、しきい値レベルを定義して、このレベルを下回っている場合に問題と見なされるようにします。例えば、しきい値の設定が95%の場合、次のようになります。
- A.I が95%より似ている2枚の画像を返す場合、問題はありません。
- A.I が95%以下似ている2枚の画像を返す場合、問題があるという警告と見なされます。
現時点では、しきい値の設定は95%です。
結果が警告の場合、ユーザーは以下の手順で確認する必要があります。
手順1: アイコン をクリックし、ドロップダウンリストを表示させます。
手順2:ユーザーがOKと確認したい場合は、「確認OK」ボタンをクリックします。確認ポップアップが表示されます。ユーザーは理由を記入して「確認」ボタンをクリックします。テストスクリプトの結果が警告から合格に変わります.
手順3:ユーザーがNGと確認したい場合は、「確認NG」ボタンをクリックします。確認ポップアップが表示されます。ユーザーは理由を記入して「確認」ボタンをクリックします。テストスクリプトの結果が警告から不合格に変更します。
4. クイックレビュー
クイックレビュー機能は、ユーザーが不合格・警告の結果を含むテストスクリプトをすばやく閲覧するのに役立ちます。
テストスクリプトが実行された後、テストレポートが「プロジェクト詳細」画面に表示されます。
詳細を確認するには、一覧から各テストレポートをクリックしてください。ジョブのレポートが表示されます。テスト結果をすばやく確認したい場合は、「詳細ビュー」ボタンをクリックしてください。
詳細表示モードを選択した後、不合格または警告の結果があるテストスクリプトには、エラーの手順とAIビジュアルチェック機能を使用した手順が表示されます。
画像を全画面表示するには、「ラージビュー 」ボタンをクリックしてください。
警告結果のあるテストスクリプトには、ユーザーは「OK」または「NG」ボタンをクリックすることで、クイックビュー画面でテスト結果をすばやく確認できます。
ユーザーは「一覧表示」ボタンをクリックすると、テストレポートを一覧の形式で確認できます。
5. エビデンスダウンロード
テストレポートの詳細画面で、「エビデンスダウンロード」ボタンをクリックします。その後、「エビデンスダウンロード」ボタンをクリックします。その時、プロセスが完了すると、テスター4.0からメールが送信されます。
6. メール送信
テストレポートを受信するには、ユーザーがテストスクリプトとデバイスを選択した後、「テストレポートをメールに送信する」にチェックを入れて、受信者のメールを入力します。その後、テスター4.0は、テストスクリプトが完全に実行されると、テストレポートを送信します。