パート3:テスター4.0でのスクリプト実行
A. モバイル用のテストスクリプト実行
I. プロジェクトの実行可能ファイルの設定
- テストスクリプトを実行する前に、アプリケーションの実行可能ファイル(APK又はIPA)を設定することができます。
手順1: プロジェクト詳細画面からIPAまたはAPKファイルをアップロードするオプションを選択します。
手順2: ファイルをアップロードします。
手順3: パッケージ名を入力します。
手順4: 「保存」ボタンをクリックします。
II. スクリプト実行・テスト結果確認
1. 今すぐ実行
手順1:「今すぐテストスクリプト実行」ボタンをクリックすると、「テストスクリプト実行」ポップアップが表示されます。
手順3:同じポップアップで表示されるAndroidテストスクリプト一覧から実行したいテストスクリプトを1件以上選択し、「次へ」ボタンをクリックします。
その後、iOSのデバイス、テストスクリプトを手順2、3と同じように選択できます。
手順4:テスト言語を選択します。
- ジョブ名を入力し、テスト言語を選択します。
- 「今すぐテストスクリプト実行」をクリックします。
手順5:実行中テストスクリプトを確認します(手順2で選択したデバイス名と数が表示されます。デバイス名の横にある「表示」ボタンをクリックすると、該当デバイスのストリーミング画面を表示できます)。
手順6:テストスクリプトが実行された後、テストレポートが「プロジェクト詳細」画面に表示されます。詳細を確認するには、一覧から各テストレポートをクリックしてください。
2. スケジュールによるテストスクリプト実行
手順1: 「スケジュールジョブ追加」ボタンをクリックします。
➩ 「今すぐ実行」機能と同様に、デバイス及びテストスクリプトを選択するポップアップが表示されます。
手順2:テストスクリプトを自動的に実行するスケジュール(時刻、曜日)を設定します。
- ジョブ名を入力します。
- テスト言語を選択します。
- テストスクリプト実行時間設定(時刻と曜日を含む)
- 「テストスケジュール追加」ボタンをクリックします。
➩ スケジュール追加後、設定した時間になったら、指定されたテストスクリプトが自動的に実行され、そのテストレポートも保存されます。
3. テスト結果確認
テストスクリプトが実行された後、テストレポートが「プロジェクト詳細」画面に表示されます。
詳細を確認するには、一覧から各テストレポートをクリックしてください。
結果には、合格と不合格の2種類があります。
- 合格:スクリプトは機能し、スクリプトエラーが発生せず、テストスクリプトは期待どおりの結果を返しました。
不合格:スクリプトエラーまたは入力エラーが発生しテスター4.0から結果が取得できませんでした。または、スクリプトエラーはありませんが、テスター4.0は期待とは異なる結果を返しました。結果が不合格の場合、システムはエラーの詳細とエラー手順を表示します。
ユーザーがAIを使用してテストスクリプトで期待結果を確認する場合、警告結果が追加で得られます。スクリプトは機能し、スクリプトエラーがなく、AIは結果を返します(入力エラーは返しません)が、AIの結果は何かが間違っているということです。具体的には、エレメントの画像比較関数はFALSEを返します。結果が警告の場合、ユーザーは結果を確認する必要があります。
AIは2枚のスクリーンショットを比較する時に、2枚の画像の同様比率を示し、値は0~100%になります。
テスター4.0では、しきい値レベルを定義して、このレベルを下回っている場合に問題と見なされるようにします。例えば、しきい値の設定が95%の場合、次のようになります。
- A.I が95%より似ている2枚の画像を返す場合、問題はありません。
- A.I が95%以下似ている2枚の画像を返す場合、問題があるという警告と見なされます。
現時点では、しきい値の設定は95%です。
結果が警告の場合、ユーザーは以下の手順で確認する必要があります。
手順1: アイコン をクリックし、ドロップダウンリストを表示させます。
手順2:ユーザーがOKと確認したい場合は、「確認OK」ボタンをクリックします。確認ポップアップが表示されます。ユーザーは理由を記入して「確認」ボタンをクリックします。テストスクリプトの結果が警告から合格に変わります.
手順3:ユーザーがNGと確認したい場合は、「確認NG」ボタンをクリックします。確認ポップアップが表示されます。ユーザーは理由を記入して「確認」ボタンをクリックします。テストスクリプトの結果が警告から不合格に変更します。
4. クイックレビュー
クイックレビュー機能は、ユーザーが不合格・警告の結果を含むテストスクリプトをすばやく閲覧するのに役立ちます。
テストスクリプトが実行された後、テストレポートが「プロジェクト詳細」画面に表示されます。
詳細を確認するには、一覧から各テストレポートをクリックしてください。ジョブのレポートが表示されます。テスト結果をすばやく確認したい場合は、「詳細ビュー」ボタンをクリックしてください。
詳細表示モードを選択した後、不合格または警告の結果があるテストスクリプトには、エラーの手順とAIビジュアルチェック機能を使用した手順が表示されます。
画像を全画面表示するには、「ラージビュー 」ボタンをクリックしてください。
警告結果のあるテストスクリプトには、ユーザーは「OK」または「NG」ボタンをクリックすることで、クイックビュー画面でテスト結果をすばやく確認できます。
ユーザーは「一覧表示」ボタンをクリックすると、テストレポートを一覧の形式で確認できます。
5. エビデンスダウンロード
テストレポートの詳細画面で、「エビデンスダウンロード」ボタンをクリックします。その後、「エビデンスダウンロード」ボタンをクリックします。その時、プロセスが完了すると、テスター4.0からメールが送信されます。
6. メール送信
テストレポートを受信するには、ユーザーがテストスクリプトとデバイスを選択した後、「テストレポートをメールに送信する」にチェックを入れて、受信者のメールを入力します。その後、テスター4.0は、テストスクリプトが完全に実行されると、テストレポートを送信します。
III. テストスクリプトのインポート・エクスポート
1. テストスクリプトのエクスポート
テストスクリプト作成後、生成されたテストスクリプトをエクスポートしたい場合、下記の手順に従って実施してください。
手順1:「テストスクリプトマネジメント」画面から「テストスクリプトエクスポート」ボタンをクリックし、「テストスクリプトエクスポート」画面に切り替えます。
手順2: 出力対象のテストスクリプトを選択し、「X件のテストスクリプトのエクスポート」(Xはエクスポートしたいテストスクリプトの数です)ボタンをクリックします。
2. テストスクリプトのインポート
テストスクリプトファイルが既にある場合は、次の手順に従ってファイルをインポートできます。
手順1:「テストスクリプトマネジメント」画面から「テストスクリプトインポート」ボタンをクリックし、「テストスクリプトインポート」ポップアップに開きます。
手順2:「参照 」ボタンをクリックし、インポート対象のテストスクリプトファイルを選択し、「OK」ボタンをクリックします。
B. PCウェブ用のテストスクリプト実行
I. スクリプト実行・テスト結果確認
1. 今すぐ実行
手順1:「今すぐテストスクリプト実行」ボタンをクリックすると、「テストスクリプト実行」ポップアップが表示されます。
手順2:環境を選択し(「テストスクリプト実行」ポップアップで、「プラットフォーム」、「ブラウザ」、および「ブラウザーバージョン」を選択します)、「追加」ボタンをクリックして、「次へ」ボタンをクリックします。
手順3:「テストスクリプト」を選択し、実行したい1つ以上のスクリプトを選択して、次に「次へ」をクリックします。
手順4:ジョブ名を入力し、「今すぐテストスクリプト実行」ボタンをクリックします。
手順5:実行中のテストスクリプトを表示します。(手順2で実行するために選択したブラウザの正確な数と各ブラウザの名前を表示します)。
手順6:テストスクリプトが実行された後、テストレポートが「プロジェクト詳細」画面に表示されます。詳細を確認するには、一覧から各テストレポートをクリックしてください。
2. スケジュールによるテストスクリプト実行
「今すぐ実行」機能と同様にスケジュールによりテストスクリプトを実行します。(1.今すぐ実行をご参照ください)
3. テスト結果確認
テスト結果の確認は、スタジオモバイルでのテスト結果の確認と同様です。
4. エビデンスダウンロード
テストレポートの詳細画面で、「エビデンスダウンロード」ボタンをクリックします。その後、「エビデンスダウンロード」ボタンをクリックします。その時、プロセスが完了すると、テスター4.0からメールが送信されます。
5. メール送信
テストレポートを受信するには、ユーザーがテストスクリプトとブラウザを選択した後、「テストレポートをメールに送信する」にチェックを入れて、受信者のメールを入力します。その後、テスター4.0は、テストスクリプトが完全に実行されると、テストレポートを送信します。
II. テストスクリプトのダウンロード・追加
1. テストスクリプトのダウンロード
テストスクリプト作成後、生成されたテストスクリプトをエクスポートしたい場合、下記の手順に従って実施してください。
手順1: アイコン をクリックし、テストスクリプトをダウンロードします。
手順2:スクリプトを保存するフォルダーを選択します。
2. テストスクリプトの追加
テストスクリプトファイルが既にある場合は、次の手順に従ってファイルを追加できます。
手順1:「テストスクリプトマネジメント」画面から「テストスクリプト追加」ボタンをクリックし、「テストスクリプト追加」ポップアップに開きます。
手順2:インポート対象のテストスクリプトファイル(extension.atompファイル)を選択し、「開く」ボタンをクリックします。
3.テスト スクリプトのエクスポート
テストスクリプトを正常に作成した後、生成されたテストスクリプトをエクスポートしたい場合は、次の手順に従って実施してください。
手順1:「テストスクリプトの管理」画面から、「テストスクリプトのエクスポート」ボタンをクリックし、「テストスクリプトのエクスポート」画面に切り替えます。
手順 2:エクスポートするテストスクリプトを選択し、[X テストスクリプトのエクスポート] ボタンをクリックします (X はエクスポートするテストスクリプトの数です)。