自動テストの詳しい使い方
自動テストを一人で使いこなすための詳しい説明です。はじめての方は、先に 自動テストで動作を確かめる(入門) で1件実行してみてください。
このページの内容
1シナリオを作る3つの方法
シナリオは「何をして、どうなれば正しいか」をまとめたものです。作り方は3つあり、どれで作っても テスト タブの一覧に保存されます。
| 方法 | 向いているとき | 向いていないとき |
|---|---|---|
| AI に提案してもらう(テストタブ) | 何を確かめればよいか分からないとき。たたき台を1件ずつ選んで直したいとき | 確かめたいことがはっきり決まっているとき(自分で書くほうが早い) |
| チャットで頼む | アプリ全体をまとめて確かめたいとき。失敗したら AI に直してもらい、そのまま再テストまで任せたいとき | 1件だけを細かく作り込みたいとき |
| 自分で書く(テストタブ) | 業務で必ず通る流れや、役割ごとの見え方など、確かめたいことが決まっているとき。クレジットを使わずにシナリオを用意したいとき | アプリの画面をまだよく知らないとき |
方法1:AI に提案してもらう(テストタブ)
- 開発 → テスト を開き、右上の + 追加 を押します
- AI提案 の 生成 を押します。アプリの仕様書をもとに、確かめる内容の例が数件、ボタンになって並びます。仕様書がないアプリでは、一般的な確認の例になります
- ボタンを1つ押すと、タイトル・説明・テストステップ・期待する結果 に内容が入ります。同じボタンをもう一度押すと、選択が外れます
- 手順を読み、実際の画面にないボタン名や、実行されると困る操作(削除など)があれば直します
- 保存 または 保存 & 実行 を押します
- 気に入る提案がないときは 再生成 を押します。頼むたびにクレジットを使うため、近い提案を選んで手で直すほうが節約になります
- 「生成に失敗しました。もう一度お試しください。」と出たときは、もう一度 生成 を押すか、自分で書いてください
方法2:チャットで頼む
- アプリのチャットで「このアプリをテストして」「テストシナリオを作成して」のように送ります。チャットの中にテスト用のカードが出ます
- すでにシナリオがあるアプリでは、「このアプリには既に◯件のテストシナリオがあります。再利用しますか、それとも新規作成しますか?」と聞かれます。既存を再利用 か 新規作成 を選びます
- 新しく作るときは「どのテストシナリオを作成しますか?」と聞かれ、確かめたいことの選択肢が並びます。選択肢は仕様書をもとに作られ、最初はすべて選ばれています。不要なものを外し、ほかに確かめたいことがあれば その他 に書いて、完了 を押します
- 「仕様書を確認してテストシナリオを準備しています…」のあと、選んだ項目ごとに1件ずつシナリオが作られます。うまく作れなかったときは、代わりに基本の手順(関係する画面を開き、主な操作をひととおり行い、結果を確かめる)のシナリオが作られます
- 各行の ▶ テスト で1件ずつ、▶ すべてテスト でまとめて実行します(チャットで実行する)
方法3:自分で書く(テストタブ)
- + 追加 を押し、AI提案 は使わずに下の欄を埋めます
- テストステップ に、手順を1行に1つずつ書きます。+ ステップを追加 で行を増やせます
- 必要なら タイトル・説明・期待する結果 も書き、保存 を押します
| 項目 | 入れる内容 |
|---|---|
| タイトル(任意) | 一覧で見分けるための名前。空のまま保存すると、最初の手順が名前になります |
| 説明(任意) | 何を確かめるシナリオかのメモ |
| テストステップ(必須) | 操作の手順。1行も入っていないと 保存・保存 & 実行 は押せません |
| 期待する結果(任意) | 最後にどうなっていれば合格か。書いておくと判定がぶれにくくなります |
シナリオを直す・消す
- カードの 編集 を押すと、シナリオを編集 の画面が開きます。直したら 保存 を押します。保存 & 実行 を押すと、元のシナリオを直した内容で保存し、そのシナリオをそのまま実行します。新しいシナリオは増えません
- カードの 削除 を押すと「シナリオを削除しますか?」と確認が出ます。削除する を押すと、そのシナリオとすべての実行履歴が消え、元に戻せません
2良いシナリオの書き方
人に作業をお願いするつもりで、画面に出ている言葉で書きます。AI は画面にあるボタン・入力欄・文字を読み取って操作するため、画面の表示と同じ言葉で書くほど迷いません。
書き方のコツ
- 1つのシナリオで確かめることは1つ。「登録」と「削除」と「権限」を1つに混ぜると、どこで失敗したのか分かりにくくなり、途中で止まりやすくなります
- ボタン名・メニュー名は画面の表示どおりに書く。手順に書いたボタンや画面が見つからないときは、テストは 失敗 になります
- 合格の条件を、目で見て分かる形で書く。「正しく動く」ではなく「一覧に◯◯が表示される」「◯◯ボタンが表示されない」と書きます
- 入れる値を具体的に書く。「テスト案件A」のように、ほかのデータと区別できる値にします
- 日付は今日以降にする。過去の日付で絞り込むと「該当なし」になるのが正しい動きで、確かめたいことを確かめられません
- ログインが必要なら、誰として入るかを書く。(役割の書き方)
- 手順は短めに。手順が長すぎると、最後まで進まずに 未完了 になることがあります。長い流れは、いくつかのシナリオに分けます
良い例と悪い例
| 悪い例 | 良い例 | 理由 |
|---|---|---|
| 案件を登録できるか確認する | 1. 「案件一覧」を開く 2. 「新規登録」を押す 3. 案件名に「テスト案件A」と入れて「保存」を押す 期待する結果:一覧に「テスト案件A」が表示される | どの画面で、何を押し、何が見えれば合格かがはっきりしている |
| 登録・編集・削除・権限をまとめて確認する | 「登録」「編集」「削除」「担当者には削除ボタンが出ない」を、それぞれ別のシナリオにする | 失敗したときに、どこが悪いのかすぐ分かる |
| 「追加」を押す(画面には「新規作成」と出ている) | 「新規作成」を押す | 画面にない言葉だとボタンを見つけられず、失敗になる |
| 正しく表示されること | 「合計 3 件」と表示されること | 何が見えれば合格かを AI が判断できる |
役割の書き方
役割(管理者・担当者・点検者など)ごとに見え方が変わるアプリでは、手順の中に「誰としてログインするか」を書きます。
- 例:「点検者としてログインする」「管理者のアカウントでログインする」「担当者でログインする」
- 役割の名前は、アプリの画面に出ている名前(ログイン画面のデモログインのボタンや、仕様書に書かれている名前)で書けます。アプリにない名前を書くと、目的の役割で入れないことがあります
- 途中で役割を切り替えるときは、「ログアウトしてから、管理者としてログインする」のように書きます
- 見えないことを確かめるときは、ログインする役割と、見えてはいけないものを分けて書きます。例:「担当者としてログインする」「メニューに『ユーザー管理』が表示されないことを確かめる」
作ったデータの後片付け
テストで登録したデータは、消す手順を書かない限りアプリに残ります。シナリオの最後に、後片付けの手順を書いておきます。
- 「顧客一覧」を開く
- 「新規登録」を押し、会社名に「テスト会社A」と入れて「保存」を押す
- 一覧に「テスト会社A」が表示されることを確かめる
- 後片付け:「テスト会社A」の行の「削除」を押して、削除する
- AI は、期待する結果を確かめてから後片付けをします。後片付けをしたことで、判定が合格に変わることはありません
- 後片付けの対象は、そのテストで作ったデータだけです。ただし、AI が画面を見ながら行う操作です。大切なデータがあるアプリでは、後片付けのあとに データ タブで、残っているデータや消えたデータがないかを確かめると安心です
- くり返し実行するシナリオでは、名前を毎回変えると、前回の残りと区別できます。手順に「名前は QA_ で始め、実行ごとに固有の名前にする」と書くと、AI は実行ごとに決まった1つの名前を使い、確認と後片付けもその名前で行います
3ログインが必要なアプリ
ログイン機能のあるアプリでは、AI もログインしてから操作します。どのアカウントで入るかは、次の順で決まります。
| 順番 | 使うもの | ログインのしかた |
|---|---|---|
| 1 | ログイン情報 に、保存せずにその場で入れたアカウント | メールアドレスとパスワードを入力して入ります(その場だけ使う) |
| 2 | その役割に保存したアカウント | 保存したメールアドレスとパスワードを入力して入ります(ログイン情報を保存する) |
| 3 | デモログインのボタン | ボタンを押して入ります。ふだんはこれです(デモログインのボタン) |
| 4 | アプリに用意されたテスト用アカウント | デモログインのボタンで入れないときに、メールアドレスとパスワードを入力して入ります |
ただし、ログインに失敗させるテスト では、デモログインのボタンは使わず、必ず入力でログインします。
デモログインのボタン(ふだんの入り方)
作ったアプリのログイン画面には、パスワードを入れずに入れるデモログインのボタン(「🎯 デモアカウントで試す」や、「点検者で試す」「担当者としてログイン」のような役割ごとのボタン)があります。ログインが必要なとき、AI はまずこのボタンを押して入ります。メールアドレスやパスワードを用意する必要はありません。
- 手順に「誰としてログインするか」を書くと、その役割のボタンを押します。役割の名前は、画面に出ている名前(点検者・現場監督など)で書けます(役割の書き方)
- 役割を書かずに「ログインする」とだけ書いたときは、一番上のデモログインのボタンで入ります。確実に役割を決めたいときは、役割の名前を書いてください
- テストを始めたときに、すでにログインした後の画面になっていることがあります。表示されている役割が手順と合っていれば、そのまま進めます。合っていなければ、ログアウトしてから、その役割のボタンで入り直します
次のときは、デモログインのボタンを使わず、アプリに用意されたテスト用アカウント(サンプルデータとして作られたログイン用のアカウント)のメールアドレスとパスワードを入力して入ります。
- ログイン画面にデモログインのボタンがないとき、または必要な役割のボタンがないとき
- 管理者など、デモログインのボタンでは入れない役割のとき
- ボタンを押しても入れなかったとき
ログイン情報を保存する
デモログインのボタンではなく、決まったアカウントでテストしたいときは、アカウントを保存します。保存したアカウントがある役割は、次からのテストでそのアカウントを入力してログインします。
- テストシナリオ の一覧の右上で ログイン情報 を押します
- メールアドレス・ログインID と パスワード を入れます
- ロール(任意) に、そのアカウントの役割を入れます。画面に出る名前(点検者など)でも、データに入っている値(英字など)でもかまいません。入力欄を押すと、アプリの役割が候補として出るので、そこから選べます。アプリにない役割を入れると、「『〇〇』という役割は、このアプリにありません。」と表示されます。そのまま保存しても、どの役割のログインにも使われないため、候補から選び直してください
- 保存する を押します。「アカウントを保存しました。次のテストから使います。」と表示され、保存済みのアカウント に、メールアドレス・役割・●●●●●●●● が並びます
- 保存したパスワードを、画面にもう一度表示することはありません。暗号化して保存し、画面には ●●●●●●●● とだけ出します。保存した本人にも表示しません。パスワードを忘れたときは、新しいパスワードで保存し直してください
- ただし、テストの実行中は、ログイン画面に入力するため、テストを実行した人のブラウザーに値が届きます。保存するのは、テスト専用のアカウントにしてください。ふだんの仕事で使っているアカウントは保存しないでください
- 役割ごとに、いくつでも保存できます。1つのアプリに保存できるのは20件までです
- 同じ役割とメールアドレスでもう一度保存すると、パスワードが新しいものに置き換わります
- パスワードを変えるときは、アカウントの 変更 を押し、パスワード(変更する場合のみ入力) に新しいパスワードを入れて 変更を保存 を押します。パスワードを入れずに 変更を保存 を押すと、今のパスワードのままになります
- 要らなくなったアカウントは、削除 → 削除する で消します。消したあとは、その役割はデモログインのボタンで入るふだんの入り方に戻ります
- 役割を入れずに保存したアカウントは、役割の指定なし と表示されます。役割ごとにアカウントを使い分けたいときは、役割を入れて保存してください
- アプリにない役割で保存されているアカウントには、アプリにない役割 と表示されます。変更 で、アプリの役割に直してください
- 保存したアカウントで入るときは、実行の前のログイン確認 の対象になります。パスワードが違っていると、シナリオは実行されずに 未確認 になることがあります
アカウントの保存・変更・削除は、ワークスペースの 操作履歴(監査ログ) に記録されます。パスワードは記録されません。
その場だけ別のアカウントを使う
- ログイン情報 を押し、メールアドレス・ログインID と パスワード を両方入れます。役割を決めたいときは ロール(任意) も入れます
- 保存する は押さずに、そのままシナリオを実行します
- その場で入れたアカウントは、保存したアカウントやデモログインのボタンより優先して使われ、入力してログインします
- この内容は保存されず、この画面を離れると消えます
- 片方だけ入れて実行しようとすると、「ログインIDとパスワードを両方入力してください。」と表示されます
- 入れた内容を消して、ふだんの入り方に戻すときは 設定済みアカウントを使用 を押します
- テストの実行中は、ログイン情報を変えられません
ログインに失敗させるテストの書き方
「間違ったパスワードではログインできない」ことを確かめるときは、そのことをはっきり書きます。このようなシナリオでは、AI はデモログインのボタンを使わず、メールアドレスとパスワードを入力してログインを試します。
- ログイン画面を開く
- メールアドレスにテスト用アカウントのメールアドレスを入れ、パスワードに誤ったパスワード「wrong-password」を入れて「ログイン」を押す
期待する結果:ログインできないこと。エラーメッセージが表示され、ログイン画面のままであること
- 「誤ったパスワード」「ログインに失敗する」「ログインできない」のように、失敗させることが分かる言葉を入れます
- この場合、ログインが拒否されることが期待どおりの結果なので、拒否されれば合格です
- 実行の前のログイン確認は行いません
実行の前のログイン確認
メールアドレスとパスワードを入力して入るアカウントが決まっているシナリオでは、シナリオを始める前に、そのアカウントでログインできるかを確かめます。デモログインのボタンで入る役割では、この確認は行いません。
ログインできずに確かめられなかったとき
実行の前の確認でログインできなかったときは、シナリオ本体は実行せずに止まり、結果は 未確認 になります。AIレポートは「認証前提を確認できないため未実施」で始まります。この場合、クレジットは使いません。
- 保存したアカウントやその場で入れたアカウントなら、メールアドレスとパスワードが正しいかを確かめます。保存したアカウントは、正しいパスワードで保存し直します
- アプリに用意されたテスト用アカウントなら、データ タブで、ログイン用の表にそのアカウントの行があるか、パスワードが合っているかを確かめます
- 直したら、もう一度実行します
テストの途中でログインに失敗したときや、ログイン後の画面に進めなかったときは、失敗 になることがあります。AI レポートに、どの欄やボタンで止まったかが画面の言葉で書かれているので、それを手がかりにします。
パスワードの扱い
- 保存したパスワードは暗号化して保存し、テストを実行するときだけ使います。画面にもう一度表示することはありません
- ただし、テストの実行中は、ログイン画面に入力するため、テストを実行した人のブラウザーに値が届きます。保存するのは、テスト専用のアカウントにしてください
- 保存せずに入れた内容は、保存されません。この画面を離れると消えます
- AI が画面を読み取るとき、パスワードの入力欄の中身は読み取りません
- AI レポートや見つかった問題、Excel では、テストに使ったアカウントのメールアドレスとパスワードを伏せ字に置き換えます
チャットで実行するときのログイン
チャットで実行するテストも、上と同じ順でアカウントを決めます。保存したアカウントも使われます。ログインが必要なシナリオでも、デモログインのボタンか保存したアカウントで入れるときは、ログイン情報は聞かれません。次のときだけ、カードでメールアドレスとパスワードを聞かれます。
- デモログインのボタンも、保存したアカウントも、アプリに用意されたテスト用アカウントもないとき
- どの方法でも入れない役割があるとき(デモログインのボタンでは入れず、保存したアカウントもない管理者など)。カードには、その役割の名前が出ます
入れて この認証情報を使う を押すと、そのアカウントがその場だけ使うアカウントになります。入れずに進めるときは ログイン情報を入れずに実行(入れない画面は確認できません) を押します。この場合、入れない役割でログインする画面は 未確認 になります。
4実行する
テストタブで実行する
- 一覧のカードの ▶ 開始、またはシナリオを開いた画面の右上の ▶ 開始 を押します
- シナリオを作るときや直すときは、その画面の 保存 & 実行 で、保存と実行を一度に行えます。直しているときは、元のシナリオが新しい内容で実行されます
- シナリオを保存できなかったときは、「シナリオを保存できなかったため、テストを開始していません。もう一度お試しください。」と表示され、テストは始まりません
- 一度に実行できるテストは1つです。実行中に別のシナリオを始めようとすると、「テストを開始できませんでした。プレビューの準備と実行中のテストを確認して、もう一度開始してください。」と表示されます
実行中の見え方
- ブラウザの新しいタブでアプリが開きます。右上に「🤖 AI がテスト中…」と表示され、AI がボタンを押したり文字を入れたりする様子が見えます
- テストタブでは、シナリオに 実行中 と表示され、シナリオを開いた画面に「AIがプレビューを操作中...」と表示されます
- 伴走 タブにも、実行中のテストのカード(「UIテスト実行中」「AIがブラウザを操作中…」)と テストを中断 のボタンが出ます。押すと、テストを止められます
- 終わると、実行中 の表示が 合格 ✓ などの結果に変わります。直後は、一覧の右上の Excel のボタンが「実行結果を保存中…」になり、結果を保存しています
かかる時間の目安
1件あたり、数十秒〜数分ほどです。手順が多いほど、画面の切り替えや読み込みが多いほど長くなります。ログインのある手順や、役割を切り替える手順も時間がかかります。
チャットで実行する
- カードの各行の ▶ テスト で1件、▶ すべてテスト で全件を順番に実行します。もう一度確かめるときは、各行の 再テスト を押します
- 結果は行ごとに 成功・失敗・未確認 などで表示されます(テストタブの 合格 ✓ は、チャットでは「成功」と表示されます)
- チャットで実行した結果は、テスト タブの実行履歴にも保存されます。結果をまとめたノートも作られ、カードの ノートを見る から開けます
テスト実施モデルを選ぶ(速さ重視/精度重視)
テストで画面を操作して合否を判定する AI(テスト実施モデル)は、2つから選べます。
| 選択肢 | 向いているとき |
|---|---|
| 速さ重視(既定) | ふだんの確認。結果が早く出て、クレジットの消費も抑えめです |
| 精度重視 | 手順が長い・画面が複雑・役割の切り替えがあるなど、速さ重視で 未完了 や判定の揺れが続くとき |
- ふだんは、チャット欄のモデルの選択メニューで選んでいる モデルプリセット に合わせて決まります。おすすめ・低コスト では速さ重視、高品質 では精度重視になります
- 自分で選ぶときは、モデルの選択メニューで カスタム を選び、テスト実施モデル の欄で選びます。選択肢は2つで、最初に選ばれているほうが速さ重視です。カスタム を選ぶと、設計・実装のモデルも個別に指定する設定になります
5結果の見方
結果の種類と、そのときにすること
| 表示 | 意味 | 次にすること |
|---|---|---|
| 合格 ✓ | 手順どおりに操作でき、期待する結果を確かめられました | そのままで大丈夫です。大事な流れは、アプリを直したあとにもう一度実行します |
| 失敗 ✗ | 期待と違う結果だった、手順に書いたボタンや画面が見つからなかった、またはログインの失敗・エラー表示・アクセスの集中で最後まで進めなかった状態です。見つかった問題の件数も表示されます | AIレポートと見つかった問題を読みます。アプリの不具合なら 直します。手順の書き方が画面と合っていないなら、シナリオを直します |
| 未確認 | ログインできなかった、必要なデータが1件もなかった、すでに完了済みでやり直せなかったなど、前提がそろわず確かめられなかった状態です。アプリの不具合とは限りません | アカウントやデータを見直して、もう一度実行します。AI による修正の対象にはなりません |
| 未完了 | テストが最後まで進まずに止まりました | 手順を短く分ける、または 精度重視 に切り替えて、もう一度実行します |
| 判定不明 | 結果を判定できませんでした | もう一度実行します |
| 未実行 | まだ一度も実行していません | ▶ 開始 で実行します |
シナリオの画面の読み方
一覧のカードを押すと、シナリオの画面が開きます。上部の シナリオ・フローチャート・レポート で表示を切り替えます。左側には、ほかのシナリオが小さく並びます。
| 表示 | 見えるもの |
|---|---|
| シナリオ | 保存した テストステップ と 期待する結果。実行前の手順には 未実行、実行後は「手順別は未確認」と表示されます |
| フローチャート | 手順を図にしたもの。操作の手順と、確かめる手順(分かれ道)が区別されて描かれ、最後に結果が表示されます。図がまだないときは、開いたときに AI が作ります(AIフローチャート)。再解析 で作り直せます。−・+・1:1 で大きさを変えられます |
| レポート | 実行ごとの結果。新しい順に並び、いちばん新しいものに 最新 と付きます |
レポートの読み方
結果の見出しを押すと、中身が開きます。
- AIレポート:AI が何をして、画面で何を見たかの説明です。「『保存』ボタンを押しても画面が変わりませんでした」のように、画面に出ている言葉で書かれます。長いときは 続きを読む で全文を表示します。失敗や未確認の理由は、ここを読むと分かります
- フローチャート:その実行のときの手順の図と、最後の結果です
- テストステップ(実行時):その実行のときの手順です。あとからシナリオを書き換えても、実行したときの手順が残ります。手順ごとの合否は記録していないため、各手順には「手順別は未確認」と表示されます
- 問題 (件数):見つかった問題です。重要度が Critical・Major・Minor で表示され、押すと説明と 修正提案 が開きます
- 消費クレジット::その実行で使ったクレジットです
- ノートに追加:その結果を、アプリのノートに保存します。チームでの共有や記録に使えます
6失敗したときに直す
結果が 失敗 ✗ のときは、AI に修正を頼めます。未確認 のときは修正の対象になりません。アプリの作りではなく、アカウントやデータに原因があることが多いためです。先にアカウントやデータを見直してください。
テストタブから直す(診断して修正)
- レポート で失敗した結果を開き、診断して修正 を押します。見つかった問題ごとに、修正の依頼が 伴走(修正チャット)に送られます。送ると「診断タスクを送信済み」と表示されます
- 伴走 タブで、修正の進み具合を確かめます。承認を求められたら、内容を見て承認します
- 修正が終わったら テスト に戻り、同じシナリオの ▶ 開始 でもう一度確かめます
修正チャットの使い方は 作ったアプリを直す・改善する を参照してください。
チャットで直す(直したら自動で再テスト)
- チャットのテストのカードで失敗があると、AIに直してもらう(直したら自動で再テスト) が出ます。押すと、失敗した項目の原因を AI が直し、直ったあとに自動でもう一度テストします
- 進み具合は「ラウンド1:◯件のバグを修正中…」「ラウンド1:再テスト中…」のようにカードに表示されます
- 低リスクの修正は、自動で承認されます。中リスク・高リスクの修正は、チャットに「この修正を承認しますか?」と表示されるので、内容とリスクの表示(中リスク・高リスク)を見て 承認 か 却下 を選びます。待っている間は「修正の承認をお待ちしています…」と表示されます
- すべて成功すると「すべてのシナリオが成功しました 🎉」と表示されます
- 修正の記録は、伴走 タブと結果のノートに残ります
- 直したあとも同じ失敗が続くときは、同じ修正を繰り返さないように、自動修正がそこで止まります。原因を確かめてから、▶ すべてテスト や 再テスト でもう一度確かめてください
- 却下 を選ぶと、自動修正はそこで止まり、アプリは変わりません
7Excel への出力
- テストシナリオ の一覧の右上で テストシナリオ・結果をExcelでダウンロード を押します
- 「Excelを準備中…」と表示されたあと、「アプリ名_テストシナリオと実行結果_日付.xlsx」という名前でダウンロードされます
Excel には、そのアプリの保存済みのシナリオと、すべての実行履歴が入ります。各シートの1行目は「テストレポート — シート名」というタイトル、2行目は出力日時です。日時はすべて日本時間で書かれます。
| シート | 入っている内容 |
|---|---|
| 概要 | アプリ名、出力日時、シナリオ数・実行履歴数、各シナリオの最新の結果の件数(合格・不合格・未確認・未完了・判定不明・未実行)、集計の考え方 |
| シナリオ一覧 | シナリオごとの名前、説明、手順、期待結果、作成・更新日時、最新の結果、最新の実行日時、実行回数 |
| 実行履歴 | 実行ごとの日時、判定、AI レポート、見つかった問題の数、実行したときの手順、消費クレジット |
| 検出課題 | 失敗したときに見つかった問題の件名・重要度・説明・修正指示 |
- Excel では、画面の 失敗 は「不合格」と書かれます。未確認・未完了 は合格に数えません
- 結果ごとに色分けされ、見出しの行で絞り込みができます。印刷は横向き・幅に合わせた設定です
- 記録していない項目(スクリーンショット、手順ごとの合否など)は「記録なし」と書かれます
- ダウンロードしても、テストの実行や結果は変わりません。クレジットも使いません
- テストの直後で「実行結果を保存中…」と表示されている間は、ダウンロードできません。保存が終わるまでお待ちください
8クレジット
自動テストでは、AI が考えたり画面を操作したりする分の AIクレジット を使います。
| 操作 | 消費 | 目安 |
|---|---|---|
| シナリオを AI に提案してもらう(生成・再生成) | あり | 頼むたびに消費します |
| チャットでシナリオを作ってもらう | あり | 選択肢の準備とシナリオの作成で消費します |
| テストを実行する | あり | 手順が多く、操作が多いほど増えます。精度重視 のほうが多めです。実行ごとの消費量は、テストタブで実行したときも、チャットで実行したときも、レポート の 消費クレジット: と Excel の実行履歴で確かめられます。全体の消費は クレジット履歴 で確かめられます |
| フローチャートを作る・作り直す | あり | 少なめ |
| 失敗を直す(診断して修正・AIに直してもらう) | あり | ふだんのアプリの修正と同じです |
| 実行の前のログイン確認で止まった実行(結果が 未確認) | なし | AI が操作を始める前に止まるためです |
| シナリオを手で書く・編集する・削除する | なし | — |
| Excel に出力する・ノートに追加する | なし | — |
9困ったとき
画面に出るメッセージごとの対処です。
| メッセージ | 原因 | 対処 |
|---|---|---|
| テストを開始できませんでした。プレビューの準備と実行中のテストを確認して、もう一度開始してください。 | プレビューの準備ができていないか、別のテストを実行中です | プレビューが表示されること、実行中のテストがないことを確かめてから、もう一度 ▶ 開始 を押します |
| シナリオを保存できなかったため、テストを開始していません。もう一度お試しください。 | 保存 & 実行 で、シナリオを保存できませんでした | 少し待ってから、もう一度 保存 & 実行 を押します |
| テストは判定を返す前に終了しました。ログイン情報とプレビューを確認して再実行してください。 | テストの途中で、AI が操作していた画面との接続が切れました | AI が操作している画面を閉じずに、もう一度実行します。ログイン情報も見直します |
| 別のテストを実行中です。終了後に再実行してください。 | チャットで実行しようとしたとき、別のテストを実行中でした | 実行中のテストが終わってから、もう一度押します |
| ログインIDとパスワードを両方入力してください。 | ログイン情報 に、メールアドレスとパスワードの片方だけが入っています | 両方入れるか、入力を消して、ふだんのログインを使う で消してから実行します |
| アカウントの保存・変更・削除は、開発者以上の権限が必要です。 | アカウントを保存できる役割ではありません | 開発者以上の人に保存を頼むか、その場だけ使うアカウントとして入れて実行します |
| このアプリに保存できるアカウントは20件までです。使わないアカウントを削除してください。 | 保存できる件数の上限です | 使わないアカウントを 削除 してから保存します |
| 同じ役割とメールアドレスのアカウントが、すでに保存されています。 | 変更 で、ほかに保存済みのものと同じ役割・メールアドレスにしようとしました | パスワードを変えたいときは、すでに保存されているほうの 変更 から行います |
| このアカウントは削除されています。画面を開き直してください。 | 別の画面などで、すでに削除されたアカウントです | 画面を開き直します |
| 保存済みのアカウントを読み込めませんでした。時間をおいて開き直してください。 | 保存済みのアカウントの一覧を読み込めませんでした | 時間をおいて開き直します |
| 保存できませんでした。時間をおいてもう一度お試しください。 | アカウントを保存できませんでした | 時間をおいて、もう一度 保存する を押します |
| 生成に失敗しました。もう一度お試しください。 | シナリオの提案を作れませんでした | もう一度 生成 を押すか、自分で書きます |
| AI分析に失敗しました — 再試行 | フローチャートを作れませんでした | その表示を押すと、もう一度作ります |
| 診断タスクの作成に失敗しました | 修正の依頼を送れませんでした | しばらくしてから、もう一度 診断して修正 を押します |
| テスト結果は得られましたが、保存を確認できない実行があります。Excelにはその結果が含まれない可能性があります。 (チャットでは「テスト結果は得られましたが、実行履歴への保存を確認できませんでした。Excelには今回の結果が含まれない可能性があります。」) | 結果を保存できなかった実行があります | 画面の結果は正しく出ています。Excel に必要な場合は、もう一度実行します |
| Excelをダウンロードできませんでした。しばらくしてから、もう一度お試しください。 | Excel を作れませんでした | しばらくしてから、もう一度押します |
| テストシナリオまたは実行履歴が多いため、Excelを作成できませんでした。管理者にお問い合わせください。 | シナリオや実行履歴がとても多い状態です | 管理者にお問い合わせください |
| 修正の承認をお待ちしています… | 中リスク・高リスクの修正が承認を待っています | チャットの「この修正を承認しますか?」で 承認 か 却下 を選びます |
| 確認が完了していないシナリオが◯件あります。結果と実行条件を確認してください。 | 自動修正のあとに、未確認 などで確かめきれなかったシナリオがあります | そのシナリオの結果と AI レポートを読み、アカウントやデータを見直してから 再テスト を押します |
| 修正後もまだ失敗しているため、自動修正はここで止めました(同じ修正を繰り返さないためです)。 | 直しても同じ失敗が続きました | AIレポートで原因を確かめ、シナリオかアプリを見直してから、再テスト でもう一度確かめます |
| 修正を却下したので、自動修正を止めました。アプリは変更していません。 | 修正を却下しました | 必要なら、もう一度 AIに直してもらう(直したら自動で再テスト) を押します |
| 修正の依頼を受け付けられませんでした。時間をおいてもう一度お試しください。 | 修正の依頼を送れませんでした | 時間をおいてから、もう一度押します |
| ログインできない原因が、アプリの作りではなくデータ側(サンプルアカウントの行やパスワード)にある可能性があります。 | テスト用のアカウントでログインできませんでした | データ タブで、アカウントの表の行とパスワードを確かめてから、もう一度テストします |
| ◯件は思ったより時間がかかっているため、裏側での作業に切り替えました。完了したら「再テスト」で確認できます。 | 修正に時間がかかっています | しばらく待ってから、再テスト を押します |
AI レポートに出る言葉で分かること
| AI レポートに出る言葉 | 意味 | 対処 |
|---|---|---|
| 認証前提を確認できないため未実施 | テスト用のアカウントでログインできず、シナリオ本体は実行していません(未確認) | ログインできずに確かめられなかったとき を参照 |
| 前提データが無いため未確認 | シナリオに必要なデータが画面に1件もなく、確かめられませんでした(未確認) | 必要なデータを登録してからもう一度実行するか、データを作る手順をシナリオに加えます |
| 既に完了済みのため再実行不可 | データがすでにその状態になっていて、最初からやり直せませんでした(未確認) | データを元の状態に戻してから、もう一度実行します |
10よくある質問
「テスト」タブが見当たりません
テスト は、上部のタブの 開発 の中にあります。それでも見当たらないときは、プランが Pro 以上か確認してください。Free・Standard では表示されません。それでも見当たらないときは、ワークスペースの管理者にご確認ください。
チャットで「テストして」と送っても、テストのカードが出ません
自動テストを使えるプランでのみ、チャットにテストのカードが出ます。「このアプリをテストして」「テストシナリオを作成して」のように、「テスト」という言葉を入れて送ってください。
テストをすると、アプリのデータは変わりますか?
変わります。テストはアプリを実際に操作するため、登録・変更・削除の手順があれば、そのとおりにデータが変わります。大切なデータが入っているアプリでは、後片付け の手順を加えるなど、注意してください。
合格なら、アプリに問題はないと考えてよいですか?
合格は、そのシナリオに書いた範囲で期待どおりに動いたという意味です。シナリオにない画面や機能、見た目、画面を通さないデータの読み書きに対する権限までは確かめていません。大事な業務の流れは、シナリオとして用意しておくと安心です。
同じシナリオなのに、結果が変わることはありますか?
あります。AI が画面を見ながら操作するため、表示の待ち時間やデータの状態によって、結果が変わることがあります。一度だけの結果で判断せず、気になるときはもう一度実行してください。揺れが続くときは、手順を具体的にするか、精度重視 を試してください。
「未確認」と「失敗」は何が違いますか?
失敗 は、確かめた結果が期待と違っていたこと、手順に書いたボタンや画面が見つからなかったこと、またはログインの失敗やエラーで最後まで進めなかったことを表します。未確認 は、ログインの事前確認で止まった・必要なデータがないなど、前提がそろわず確かめられなかったことを表します。未確認のときは、アプリを直す前に、アカウントやデータを見直してください。
テストを途中で止められますか?
テストの実行中は、伴走 タブの上部と、実行中のテストのカードに テストを中断 が出ます。押すと止められます。チャットで ▶ すべてテスト や AIに直してもらう(直したら自動で再テスト) を実行しているときは、カードの 停止 で止められます。
テストの結果を、ほかの人に見せたいです
Excel に出力 して共有できます。アプリの中で共有するときは、レポート の ノートに追加 で、結果をノートに残せます。
入力したパスワードはどこかに残りますか?
保存する を押したアカウントは、パスワードを暗号化して保存し、テストを実行するときだけ使います。画面には ●●●●●●●● とだけ表示し、パスワードそのものを画面にもう一度表示することはありません。ただし、テストの実行中は、ログイン画面に入力するため、テストを実行した人のブラウザーに値が届きます。保存するのは、テスト専用のアカウントにしてください。保存せずに入れた内容は保存されず、画面を離れると消えます。どちらの場合も、テスト結果ではメールアドレスとパスワードを伏せ字に置き換えます。
保存したパスワードを確かめたいです
保存したパスワードは、画面には誰にも表示しません(テストの実行中に、ログイン画面に入力するためにブラウザーへ届くことはあります)。分からなくなったときは、正しいパスワードで保存し直してください(同じ役割とメールアドレスで保存すると、パスワードが置き換わります)。
「ログイン情報」に「保存する」ボタンがありません
アカウントの保存は、アプリを編集できる役割(開発者以上)の人だけができます。それ以外の人は、その場だけ使うアカウントを入れて実行できます。