自動テストで動作を確かめる(入門)
作ったアプリの画面を AI が実際に操作して、思いどおりに動くかを確かめる機能です。「ログインして案件を登録できるか」「担当者には管理メニューが見えないか」のような確認を人の代わりに行い、結果を残します。
🔒 自動テストは Pro 以上のプランでご利用いただけます。Free・Standard では、画面に自動テストの入口が表示されません。プランごとの違いは サービスとプランの違い を参照してください。
🔒 自動テストは Premium 以上のプランでご利用いただけます。
このページは、はじめて使う方向けの入門です。シナリオの書き方・ログインが必要なアプリ・結果の読み方・Excel への出力などの詳しい使い方は、自動テストの詳しい使い方 にまとめています。
① シナリオを用意→
② ▶ 開始→
③ AI が画面を操作→
④ 結果を見る→
⑤ 失敗なら直す
自動テストとは
「何をして、どうなれば正しいか」を書いたもの(シナリオ)を用意すると、AI がアプリを開いてボタンを押し、文字を入れ、画面に出ている文字を読み取って、シナリオどおりに動くかを判定します。
してくれること
- 画面を操作して確かめる:ボタンやメニューを押す、入力欄に文字を入れる、Enter キーを押す、表示を待つ、といった操作を行い、画面に出ている文字を読み取って判定します
- 確かめる内容を提案する:アプリの仕様書をもとに、シナリオの例を AI が提案します。チャットで頼んで作ってもらうことも、自分で書くこともできます
- ログインが必要なアプリも確かめる:ふだんはアプリのデモログインのボタンでログインしてから操作します。役割(管理者・担当者など)ごとの見え方も確かめられます。決まったアカウントを保存して使うこともできます
- 結果を残す:シナリオごとに実行の履歴と AI のレポートが残ります。Excel でダウンロードして、社内の報告などに使えます
- 失敗を直す入口になる:失敗した結果から、そのまま AI に修正を頼めます
してくれないこと
| しないこと | どういうことか |
|---|---|
| シナリオに書いていないことの確認 | 確かめるのはシナリオに書いた範囲だけです。全部合格でも「アプリのすべてが正しい」という意味ではありません |
| サーバー側の権限チェックの確認 | AI は画面の操作だけでテストします。「担当者にはボタンが見えない」ことは確かめられますが、画面を通さずにデータを読み書きしようとしたときにサーバーが本当に断るかまでは確かめません |
| 見た目(色・配置・デザイン)の確認 | AI が読み取るのは、画面にあるボタン・入力欄・文字です。色やレイアウトのくずれは判定の対象ではありません |
| アプリの修正 | テストは確かめるだけで、アプリは直しません。直すときは、結果から修正を頼みます |
| 手順ごとの合否の記録 | 判定はシナリオ全体で1つです。「何番目の手順で失敗したか」は、AI レポートの文章で読み取ります |
| 画面の写真(スクリーンショット)の保存 | 結果として残るのは、判定・AI レポート・見つかった問題の文章です |
使う前に知っておくこと
⚠️ テストは、アプリの実際のデータを作成・変更・削除します。練習用のデータではなく、そのアプリに入っている本物のデータを使って操作します。
- 登録・変更・削除の手順があれば、そのとおりにデータが変わります。テストで登録したデータは、消す手順を書かない限り残ります
- 大切なデータが入っているアプリでは、削除や一括変更を含むシナリオを実行しないでください。どうしても確かめたいときは、先に データ を CSV で書き出して控えを取っておくと安心です
- テストで作るデータには、ほかと区別できる名前を付けます。例:「テスト案件A」。あとから見つけて消しやすくなります(作ったデータの後片付け)
- テスト用のアカウントを使います。アカウントを指定するときは、実際の業務で使っている大切なアカウントではなく、テスト専用のアカウントにしてください。保存したパスワードは暗号化して保存し、画面にもう一度表示することはありません。ただし、テストの実行中は、ログイン画面に入力するため、テストを実行した人のブラウザーに値が届きます
- 同じシナリオでも、結果が変わることがあります。AI が画面を見ながら操作するため、表示の待ち時間やデータの状態で結果が揺れます。一度の結果だけで判断しないでください
- AI クレジットを使います。シナリオの提案とテストの実行で消費します(クレジット)
1最初の5分:1件作って実行し、結果を見る
テストタブから、AI の提案を使って1件だけ実行してみます。
- アプリを開き、上部のタブの 開発 から テスト を選びます。テストシナリオ の一覧が開きます(はじめは「テストシナリオがありません」と表示されます)
- 右上の + 追加 を押します。UIテスト の画面が開きます
- AI提案 の欄の 生成 を押します。少し待つと、提案されたシナリオの名前がボタンになって並びます
- 確かめたいシナリオのボタンを1つ押します。タイトル・説明・テストステップ・期待する結果 に内容が入ります
- テストステップ を読み、書かれているボタンや画面が実際のアプリにあるかを確かめます。違っていたら、画面の表示どおりに書き直します。削除の手順が入っていて困るときは、その行を消します
- 保存 & 実行 を押します。ブラウザの新しいタブでアプリが開き、右上に「🤖 AI がテスト中…」と表示されて、AI が操作を始めます
- テストタブでは、そのシナリオの詳しい画面が開き、シナリオ名の下に 実行中、画面に「AIがプレビューを操作中...」と表示されています。数十秒〜数分ほど待ちます
- 終わると、実行中 の表示が 合格 ✓ や 失敗 ✗ などに変わります。上部の レポート を押すと、AI が何をして何を見たか(AIレポート)を読めます
ブラウザがポップアップ(新しいタブ)を止めた場合は、新しいタブの代わりに、アプリの プレビュー の画面でテストが進みます。テストが終わるまで、AI が操作している画面は閉じたり触ったりしないでください。
ログインが必要なアプリでは、AI がログイン画面のデモログインのボタン(「〇〇で試す」など)を押して入ってから操作します。特定の役割で確かめたいときは、手順に「点検者としてログインする」のように書きます。くわしくは ログインが必要なアプリ を参照してください。
2結果の読み方(いちばん大事なところ)
| 表示 | 意味 | 次にすること |
|---|---|---|
| 合格 ✓ | シナリオどおりに操作でき、期待する結果を確かめられました | そのままで大丈夫です |
| 失敗 ✗ | 期待と違う結果だった、手順に書いたボタンや画面が見つからなかった、またはログインの失敗やエラーで最後まで進めなかった状態です | AIレポートを読み、アプリの不具合なら直します。シナリオの書き方が原因なら、シナリオを直します |
| 未確認 | ログインできなかった、必要なデータがなかったなど、前提がそろわず確かめられなかった状態です。アプリの不具合とは限りません | アカウントやデータを見直して、もう一度実行します |
| 未完了 | テストが最後まで進まずに止まりました | 手順を短く分けるなどして、もう一度実行します |
ほかに、判定を読み取れなかったときの 判定不明 と、まだ一度も実行していないシナリオの 未実行 があります。くわしくは 結果の見方 を参照してください。
3次にすること
- 確かめたいことを、自分の言葉でシナリオにする → シナリオを作る3つの方法・良いシナリオの書き方
- 役割ごとの見え方を確かめる → ログインが必要なアプリ
- 失敗を直す → 失敗したときに直す
- 結果を社内に報告する → Excel への出力