ブログ

「Copilot365」に要件定義ぶん投げて、総合テスト項目を作ってもらおう~。

【投稿者】彷徨う饂飩

 と、言うことで、ざっくりした要件定義(添付ファイル・シート「要件」)をCopilot365へぶん投げて、「総合テストのテストケース」を作成して」とお願いしました。

 お、結構細かく出てきた模様。(添付ファイル シート「作成されたテストケース」)
https://www.sancom.co.jp/wp-content/uploads/2026/11/Copilot365でテストケース.xlsx

 それぞれのケースで補完しあっているのでしょうが、今回は「総合テストケース」に絞って見ることにします。
 さすがに全ケース確認は、膨大になる・・・。

 まあ、ところで。
 なんで、利用者:管理者がないんでしょうね。
 あと、領収書が添付されていての正常申請の項目は入ってないんですね
。

 領収書有無については「領収書添付テスト」でやるから良い、という見方はあります。
 ただ、こういう一番最初にやるような正常系テストって、後で改訂が入った時のデグレ確認でよく使われるんですよね。
       ※これと最後の方の業務シナリオテストが良く使われます
 それを踏まえると、正常ルートのテストケースは、ルートを網羅しておきたいとなります。

 AI結果で不足と感じるのは
  ●申請者が「管理者」の時に、正常申請・承認ができるか
  ● 領収書が添付されていても、正常申請ができるのか。
 あくまで、私目線ですが。

 いささか極端ですが、
 「一般社員:Aさんの申請は正常に通るが、管理者:Bさんは一般社員じゃないから通らない」なんて可能性のバグも、あるわけです。
 そんな馬鹿なプログラムはない?
 そんな馬鹿な、がバグです。

 領収書有無もそうですね。
 「なんか変なファイルくっついてるからはじく」可能性もある。
 そんな(略
 そんな(略

 まあ、そもそものAIへの依頼の仕方が乱暴すぎるわけです。
 おおざっぱな要件定義放り込んで、ほなテストケース作ってー、とだけ言われたら、まぁたいていの方は「おふざけが過ぎてませんこと?(扇子ぱちり)」になる、と。

 ざっと目につく変化は
  ●(旧)TC-001/002の内容 それぞれの利用者が、一般者と管理者が設定されている
  ●(旧)TC-001/002の入力条件から、領収書の条件が削除された
  ●承認申請フローのテスト内容が、経費種別毎ではなく利用者毎になった。
 ですね。
 後発要求は満たされたけど、当初から削られた部分もある。
 また、「経費種別」よりから「利用者」よりの内容になったという感じですか。特に申請承認。
 当然なのでしょうが、後から入力されるプロンプト内容の方が重視される感はある。
 では、領収書の有無についても、入力条件に加えてもらいましょう。
              (添付ファイル シート「総合テストケース比較」の(3))

 ここで、今まで10,000固定だった金額に、条件違いが出ています。
 領収書有無の条件を付けることで、仕様の「申請金額が50,000円を超える場合は領収書添付必須」が反映されるようになったわけです。

 ただ、ここでもひねくれたテスターは考えてしまうわけです。
 「50,000円超の金額は領収書必須だが、50,000円以下の金額時に領収書がくっついてても、正常に通る?」
 まあ、「領収書添付テスト」に入っているはずの項目・・・って、なかったわ。
                 (添付ファイル シート「作成されたテストケース」)
【テスト設計上のポイント】で、

 と言っていて、
    50,000円以下 + 添付あり
 は入っていない。(まあ、最低限と言ってますからね)
 これはどっちかと言えば、仕様記述の問題になってきますね。50,000円以下についての仕様が書かれていない。
 50,000円以下のものについて領収書添付は不要ですが、不要だから添付ファイルがあったらエラーにするか、スルーするか。
 ここは人間側が考えて、仕様を確認して追加する項目と言えそうです。

 ここまで、Copilotに入力しているプロンプトは正直ものすごく雑です。
 おおざっぱな要件定義放り込ん(前述。
 なので、「ここまでの内容をまとめてプロンプト化して」とやってみます。                    
                   (添付ファイル シート「まとめたプロンプト」)

 最初からこれくらいのプロンプトを作成するのが本筋なのでしょうが。
 そもそも生成AIにテストケース作成をぶん投げる時点で、「できるだけ時短したい(手を抜きたい)」があるわけでして。
 テストケース作成には
     AIに対して次々要求しながら、途中でプロンプトをまとめ、
                そこへさらに自分視点を加えて作成させる、を繰り返す
 というのが良いかなという感じですかね。
 自分視点、はテスト項目作成者の技術と経験が生きてくる場面です。
 現時点ではこのプロンプトに
   ●50,000円以下 + 添付あり
   ●中間値試験の追加
     意外と中間値試験って無視されがち。まあ大体のバグは境界値で起きますが・・・。
 をしたい、というところ。

 最後に。
 作成してもらったプロンプトで、そのまま新しいチャットで作ってみましょうか。
              (添付ファイル シート「作成されたテストケース(2)」)
とりあえず、また総合テストケースだけ比較。
              (添付ファイル シート「総合テストケース比較」の(4))

 結構変わったな

 よく見たら最初の作成時から、「 未承認一覧・ 承認済一覧」という、最初の要件には入ってない機能が入ってる。
 (1回目の「承認機能テスト」の項目で追加されてる)
 確かにないと、承認ができなさそうな機能ではあるけど。
 要件がおおざっぱすぎではあるけれど。

 ひょっとしてテストケース作成に都合のいい機能が勝手に追加される、なんてこともあるんだろうか・・・。

最後に一抹の不安が残ってしまった。

関連記事

  1. 6日朝の青森市内

  2. トレードオフ

  3. 午前中にはみぞれが降りましたが

  4. 宣言!

  5. 東京・大阪・京都 写真スナップ旅レポート ~その1~

  6. 決起大会&懇親会を開催しました!

カテゴリー