生成AIによって、プロトタイプや新機能を素早く形にできるようになりました。一方で、「一度はうまく動いたが、条件が変わると期待どおりの回答にならない」「技術的には問題がなくても、ユーザーに役立つか判断できない」といった難しさもあります。
同じ入力でも出力が変わり得るAIプロダクトでは、仕様どおりに動くかだけでなく、何を「良い回答」「良い体験」とするのかを定め、実際の利用から継続的に学ぶ評価設計が必要になります。
今回は、弊社で開発しているAIエージェント向けコンテキスト基盤「Phennec（フェネック）」のQAを担当し、ドッグフーディングにも携わるマケイさんと、UXデザイナーの菅原さんにインタビュー。AIプロダクトの評価が注目される背景や開発現場での気づき、さらにQAとUXのそれぞれの領域で、AIプロダクトの品質をどう高められるのかを伺いました。
なぜ今、AIプロダクトの「評価設計」が重要なのか
従来のシステム開発では、定めた要件や仕様どおりに実装されているかをテストすることで品質を確認できました。しかしLLMを組み込んだプロダクトは、入力の表現や参照情報、利用するモデルなどによって出力が変化します。「想定した文章と一致したから合格」という判断だけでは不十分です。
そこで注目されているのが、AIシステムが目的に沿った結果を返しているかを、テストデータや評価基準で継続的に確かめる「Eval（イーバル）」です。AI評価ツールを提供するBraintrustは、この変化を「Evals are the new PRD」と表現しています。構造化された評価項目やテストが、仕様や受入基準、改善の方向性を示すという考え方です。
菅原さんは、AIによって開発が高速になるほど、企画・設計段階に評価を組み込む重要性が増すと話します。
「従来はUXデザイナーが前半、QAエンジニアが後半に入ることが多くありました。しかし開発が速くなると、後から認識の違いが分かったときの手戻りも大きくなります。何を良い状態とするのかを設計段階から考え、評価の仕組みを先に持つことが重要です」（菅原さん）
テストや品質確認を早い段階へ移す考え方は「シフトレフト」と呼ばれます。誰にどのような価値を届け、何を満たせばリリースできるのかを先に定義する。AIプロダクトの評価は、最後の関門から開発全体の方向を定める役割へ変わりつつあります。
リサーチエンジニアが担う役割や、AIプロダクトで評価設計が求められる背景については、こちらの記事で解説しています。
AIプロダクトの品質は「一度うまく動く」だけでは測れない
AIの出力品質は、LLMの性能だけでなく、入力内容、参照データ、接続する外部ツール、ファイル形式などの組み合わせで変化します。そのため、代表的な操作が一度成功しただけでは、実際の利用環境でも安定して価値を提供できるとは判断できません。
弊社が開発するPhennecは、社内に散在する情報を整理し、AIエージェントに必要なコンテキストを提供するAI OS エージェント基盤です。現在は開発・改善と並行し、社内でのドッグフーディングを通じて、さまざまな利用条件における品質を検証しています。
マケイさんによると、PhennecのQAでは、画面やAPIの動作に加え、接続した情報源から必要な情報を取得し、ユーザーに有用な回答を返せているかまでチェックしているとのこと。
「LLMや接続先、データの量や形式など、確認すべき組み合わせが多くあります。一度うまくいっても品質が担保されたとは言えません。モデルや参照情報、データ量など条件を変えながら複数回試し、ばらつきがあれば影響した要素を調べます」（マケイさん）
テストデータの作成や一次評価にはAIも活用しますが、AIが適切だと判定した回答が、人間の業務に実際に役立つとは限りません。
「AIは『適切な回答』と判断しても、人が使うと『業務には役立たない』と感じることがあります。利用者に価値があるかは、人が触って初めて見える部分があります」（マケイさん）
自動評価は大量のケースを確認するうえで有効です。ただし評価基準がユーザーの目的とずれていれば、高い点数でも良いプロダクトにはなりません。システムとして正しく動くかと、実際の業務に役立つか。その両面を見る必要があります。
弊社のAIプロダクト「Phennec」の評価・テスト自動化への取り組みについては、こちらの記事で解説しています。
テスト自動化のその先へ──エージェント中心のソフトウェア時代 – AI
開発側の想定を超える使われ方を、どう評価に取り込むか
事前のテストケースは、開発側が想定した使い方が中心です。しかし実際の使い方は、ユーザーの役割や業務、AIへの理解度によって変わります。Phennecでは、自社の社員が開発中のプロダクトを業務で使う「ドッグフーディング」を行っています。
開発初期は、意味の近さから情報を探すセマンティックサーチを重視していました。ところが実際には、特定のURLやフォルダを指定して「この範囲だけから探してほしい」と依頼する利用者も多くいました。開発側が重視する機能と、現場が求める使い方の差は、実利用を通じて初めて見えてきます。
当初は十分なフィードバックが集まらない課題もありました。利用者がPhennecの仕組みや制約を把握できず、起きていることが不具合か、現在の仕様によるものかを判断しにくかったためです。
そこでマケイさんは、社員向けオンボーディングを見直し、Googleフォームでフィードバックを集める形式からSlackのDMで気軽に相談できる運用へ変更。「この使い方で合っていますか？」という段階から会話できるようにしたことで、寄せられる声が圧倒的に増えました。
「声を集めるだけでなく、どう改善へつなげたかを利用者に返すことも重要です。信頼関係を作ることで継続的に使ってもらうことにつながり、次の課題を見つけるきっかけにもなります」（マケイさん）
ドッグフーディングは、不具合を探すだけでなく、開発側とユーザーの認識差を把握し、評価項目や改善の優先順位を見直す役割も果たします。声を伝えやすい接点を作り、背景を引き出し、改善結果を返す。フィードバックを得る体験そのものが、評価の質を左右します。
AIプロダクトの評価には、ユーザーとの「共通理解」が欠かせない
AIプロダクトを適切に評価するには、ユーザーと開発・運営側が、目的や仕様への共通理解を持つ必要があります。どの業務で使い、何を参照でき、どこまでの回答を期待できるかが共有されなければ、同じ出力でも評価が分かれるからです。
たとえば、ユーザーは元のツールで情報を閲覧できても、AIエージェントには参照権限がない場合があります。「情報があるのに答えてくれない」ように見えたとしても、実情は権限やガバナンスを守る仕様どおりの動作かもしれません。機能だけでなく、想定する使い方や参照範囲、制約まで伝えることが重要です。
「AIと一括りにされがちですが、LLMそのものとRAGを用いたシステムでは仕組みが異なります。Phennecが何を参照し、どんな制限のもとで情報を扱うかを説明し、共通理解を作ることが重要です。安心して回答を信じられるかも、大きな品質だと思います」（マケイさん）
「『共通理解』は重要ですね。AIプロダクトは評価の観点や結果の解釈がブレやすいため、評価するユーザーを見据えて分析する運営側で基準や認識をそろえる必要があります。目標や解釈を話し合う方法として、ワークショップやリサーチも活かせると思います」（菅原さん）
マケイさんは参照情報や制約の理解から、菅原さんは評価基準と解釈の共有からの知見を話してくれました。専門領域は異なっても、「同じ前提に立たなければ適切に評価できない」という問題意識は共通しています。
前提がそろえば、寄せられた声を、技術的な不具合、仕様どおりの動作、満たせていないニーズへ整理しやすくなります。共通理解は利用前の説明にとどまらず、有効な評価データを集め、信頼されるAIプロダクトを作る土台となります。
UXリサーチは、AIの評価設計に何を加えられるか
PhennecのQAとドッグフーディングからは、「誰が、どの状況で使うのか」「その人にとって何が良い結果か」を評価へ組み込む必要性も見えてきました。ここにUXの知見を活かせます。
菅原さんは、まずエンドユーザーの定義が重要だと話します。同じ会社や職種でも、担当業務や権限、利用経験によって、求める情報や評価基準は異なります。
「フィードバックする人の立場が違えば、同じ回答への評価も変わります。ペルソナやターゲットがずれると、その後の評価項目もずれるため、入り口でエンドユーザーを具体的に定義することが重要です」（菅原さん）
UXの知見はフィードバックの調査設計にも活かせます。質問を出すタイミングや聞き方、選択肢の数・順序によって、回答率や結果には偏りが生まれます。また「分かりやすい」「業務に役立つ」「信頼できる」といった評価項目も、人によって解釈が異なります。誰に、いつ、何を、どう聞くかを設計し、評価尺度の意味をそろえることが、改善に使えるデータにつながります。
AIの導入効果も、利用率や削減時間だけでは測れません。どの業務課題を解決し、ユーザーや組織にどんな変化を生みたいのか。その目標から指標を設計する必要があります。
QAとUXが企画段階から評価を考える開発へ
QAエンジニアは、システムやデータ、連携先、利用条件を検証し、失敗のパターンを見つけます。UXデザイナーは、対象ユーザーや業務を理解し、どのような体験を価値とするか、どうフィードバックを集めるかを設計します。
弊社でも、QAエンジニアとUXデザイナーがそれぞれの専門性を生かしながら、AIプロダクトの評価における連携のあり方を実践・検討しています。評価対象がAIプロダクトへ広がったことで、両者が扱う課題はこれまで以上に重なり始めています。
企画段階で対象ユーザーと成功条件を定め、開発中に検証し、運用後はドッグフーディングやフィードバックから学ぶ。その結果を次の評価と改善へ戻す循環が必要です。AIによって開発が速くなるからこそ、合意形成や意思決定の質を支えるQAとUXの連携が重要になります。
信頼されるAIを支える、AI OS エージェント基盤「Phennec」
弊社では、企業内に散在する情報を整理し、AIエージェントへ適切なコンテキストを提供するAI OS エージェント基盤「Phennec」を開発しています。
Phennecは複数の情報ソースを統合し、ユーザーの権限や企業のガバナンスを保ちながら、業務に必要な情報をAIエージェントへ届けます。特定のLLMやAIツールに閉じず、既存環境を活かして組織固有の知識をAIが参照できる状態を整えます。
今回紹介したQAやドッグフーディングも、Phennecの開発・運用から得られた実践知です。適切な情報を参照し、有用な回答を返し、安心して利用できる状態かを継続的に検証しています。
AI OS エージェント基盤「Phennec」について詳しく見る
Phennec開発現場からの声を発信するnoteがスタート！ぜひこちらもご覧ください。
まとめ——QAとUXの知見を、これからのAI開発へ
AIプロダクトの品質は、出力の正確性だけでは決まりません。参照情報や権限が適切に管理され、ユーザーがAIの特性や制約を理解し、その結果を信頼して利用できることが重要です。
そのためには、企画・設計段階から「誰の、どの課題を解決するのか」「何を良い結果とするのか」を考え、実際の利用から継続的に学ぶ必要があります。
弊社では、AI駆動開発を組織の開発プロセスとして定着させる「AI駆動開発内製化プログラム」を提供しています。今後、その取り組みの中で、QAとUXの知見を活かし、AIプロダクトの評価観点や成功基準について共通理解を作るワークショップの提供も検討しています。
技術、品質、ユーザー体験を分断せず、信頼されるAIプロダクトを育てていく。今回の対話を起点に、アイスリーデザインではこれからの評価のあり方を探っていきます。
アイスリーデザインでは、AI駆動開発の運用設計からチームへの定着、効果計測まで一気通貫で伴走します。
マケイ・シュローダー／QAエンジニア
PhennecのQA、ドッグフーディングのオンボーディングやフィードバック窓口を担当。
菅原 大介／UXデザイナー
ユーザー調査や評価指標の設計を通じ、プロダクト開発における顧客理解と意思決定を支援。