SiteAskで始める、AI導入のPoC

AIを「使う」から、「運営・改善する」へ

AIを業務や顧客体験に活かすためには、AIを使う経験だけでなく、AIを運営する経験も重要です。

AIチャットに質問するユーザーと、自社の情報をもとに社員や顧客へ回答を提供する運営側では、求められるスキルが異なります。運営側には、AIが参照する情報を用意し、回答の正しさを検証し、問題があれば情報や設定を改善するノウハウが必要です。

こうしたスキルは、AIを利用するだけでは身につけにくいものです。実際に評価と改善を繰り返すことで、AIに任せられること、人による確認が必要なこと、本格導入に向けて整えるべきことが見えてきます。

その第一歩となるのが、PoCです。PoCとは、本格導入の前に、有効性や課題を確かめるための検証です。AIが使えるかを試すだけでなく、自社でAIを評価・改善する力を身につける機会として取り組むことができます。

AIの運営スキルを学ぶPoCの課題

AIの運営スキルを組織として身につけるには、関係者が取り組みの意義を理解し、自分たちの知識を活かして評価・改善に参加できることが重要です。

そのためには、検証の目的が分かりやすく、担当者が回答の正しさを判断できるテーマを選ぶ必要があります。また、AIが参照する情報の範囲を明確にし、機密情報の取り扱いや、情報を検索・参照できる状態に整える準備負担も考慮しなければなりません。

複数部門の情報を扱う場合には、情報の整理や関係者との調整が増えることもあります。AI基盤の構築やシステム改修に多くの時間を費やすと、担当者自身が回答の評価や改善に取り組むまでに、相応の負担が生じます。

専門家の支援は有用ですが、検証を任せきりにしてしまうと、自社に運営ノウハウが蓄積されにくくなります。大切なのは、必要な支援を受けながらも、担当者自身が問題を見つけ、改善を試し、その結果を確かめられることです。

準備にかかる負担を抑え、自社主導で評価と改善を繰り返し、その成果を次の取り組みに残せること。 これが、運営スキルの習得を目指すPoCを選ぶ際のポイントです。

SiteAskがAIのPoCに適している理由

SiteAskは、自社の公開Webサイトを情報源に、AIが検索・参照するためのデータを自動で構築・更新します。担当者がAI基盤や検索用データを一から構築する負担を抑え、回答の評価と、情報・設定の改善に取り組めます。

そのため、AIの運営スキルの習得、AIチャットの回答品質の改善、Webサイトの情報提供力の向上を、ひとつの取り組みの中で目指すことができます。

既にある公開Webサイトから始められる

SiteAskでは、公開済みのWebコンテンツをAIの参照情報として活用します。PoCのために専用の情報を一から用意したり、社内の機密文書を集めたりすることを前提としません。

自社の製品やサービスなど、担当者が内容を理解している情報を使うため、AIの回答が正しいか、重要な条件が抜けていないかを判断しやすいことも特徴です。

サイト全体を情報源としながら、検証するテーマは特定の製品やサービスから始めることもできます。目的や参加体制に合わせて、評価する範囲を広げられます。

各部門が、自分の知識を活かして参加できる

AIの評価には、技術の知識だけでなく、回答内容についての知識が必要です。

SiteAskのPoCでは、AI担当者に加え、サイト管理者、製品担当者、営業担当者などが、それぞれの担当領域の評価に参加できます。普段受けている質問や、誤解されやすい条件を持ち寄ることが、AIの回答品質を見直すきっかけになります。

自分たちが知っている情報をAIがどう扱うかを確かめることで、AIの運営を一部の専門家だけの仕事にせず、複数部門で学ぶ機会にできます。

導入・停止に伴うシステム改修を抑えられる

Webサイトへのチャットの設置・撤去は、タグの追加・削除で対応できます。社内で新たなシステムを開発する必要がなく、最短2週間で導入できるため、環境の準備にかかる負担を抑えられます。

初期費用や利用枠を事前に確認したうえで、所定の利用枠内では月額定額で利用できます。検証後に継続する場合も、利用していた環境をそのまま活用できます。

自社主導で評価と改善を進められる

SiteAskでは、管理ツールでの設定変更とWebコンテンツの改善を通じて、担当者自身がAIの回答品質の改善に取り組めます。

すべてを自社だけで解決する必要はありません。専門家のサポートを受けながら、どのような問題があり、なぜその改善を行うのかを理解し、結果を確かめることが重要です。

検証を外部に任せるだけでなく、自ら試行錯誤することで、AIを運営するための判断力やノウハウを蓄積できます。

PoCで得た成果を、その後も活用できる

PoCを通じて修正・追加した情報は、自社Webサイトのコンテンツとして残ります。情報不足や矛盾を解消する取り組みは、AIの回答改善だけでなく、通常のサイト閲覧者への情報提供にもつながります。

また、質問セットや評価基準、改善事例、運用ルールも、自社に残る成果です。SiteAskを継続利用する場合はもちろん、別のAI導入を検討する際にも、比較や判断の材料として活用できます。

SiteAskにおけるAIチューニング

ここでいうAIチューニングとは、AIモデル自体を再学習させることではなく、参照情報や検索・回答の設定、ガードレールを見直し、回答品質を改善する取り組みです。

SiteAskでは、あらかじめ用意した想定質問と、実際の利用者から寄せられた質問をもとに、回答を検証します。その結果から問題の原因を調べ、改善し、再び確かめることが、PoCにおける中心的な活動となります。

想定質問で、AIに求める対応を明らかにする

想定質問は、AIに求める対応範囲と回答品質を具体化したものです。どのような質問に、どのように対応してほしいかを整理することで、検証の基準が明確になります。

AIに期待する対応は、大きく次の3つに分けられます。

検証では、期待する対応になっているかに加え、回答内容の正確さ、必要な条件の有無、引用元との整合性も確認します。

改善前後は共通の質問で比較し、修正した問題だけでなく、以前は適切に対応できていた質問に悪影響が出ていないかも確かめます。実際の会話で見つかった新たな質問も加えながら、評価の範囲を見直していきます。

原因を切り分け、情報や設定を改善する

期待する回答にならない場合、原因はプロンプトだけにあるとは限りません。元のWebページに情報がない、更新内容が取り込まれていない、検索で必要な情報を見つけられないなど、問題が生じている場所を見分けることが重要です。

こうした評価と改善を繰り返すことで、AIが情報をどう扱い、どこで問題が起こるのかを理解できます。

AIチャットの回答品質とWebサイトの情報提供を改善しながら、どのような修正が有効なのか、どこに人の確認が必要なのかを判断する経験を積むことができます。

PoC成果の検証

PoCは、期間を定め、取り組みの成果と次の方針を確認します。

月1回程度のWeb更新を行う企業では、初期評価、3〜4回の改善・再評価、最終評価を含め、SiteAskのPoCは6か月程度が目安です。更新頻度や参加体制に応じて期間を調整し、途中でも成果と継続方針を確認します。

評価と改善の過程を記録する

PoCでは、会話や利用状況のログに加え、担当者が作成する評価・改善の記録を整理します。

なお、参照情報が公開済みであっても、利用者が入力する質問や会話ログの取り扱いには配慮が必要です。

自社で評価・改善できるようになったかを確かめる

PoCの成果は、参加人数や実施したテストの件数だけでは評価しません。担当者が、質問の設計、回答の評価、問題の切り分け、改善と再検証を、どこまで自社で行えるようになったかを確認します。

あわせて、回答品質の変化、Webコンテンツの改善、必要となった運用工数を整理します。サイトへの貢献についても、利用状況の数値だけでなく、閲覧者が必要な情報にたどり着けたかという観点で確認します。

これらを通じて、AIに任せられる範囲、人の確認が必要な範囲、専門家の支援が必要な範囲を明確にします。得られた質問セット、評価基準、改善事例、運用ルールは、SiteAskの継続利用だけでなく、次のAI導入を検討する際の判断材料となります。

SiteAskのPoCは、AIを導入して終わる取り組みではありません。自社Webサイトという身近な情報源を使い、AIを評価・改善し、運営する力を育てるための第一歩です。