【IT×社内検索】キヤノンITSの社内RAG運用Good評価3割

キヤノンITソリューションズの社員向けサポートセンターが、Azure OpenAI+Azure AI Searchで社内RAGを試験運用した、という事例です。

「やってみた」系の事例は山ほどありますが、この記事の価値は 228件の評価データを「内訳付き」で公開した ところにあります。 うまくいった話だけ書く事例が多いなかで、Bad評価の原因をパーセントで開示している、わりと珍しいタイプです。

僕が注目したのは「Good評価約3分の1」という数字そのものではなく、Bad原因の内訳 です。 文書不備46%、検索精度42%、生成AI精度12%。 ここを読み違えると、RAGに失敗するパターンをそのまま踏みます。

社内ナレッジ検索の課題

社員向けサポートセンターを抱える会社で、こんな構造が起きていないでしょうか。

  • 社内Q&Aがファイルサーバー・Confluence・メールに散乱
  • 検索しても出てこないので、結局ベテランに口頭で聞く
  • ベテランが同じ質問に何度も答えている
  • 新人は「どこを見ればいいか分からない」状態が続く

ここに対して「生成AI+RAGを入れれば一発解決」と思いがちですが、 実態は 入れた後に文書側の整備が始まる という順番になります。

RAGをどう導入したか

公開情報(キヤノンITS R&D本部 2025-04-22)の範囲では、以下の構成です。

  • 対象: 社員向けサポートセンターのQ&A応答
  • 基盤: Microsoft Azure OpenAI + Azure AI Search のサンプル
  • カスタマイズ:
  • 回答へのフィードバック機能(Good/Bad)
  • SSO連携(社員認証)
  • 部署別のアクセス権限制限
  • 担当: R&D本部 言語処理技術部(蔵満琢麻 シニアITアーキテクト)

ポイントは、ゼロから作らずに Azure提供のサンプルを土台にして社内向けにカスタマイズした 点です。 PoCを軽く回したいなら、この入り方は中小企業でも同じ構図で使えます。

228件評価の内訳と実態

公開資料で報告された主要な数値はこちらです。

  • 評価件数: 228件
  • Good評価: 約3分の1(およそ76件)
  • Bad原因の内訳:
  • 文書側の不備: 46%
  • 検索精度の問題: 42%
  • 生成AIの精度: 12%

注目したいのは、Badの 88%が「文書」または「検索」起因 で、生成AI自体の問題はわずか12%だということです。

「LLMの性能不足」が原因と思って高いモデルに乗せ替えても、効きません。 削るべきは 元データの整備検索ヒット率 です。

中小企業で再現するなら

ここからが本題です。年商5億規模、社員30名くらいの会社で同じ思想を取り入れるならどう削るか。

構成

項目 キヤノンITS試験運用 中小企業(年商5億・社員30名)
対象 社員サポートセンター 総務・情シス兼任の問い合わせ窓口
基盤 Azure OpenAI + Azure AI Search 同左 or Azure AI Foundry(2026年4月時点、要最新価格確認)
月額費用 (非公開・社内利用) 推定 月3〜10万円(利用人数とトークン量次第)
初期費用 推定大規模 推定 50〜150万円(文書整理+RAG構築+SSO連携)
体制 R&D専門チーム 情シス1名+外部支援月10時間
期間 段階展開 2〜3ヶ月でPoC→社内限定運用

評価軸スコア

評価軸 スコア
ROI(投資対効果) ★★★☆☆
再現性(中小企業) ★★★☆☆
難易度(低いほど簡単) ★★★★☆

(難易度=数字が大きいほど難しい)

スコア根拠は以下です。

  • ROIは中程度。文書整備が必須なので、効果が出るまで助走期間が長い
  • 再現性は中程度。Azureサンプルがあるとはいえ、SSOと権限制御で詰まりやすい
  • 難易度は高め。228件評価の結果が示すとおり、文書整備が最大の作業

前提条件・必要データ

  • 社内Q&A・マニュアル・FAQが電子化されている(紙のみは厳しい)
  • どの部署のどの文書を見せるかのアクセス権限ルールがある
  • 「Bad評価が出たら誰が見直すか」の運用担当が決まっている
  • 認証基盤(SSO)が既にある、または導入予定がある

失敗条件・適用しないケース

  • 文書整備に手を入れず「AIの賢さで何とかなる」と期待する
  • 評価フィードバック(Good/Bad)を集めても、誰も内訳を見ない運用
  • アクセス権限の設計を後回しにして、機密文書まで全社検索可になる
  • LLMモデルを高性能版に変えれば精度が上がる、と思い込む

「Azureサンプルを入れればRAGが動く」のは正しいです。 ただ、動くRAG ≠ 使えるRAG です。

228件のBadのうち88%が文書・検索起因、というキヤノンITSのデータは、 「文書整備を先にやれ」という遠回しなメッセージとして読みたいところです。

出典・参考


市野

市野

「うちの社内ナレッジ検索にRAGをどう入れればいいか」と悩んでいる方は、 無料相談(30分)で具体的にお話しします。 営業はしません、純粋にケース壁打ちです。 → 無料相談を申し込む

愛知県岡崎市でAI活用支援を手がける一人社長。 中小企業の現場でAIを実装してきた経験から、他社事例を「うちで再現するには」の視点で読み解いて発信中。

市野 佑馬
執筆メンバー 市野 佑馬

愛知県岡崎市を拠点に、中小企業向けのAI活用支援を提供。ChatGPT・Claude Code等を活用した業務自動化やSEO・広告運用の内製化を支援。経営者が自らAIを使いこなせる体制づくりをサポートしている。

>>詳細なプロフィールはこちら
タイトルとURLをコピーしました