2025年10月28日
担当理事：矢内原 仁
日本臨床泌尿器科医会 Chat BOT 開発経過および中止報告
日本臨床泌尿器科医会では、2024年10月に、AWSの大規模言語モデル（LLM）を基盤とした泌尿器科診療支援用Chat BOTを公開させていただきました。開発費用は、日本臨床泌尿器科医会会員有志による寄付により賄われることとなりました。
当初の計画では、Chat BOTのナレッジとして、インターネット上の情報源、医薬品添付文書、泌尿器科学会の了承を得たガイドライン、診療報酬点数表などを取り込み、臨床現場で有用な回答を生成することを目指しておりました。
しかし、運用開始後、以下の課題が明らかとなり、その解決が困難であり、また汎用生成AIの発展がきわめて急速に進んでいることを鑑み、本Chat Botの運用を中止することとなりました。
- アクセス方法の複雑さ
無料でLLMにアクセスできる方法を採用した結果、利用手順が煩雑となり、取扱いに不慣れな会員にとってはアクセス自体が負担となった。 - ナレッジ容量の最適化問題
ナレッジを拡大すれば回答精度が向上するとは限らず、「情報を含むこと」と「LLMが情報を的確に活用できること」は別問題であることも明らかになりました。ナレッジを小さくすると回答が不十分となり、逆に大きくすると応答時間が著しく長くなり、ハルシネーション（誤情報）の発生頻度も増加していました。ナレッジが大きい場合、データ通信も大きくなり、コストが跳ね上がるため、いずれにしろナレッジの容量を大きくすることは現実的ではありませんでした。 - ナレッジ構造の不整合
ガイドラインPDFは印刷物としては整っているが、構造が複雑でタグ情報も乏しく、LLMが十分に理解・解析することが困難でした。ガイドライン全体をできる限りテキスト化してナレッジに掲載し、可能な限りタグ付けを試みたが、十分な回答生成に至ることができませんでした。
また、厚生労働省が提供する診療報酬点数表PDFは、文字の解像度や全角文字、不規則な空白・改ページ、多数の例外条件などにより、LLMでの理解がほぼ不可能なことも問題でした。インターネット上の他ソースを用いて、全角文字などの問題を除去しても、現実的な複雑すぎる構造など、それ以外の課題が解決できませんでした。 - 薬剤の添付文書データ形式の課題
泌尿器科領域の薬剤添付文書をPDF形式で読み取った段階では回答精度が不十分でしたので、PMDA提供のXML形式データを新たに導入し、精度向上を検討しました。その結果、一定の改善は認められたが、専門家が納得できる水準には至りませんでした。
以上のとおり、臨床泌尿器科医会が試みたChat BOT開発においては、ナレッジ構造とデータ形式がLLM活用の鍵であることが明らかとなりました。本報告が、今後同様の取り組みを行う際の参考となれば幸いと考えております。