
泌尿器科のためのChatBOTについて
2024/10/8
このたび、みなさまにご寄付をいただき、「泌尿器科のためのChatBOT」を開設することができました。現在ある資金を運用費用に使用することで、おそらく2年間はBOTを運用することができると考えております。ようやく公開にこぎつけましたが、どうしてもその限界があることもわかってきましたので、現時点での本ChatBOTの限界について、ご説明差し上げたいと思います。
まず本BOTはAWSの保有する生成AIをベースに用いて構成されています。従来のchatbotは想定される質問と回答を事前に用意しなくてはいけませんでした。今回公開した生成AIをベースにしたchatbotは、ある程度のデータをナレッジと呼ばれるスペースに格納していますが、生成AIを用いることでそのデータのなかからAIが回答を作成し表示することができます。簡単に考えると、データさえあればすべてAIが簡単に回答を導き出してくれるということになるのですが、現実はそういうわけではありません。この点は皆様が最初にこのBOTを使用したときに感じる違和感となると思います。
大まかにお話しますと、AIの回答の精度と生成にかかる時間はナレッジ内のデータ量に依存します。少ないデータであれば回答生成は早くなりますが、十分な内容のものはできません。またデータが多くなると回答の内容が詳細になっていきますが、元となるデータ量が多すぎると回答の生成に時間がかかるばかりでなく、ハルシネーションといわれるいい加減な回答が生成されてくることになってしまいます。結局そのデータ量のいい塩梅というものはどこにも示されていないため試行錯誤となってしまいますし、実際適切な量というものはなんとも言えないのが現実です。今回のBOTではデータは泌尿器科関連のものに絞るようにしましたので、BOTだけでは単純に回答生成ができません。そのあたりの足りない部分をBOT外のインターネット上の情報に補完してもらうために、Perplexityというアプリケーションを併用できるようにしてあります。ただ、本BOTは基本的にはこのナレッジといわれるデータのなかでのみ運用されますので、ChatGPTなどでいわれる情報漏洩といった問題は生じません。
またナレッジに収めるデータについても今回はいくつかの議論がありました。とくにガイドラインの格納については学会によってすこし対応が異なります。例えばEAUに関してはガイドラインの使用についてそれほど明確な制限は表明していませんが、AUAではHP上にディープラーニングのための元データなどに使用することは禁ずると明記されています。2024年における日本国内の法律においては、HP上に公開されたような文書をAIに読み込ませる(BOTのナレッジデータとすることを含む)ことは著作権の問題に抵触することはないという理解になっていますが、この辺りは管理する団体の意向に沿わなくてはいけないと考えています。したがって、本BOTにおきましても日本泌尿器科学会が有するガイドラインの格納について日本泌尿器科学会と有意義な話し合いがもたれています。本議論については、2024年10月の現時点においても継続されていますが、現状においては結論が出ていないこともありナレッジには格納されておりません。
続いて、使用する場合のコツとなります。皆様がたとえばChatGPTをお使いになるときは、かなりあいまいな質問でもとりあえずそれっぽい回答が生成されることを経験されているかと思います。今回BOTに用いられているAIはChatGPTと比較すると性能がかなり制限されています。たとえばディープラーニングによって、自己を教育するというような性能は有していません。さらにいえば、現時点においては、質問に対する回答はあまり気が利いたものとはいいがたい部分がありますし、複雑な質問に対して柔軟に回答ができるというわけではございません。したがって、質問する際には、質問自体をある程度単純にしていただくことなどを含めて、ちょっとした工夫を行っていただく必要がありますが、そのあたりについては皆様それぞれにおいていわゆるクセをつかんでいただきたいと思います。
最後になりますが、AIの進歩は現在日進月歩です。そうはいってもAIはまだまだ改善しなければいけない部分があるのは事実で、このBOTにおきましても皆様が感じることと思っています。今後のAIの発展にともないベースとなっている機能については適宜アップデートを検討してまいります。現在ある資金をもちいて約2年間の運用を行った時点で世界がどう変わっているかはなんとも言えません。それまでの間、徐々に使いやすい環境を整えていきたいと考えておりますので、なにとぞ温かい目で見守っていただければと考えております。
矢内原 仁