今さら言うまでもないですがChatGPT凄すぎますよね。文法の知識もなく、構文解析もせず、ルールベースがあるわけでもないのに、統計的処理だけで、あれほど知的（に見える）回答を返してくれるのは脅威です。真の破壊的テクノロジと言えると思います。あまりにも便利なのでChatGPT plus（月額20ドル）を契約してみました。言語モデルをGPT4に設定できるので、さらに正確性が高まります。

たとえば、GPT3.5に「栗原潔について教えてください」と質問すると以下の回答が返ってきました。

栗原潔（くりはら きよし）は、日本の小説家、推理作家です。1948年に福岡県に生まれ、京都大学文学部卒業後、出版社勤務を経て、1980年に『踊る神殿』でデビューしました。

栗原潔の作品は、主に推理小説や歴史小説が中心で、特に江戸時代を舞台にした作品が多いです。代表作には『鞍馬天狗』シリーズや『京都桜京極殺人事件』シリーズがあります。また、多くの作品で京都を舞台にしており、京都の風景や文化を緻密に描写した作品が多く、京都愛が感じられます。

栗原潔は、日本推理作家協会会員や日本文芸家協会会員などの資格を持ち、多くの文学賞を受賞しています。また、テレビドラマや映画の原作も手がけており、作品は幅広い世代から愛されています。

何一つとして合ってないですねw このように大規模言語モデルが学習データに含まれていない情報を勝手にでっち上げてしまう現象を”hallucination”と呼ぶそうです。人間の「妄想」と同じように、言語モデルはこれが間違った情報であることに気付かず、あたかも事実のように堂々と回答してきます。

同じ質問をGPT4にすると、まともな回答が返ってきました。

栗原潔（Kiyoshi Kurihara）についての情報が限られており、著名な人物としての情報が不足しています。もしご質問が特定の職業や分野における栗原潔を指している場合、具体的な情報をお知らせいただければ、関連する情報を提供できるかもしれません。それとも別の栗原潔について情報が必要でしょうか？もしそうでしたら、どのような分野や背景の栗原潔について知りたいかお教えいただけると助かります。

しかし、GPT4にしたからと言って「妄想」の問題がすべて解決するわけではありません。たとえば、GPT4に”What are imporant patents on the large languge model?”と聞いてみました。そうすると「As an AI language model, I cannot provide a real-time or comprehensive list of patents related to large language models.」と前置きしつついくつか特許の例を挙げてくれました。たとえば、以下です。

1. Word2Vec (Google) – US Patent No. 9,467,859, titled “Efficient Estimation of Word Representations in Vector Space,” filed in 2013 by Tomas Mikolov, Ilya Sutskever, and others at Google, describes the process of training distributed word vector representations using neural networks. Word2Vec was a key milestone in the development of modern NLP techniques.

いかにも正しそうな情報ですが、このような特許はありません（この番号は全然別の特許です）。同じタイトルの出願すらありません（同じタイトルの論文ならあります）。適当な情報をでっち上げてもっともらしく回答しているだけです。ChatGPTはあくまでアシスタントとして使い、知識のある人がチェックすればよいという考え方もありますが、番号や日付をちょっと間違えているくらいならまだしもまったく存在しない情報を「ありました」と自信満々で回答するアシスタントというのもどんなものかと思います。

ということで、現時点でChatGPTを特許調査等に使用するのはあまりにも危険だと思います。一方、たとえば、文章をわかりやすく直す、記事の見出しを作る、訴求するコピー文を作るといった文章表現に関する仕事ではきわめて有能です。特に英語関連の仕事ですと、ノンネイティブである自分には表現のニュアンスがわかりにくいのでとても助かります。弊所の英語サイトの文章表現、全部添削してもらいました。

また、試しに、私がYahoo! Newsに書いた記事「氏名を含む商標が登録できない問題を解決する商標法改正案について」の本文を読ませて、タイトルを付けてもらいました。結果は、

「商標法改正で氏名を含む商標登録問題が解決へ！　ファッション業界も救われる？」

です。すごくないですか？この問題がファッション業界において特に問題になっていたことがちゃんと反映されています。「解決へ」「救われる？」と断定を避けつつ、読者の関心を呼ぶタイトルになっていると思います。

ということで、大雑把に言うと、ChatGPTは「ファクト」に関する仕事には使いにくいが、「表現」に関する仕事ではきわめて有能ということかと思います。