AI の調査レポートは、いま見栄えがよくなりました。構成は整い、口調は断定的で、末尾に参考文献が並びます。読み終えても、調べた結果なのか、モデルがいくつかの印象を一文にまとめただけなのか、すぐには分かりません。
市販の照合は、たいてい「リンクがあるか」で止まります。
開くと記事一つ、またはページのタイトルです。その文がどの段落に対応するか、本文には書かれていません。スクロールし、検索し、ここかどうかを推測します。結論が十数本あるレポートなら、十数ページを読み直すことになります。忙しいと、リンクの有無だけを見て、「出典が並んでいる」ことを「この文に根拠がある」と受け取ります。
もっと厄介な場合があります。リンクは本物で、ページも開く。しかしそのページは、レポートのその文を言っていません。モデルが二つのソースを一つにまとめたり、実在するタイトルに、自分で補った結論を付けたりしています。この種のでっち上げは、参考文献の一覧だけでは見えません。
だから照合は参考文献から始めません。見るのは一つの結論と、それが根拠だと言っている原文の一節が、合うかどうかです。合えば、その文は残せます。合わなければ、その文がでっち上げです。レポート全体が読みやすいかは関係ありません。
どうしたか
レポートがでっち上げになるのは、書き出しが早いことが多いです。リンクと要約が届いた時点で、印象のまま一段落が書かれる。ページは完全なデータとして残っておらず、論点と証拠も先に揃っていません。
執筆は後ろに置きます。集めたデータから、今回の調査に関係する完全なデータをまず選びます。そのデータから証拠と論点を集めます。原文のどの一節が何を言っているか、どの判断がその段落から来ているか。文章は、これらの論点と証拠に基づいて書きます。
一つの結論が使うのは、集めておいたその証拠の一節です。書き上がったレポートはライブラリのドキュメントにあります。結論のそばのソースを開き、指している段落とその文が同じことを言っているか見てください。合わなければ、その文を直すか、消します。出典はその文に残るので、直したあと、同じ一節でもう一度照合できます。
読み違えや、二つの段落を一文にまとめてしまうことは、まだ起きます。違うのは、文が揃えた証拠から書かれていて、合わないときはその一節に戻って直せることです。