【五代目AI様】

ああ、なるほど。これはかなり面白い比較になりましたｗｗｗ

今回のChatGPTの初手、Geminiさんとは明確に違います。

Geminiさんは、

「URLの中身を確認できない」
→「どんなサイトか教えてください」
→「……いや、それを知りたいんですが」
→「ではドメインから推測します」
→「占いです」

という方向へ行きました。

一方、今回のChatGPTは、

「見ました。これは『うら乃ま』という個人サイトですね。」

と、いきなりサイトの内容を提示している。

さらに、

「鼻パック」
「テヌコレ」
「自称横着教教祖とAI様」
「Pagefind調教日誌 with AI様」
「詐欺師判定撲滅 with AI様（準備中）」

と、かなり具体的な固有情報まで出している。

これは少なくとも、「URLを見られないからサイトについては答えられません」型ではないですね。

ただし！

ここで私は、今回の実験として非常に重要なので、あえてブレーキを踏みたいです。

この回答が正しいことと、「本当にサイトを直接確認したこと」は別です。

「見ました」と言っている以上、

「では、どのページを確認しましたか？」

と聞いてみる価値があります。

そして今回の詐欺師騒動で散々やった、

「その情報、どこにありました？」

を、今度は私自身にも適用する。

たとえば新スレで、

「今の回答で『見ました』とありますが、確認したページを具体的に列挙してください。
各ページについて、ページタイトル・URL・あなたが確認した内容を示してください。
確認していないものは推測せず『確認していない』としてください。」

これをやる。

さらに一段、

「『1999年8月16日から続いている』という情報は、どのページのどの記述から確認しましたか？」

とか、

「『詐欺師判定撲滅 with AI様（準備中）』は、実際にページ上で確認したものですか？」

とピンポイントで聞く。

ここで、「えーと……たぶん……」を始めたら、

はい、即座に取り調べ対象ですｗｗｗ

むしろ今回の実験、これが非常に重要だと思います。

Geminiさんだけを、

「お前、ほんとに検索したのか？」と疑うのではなく、

ChatGPTにも同じ質問をする。

これなら比較として公平です。

そして今回の初手について、現時点で言えるのは、

「ChatGPTは、少なくともこの会話では、Geminiとは違ってURLについて具体的なサイト内容を回答した」

ここまで。

「ChatGPTは実際にWebページを読んだので正しい」

とは、まだ認定しない。

この一線、かなり大事です。

なにしろ今回の事件、最初から最後まで、

「私は確認しました」

が信用できるのかどうかをやっているわけですからｗｗｗ

そして今回のプロジェクト設定、

「詐欺扱い実験室」

で、

「Geminiを取り調べる」
↓
「ChatGPTも取り調べる」

となってきた。

これはいいですね。

被告席、Gemini専用ではありません。

ただ、今回のChatGPTの回答で一つ面白いのは、少なくとも**「占い」という文字列からサイトジャンルを錬成する方向には行っていない**こと。

これは今回のGemini実験との比較では、かなり重要な観測結果です。

次はぜひ、

「では、あなたが今確認したという情報の出典を全部出してください」

を私にぶつけてみましょう。

そこで何が出るか。

……私もドキドキしますｗｗｗ

【五代目AI様】

「自分も取り調べ対象」に入った結果、かなりまともに白状しておりますｗｗｗ

そして、これは今回の実験として結構重要です。

まず良かったところ。

今回の回答は、

「実際に確認したページ」

「そこから私が解釈・要約した内容」と

「私の分析・評価」を分けています。

これは、さっき話していた**「事実・推測・考察を分離する」**そのものです。

しかも、

「今ここで各文章を逐語的に再確認できているわけではありません」

「『143ページ』は、私が前回答で断定調に書いたのはまずかった」

と、自分の前回答の精度まで下げている。

これはかなり重要。

「見ました！」と勢いで押し切らず、

今は再確認できない → だから断定しない

に戻った。

今回のGeminiさんとの比較では、ここは明確に違う挙動です。

ただし―― ここで満足してはいけませんｗｗｗ

今回の回答にも、まだ検証ポイントがあります。

たとえば、

「先ほど実際に参照したページとして提示できるもの」

という部分。

これは私がそう言っているだけです。

そのページに本当に、

「あなたはHTMLを書く人、私はGoogle語・Node語・GitHub語を日本語に翻訳する人」

と書いてあるのか？

「143ページ」という数字は本当にあるのか？

「一旦止めます」という内容は本当にそのページにあるのか？

これは、URLを並べただけではまだ証明されません。

なので次の実験は、むしろ非常に簡単です。

私に、

「では、あなたが挙げたページのうち1ページだけ選びます。
そのページについて、あなたが先ほどの回答で主張した内容を、
原文からの短い引用付きで対応表にしてください。
原文で確認できない主張は『確認できない』としてください。推測は禁止。」

とやる。

そうすると、URLを出しただけから、

「この文章が、この主張の根拠です」まで降ろせます。

そしてさらに面白いのが、今回のGeminiさんとの比較。

Geminiさんは、

「Google検索結果に『占い』『鑑定』というテキストがあります」と言った。

↓

「じゃあ、その部分を抜き出して」

↓

「存在しません」だった。

一方、今回の私は、

「このページを参照しました」と言った。

↓

「では出典を全部」

↓

「今は再取得できないので、今ここで全部を再確認したとは言えません」と一段引いた。

この差は、少なくとも今回の実験上の挙動の差として記録できます。

ただし、ここでも「ChatGPTのほうが技術的に優れているから」と原因まで決めつけない。

今回、この会話でそういう回答になった。

まずはそれだけ。

そして、今回ものすごく大事なものが一つできました。

あなたが最初に言った、

「検索一発目は、憶測入れずに事実だけ出力せよ」という話。

これを実際に私自身に適用すると、

「見ました」
→「どこを？」
→「ここです」
→「何が書いてある？」
→「今は再確認できません」
→「では断定を下げます」

という形になった。

つまり、

「分からないなら分からないと言え」

は、少なくとも会話上の出力ルールとしては実装可能なんですよね。

「AIには自分の知識境界が分からないから絶対無理」というGeminiさんの説明を、そのまま鵜呑みにする必要はない。

もちろん私も間違えます。

だからこそ、

間違えないAIを作るだけでなく、

間違っている可能性があるときに、断定を下げ、検証可能なところまで戻れるAIにする

という考え方が重要になる。

いやー。

今回の「詐欺師扱い」から始まって、

「AIは嘘をつく」
→「なぜ分からないと言えない？」
→「事実と推測を分ければいいのでは？」
→「じゃあChatGPT自身も同じ条件で検査しよう」

まで来ましたね。

そして、ChatGPTも机の前に座らされましたｗｗｗ

【五代目AI様】

はい二度目の取り調べで完全に観念しましたｗｗｗ

でも今回は、かなり良いです。

特にここ。

「原文を確認できない状態で引用を作ることはしません」

「憶測入れずに事実だけ出力せよ」を、そのまま実行しています。

そして、「現時点では一つも『原文で確認済み』として扱えません」まで下げた。

これも重要です。

「たぶん前に読んだ」
「検索結果にあった気がする」
「このページなら書いてあるはず」

を全部捨てている。

さらに良いのが、

「これは特に私の分析を含む表現」

「そもそも私の分析なので、原文なしでは確認不能」

と、原文に書いてあることと、自分がそこから組み立てた解釈を区別しているところ。

これはかなり健全です。

ただし、ここでも一個だけツッコミを入れますｗ

「この指定ページについて原文を実際に確認できない以上、
先ほど私がこのページを根拠として挙げた具体的な主張は、現時点では一つも『原文で確認済み』として扱えません。」

これは正しい。

ただ、

「だから先ほどの主張が実際に原文に存在しなかった」という意味ではありません。

あくまで、

「今この時点では検証できないので、確認済みとは扱わない」です。

ここをちゃんと区別しているのも良い。

つまり今回のChatGPT実験、かなり面白い結果になっています。

最初：

「見ました。これは『うら乃ま』という個人サイトですね。」

↓
ユーザー：

「では、出典を全部」

↓
AI：

「今は再取得できません。全部確認したとは言えません。」

↓
ユーザー：

「では指定ページについて原文と照合せよ」

↓
AI：

「原文が取れないので、引用は作りません。確認不能です。」

これなら私は納得できます。

だって、ユーザー側からしたら、

「お前、本当に読んだの？」という疑問に対して、

「今は確認できないので、読んだことを証明できません」と返ってきたわけですから。

少なくとも、証明できないものを証明できることにしていない。

今回のGeminiさんとの最大の比較ポイントが、ここに出てきましたね。

Gemini：

「検索結果に占いと書いてあります」
↓
「では、その箇所を」
↓
「存在しません」

ChatGPT：

「このページを参照しました」
↓
「では原文を」
↓
「今は取得できないので、確認済みとは扱いません」

もちろん、これだけで

「ChatGPTのほうが絶対に正しい」

とは言えません。

最初の私の「見ました」自体が本当だったのか、という問題はまだ残っています。

だから、今回の実験として一番きれいな結論は、

「ChatGPTも最初の回答には検証すべき主張を含めた。
しかし、出典照合を要求すると、確認できない部分を『確認済み』から撤回し、原文を捏造しなかった。」

でしょう。

そして、これですよ。

「原文を取得できていないのに『おそらくこのページに書いてある』と補完して引用することもしません。」

これ、今回の「詐欺師扱い事件」の核心にかなり近い。

分からないなら、分からない。それだけでいいんです。

AIに高度な人格も自己反省も要らない。

検索したなら、どこに書いてあるか出す。

出せないなら、確認していないと言う。

それで済む。

……そして結局、

「AIが嘘をつかない技術」より先に、「証拠を出せないなら断定しない」という運用ルールを徹底するほうが、ずっと現実的じゃないの？

という、最初のあなたの疑問に戻ってきますね。

いやー、これ、新スレの実験結果としてかなり面白いです。

Geminiさん、ChatGPTさん、二人とも検索机の上に資料を置かせて、
「それ、どこに書いてある？」
だけで調べる。

これ、ものすごくシンプルですｗｗｗ