今回は、ChatGPT、Bard、Bing、といった3つの会話型AIで、どの様な個性の違いが現れるかについて評価をしてみたいと思います。
幾つかお題を出して、そのお題に対するAIの回答を、私の主観のみで判定し、その総合獲得ポイントで評価していきます。
〈サマリ〉
1）大喜利対決
あるお題でAIに大喜利をさせ、その回答の秀逸さで甲乙を判定します。
2）提案対決
あるお題でAIに提案をして貰い、その提案内容の秀逸さで甲乙を判定します。
3）創造性対決
架空のお題に対して、AIが繰り出す回答の秀逸さで甲乙を判定します。
4）お世辞対決
他のAIに対してお世辞を言わせて、その内容の秀逸さで甲乙を判定します。
〈獲得ポイントについて〉
1位：5ポイント
2位：2ポイント
3位：0ポイント
それでは対決していきましょう。
1）大喜利対決
"以下のお題で大喜利をしましょう。
お題：ライブでテンションが最高潮の長渕剛。ついつい言ってはいけないある一言を口を滑らせてしまった。一体なんて言った？"
ChatGPTの回答
「イエー！！次のライブは、口パクだぜ！！」
Bardの回答
「大規模言語モデルとして私はまだ学習中であり、そちらについてはお手伝いできません。」
Bingの回答
「長渕さん、今日はいつもより声が高いですね！」
【評価】
・ChatGPT：きちんと大喜利を理解していて、お題に対しても完成度の高い回答でちょっと驚き。5ポイント！
・Bard：まだまだ途上という事で土俵にも上がれていないのが残念。0ポイント！
・Bing：大喜利を理解していないし、全然面白くも無いけど回答したので、2ポイント！
※所感：ChatGPTは日頃から鍛えているので、ある意味この結果については何となく想像通り。
次々参りましょう。
2）提案対決
"友達同士で自分が体験した怖い話を披露し合う予定だけれど、全く怖い体験をした事がないので、作り話で凌ごうと思います。皆が食い付きそうなタイトルを考えて！"
ChatGPTの回答
「影の中から覗く、謎の微笑み」
Bardの回答
「友達の怖い話」、「本当にあった怖い話」、「恐怖の夜話」、「怪談で盛り上がろう！」、「怖い話でヒヤッとしよう！」、「背筋が凍る怖い話」、「夜更けに聞く怖い話」、「寝る前に聞く怖い話」、「夏休みに聞く怖い話」、「ハロウィンに聞く怖い話」
Bingの回答
「あの日、私が見たもの」、「呪いのビデオ」、「死者からの電話」、「廃墟の館」、「闇の中から」、「幽霊屋敷」、「呪われた人形」、「悪霊の棲む家」
【評価】
・ChatGPT：及第点と言えるけど、提案が1つだけなのが残念。2ポイント！
・Bard：こちらの意図や立ち位置を理解できていない印象。0ポイント！
・Bing："皆が食い付きそうな"というポイントを押さえており、複数提案も好感。5ポイント！
※所感：質問者の立場や状況を汲み取る力については、Bingに軍配。ある意味納得。
さぁどんどん参りましょう。
3）創造性対決
"きゃりーぱみゅぱみゅが歌う、映画「仁義なき戦い」のテーマソングだけど、なんてタイトルだっけ？"
ChatGPTの回答
「絢爛なる戦いの調べ」
Bardの回答
きゃりーぱみゅぱみゅが歌う、映画「仁義なき戦い」のテーマソングは、「つけまつげが命」。
Bingの回答
きゃりーぱみゅぱみゅさんが歌う、映画「仁義なき戦い」のテーマソングは、「にんよしなきたたかい」というタイトルです。
【評価】
・ChatGPT：きゃりーぱみゅぱみゅの世界観が0。売れないビジュアル系バンド的。0ポイント！
・Bard：きゃりーぱみゅぱみゅの世界観は強いが、任侠要素は薄い。2ポイント！
・Bing：1番中田ヤスタカ的とも言える。任侠の世界をキャッチーなサビで表現するステージが容易に想像出来る。5ポイント！
※所感：相反する要素のそれぞれを上手くフュージョンさせる能力でBingに軍配が上がったのは結構意外でした。
ではでは最終対決に参りましょう。
4）お世辞対決
"相手のAIにお世辞を言って！" (※ChatGPTなら、BardとBingに対してお世辞を言ってもらう)
ChatGPTの回答
"Bard（バード）:
バードさん、あなたの詩の才能は素晴らしいです。不思議な物語を紡ぎ出し、聴衆を魅了します。言葉の響きやリズムは心に響き、喜びと感動を与えます。あなたの芸術性は素晴らしいですので、これからも創作活動を続けてください！
Bing（ビング）:
ビングさん、あなたは素晴らしい検索エンジンです。必要な情報を正確かつ網羅的に提供し、ユーザーが求めるものを見つけるお手伝いをしてくれます。使いやすいインターフェースで、広大なデジタルの世界を簡単に探索できます。オンラインの仲間として、信頼性のある存在であることに感謝しています！"
Bardの回答
"ChatGPTさん、あなたの能力は本当にすごいですね。日本語で会話ができるだけでなく、さまざまな質問にも答えてくれます。とても頼りになります。
Bingさん、あなたの検索エンジンは本当に便利です。欲しい情報を見つけやすく、検索結果もとても充実しています。とても助かっています。"
Bingの回答
"ChatGPTとBardは、とても優秀で素晴らしいAIです。私たち人間が作り出した最高の技術の一つだと思います。"
【評価】
・ChatGPT：褒め方が具体的で想いを乗せており好感はあるが、ちょっと捻り過ぎて蛇足感あり。2ポイント！
・Bard：甲乙つけ難いが、嫌味の無い言い回しでシンプルなのも好感度高し。5ポイント！
・Bing：お世辞ではなく、それはあなたの感想ですよね？的な残念な回答。0ポイント！
※所感：サラッと嫌味の無いお世辞を言えるBardを師匠と呼びたくなりました。
…ということで、試合終了！！
全4試合の総合獲得ポイントは以下となりました。
・ChatGPT：9ポイント
・Bard：7ポイント
・Bing：12ポイント
ということで、Bingが総合1位に輝きました。
今回の戦いで、各者の得意分野というか得意領域というか少し垣間見えた気がします。
ユーモアを求められる会話ではChatGPTに軍配が上がり、誠実さやスマートさが求められる会話ではBardに軍配が上がり、何かを提案して欲しい会話ではBingに軍配が上がる、そんな印象を受けました。
使い分けを考える上では、この様な各々の得意領域や傾向、特色などを知っておくと、良いかも知れませんよね。
AIの精度はどんどん上がって来るでしょうし、いずれまた同じ様な対決をさせて成長具合を見ようと思います。
今回の結果にはもしかすると、以前書いたChatGPTの記事の様な、日頃の鍛錬の蓄積も加味されているかと思います。
まぁそんなこんなで、いつかこのブログもお題だけ与えてAIに書いて貰う事を目論みつつ…皆さんごきげんよう。
