文章生成AIとして注目を集める「ChatGPT」「Bing」「Bard」の性能を比較。［メール編］に続いて今度は資料の［要約編］です。
ChatGPTはURLから要約できずBingは…
すでに、Googleの「Bard」では「URLを入力して要約や質問の回答も」という記事で、
官公庁が公表するページのURLを貼り付けて「要約して」と依頼すると要約してくれたり、
質問を投げると読み込んだURLをベースにして回答してくれるという話を書きました。
果たして「ChatGPT」「Bing」でも記事の要約ができるのか？ 試してみました。
すると、ChatGPTは以下のとおりURLからウェブサイトにアクセスすることはできないとの回答でしたので、脱落です。
続いてBingで試してみましたが、なぜだか頓珍漢な回答しか返ってきませんでした。
これでは勝負になりませんので、少し面倒ですが、URLではなく文章を貼り付けて要約してみることにしました。
要約する文章はGoogleの「Bard」で「URLを入力して要約や質問の回答も」で使用したのと同じく、
「令和3年度 食料・農業・農村白書」（農水省）の１節「食料自給率と食料自給力指標」です。
文字数は2500字くらいで、図表に関しては割愛しています。
また、出力を「要約」ではなく、より実践で使えそうな「重要なポイントを箇条書きで出力」にしました。
ChatGPTはポイントを網羅しているが少し長すぎる印象
まずChatGPTの結果は以下の通り。12項目の箇条書きで約560字ありました。重要なポイントは満遍なく出力してくれましたが、その分若干冗長な印象もありました。
Bingは簡潔で引用元を検索して回答
いっぽうのBingは、かなりポイントを絞ってきました。箇条書きの項目は３つで、約250字にまとまっています。約2500字の文章ですから10分の１にまとめてくれているので、書かれているの内容が「探している資料か？」を判断する上では使い勝手がいいように感じました。
Bardの要約は少し偏りがあるが読みやすい
最後のBardは、上の２つに比べて少し要約の方法が独特です。ポイントを９項目、約530字で出力していますが、前半の３項目は概要と課題を要約したもの。後半は、食料自給率向上のための具体的な取り組み内容を６項目挙げています。単に概要を知りたいだけであれば、ちょっと偏っている印象もあります。
ただ、文章の生成方法が単に箇条書きされているのではなく、「具体的な取組としては、以下のようなものがあります。」と記されている点は、人がまとめたレポートのような感じで読みやすく、好印象でした。
URLから要約できる点も含めて、やはり「要約編」もBardが使いやすい印象がありました。
コメント