本家（？）ChatGPTの「校正してみた」編では、正解率５割と、少し残念な結果になりましたが、今回はGPT4を採用していると言われるMicrosoftの「Bing」を使って、同じ文章を校正してみます。バージョン3.5よりもずっと頭がいいと評判ですから、こちらは期待です。
「Bing」の校正能力は本当にChatGPTより優秀か？
文章は同じものを使い、間違いの箇所も同じです。
校正させる元の文章はこちら。
何箇所か間違い入れた文章（赤い文字の部分）です。
ChatGPTは、企業やビジネスにおいて、カスタマーサポートやオペレーション、マーケティング、人事などの分野で活用することができます。例えば、ChatGDPを使ったカスタマー・サポートでは、24時間365日の対応や、高度な自動応答、人口知能によるチャット分析など、従来のカスタマーサポートと比較して大幅なコスト増加やサポート品質低下が期待できます。また、マーケティングにおいては、ChatGPTを利用したチャットボットによる顧客のセグメンテーションや、キャンペーンの実施、顧客の嗜好分析など、顧客のニーズに合わせた最適な提案ができます。他にも、ChatGPTを活用した業務自動化や。オペレーションの効率化、人事における採用先行やトレーニングなど、様々なビジネスに応用できる可能性のあります。プロンプトをBingに書いてもらう
今度はプロンプトをBingに書いてもらいました。こちらも同様に、「ChatGPTに、ビジネス雑誌のプロの校正者になってもらうためのプロンプトを作成してください」と入力。できたプロンプトは以下の通り。
ChatGPTよりも、ずいぶんとあっさりとしたプロンプトが出来上がりました。こちらも、「出力フォーマット」を指定しました。
プロンプト：
あなたは、ビジネス雑誌のプロの校正者です。あなたの仕事は、雑誌の記事を校正し、文法、スタイル、および内容の誤りを修正することです。あなたは、読者が理解しやすく、興味深い記事を提供することに専念しています。
出力フォーマット：
１，間違いの箇所を箇条書きで抜き出して、どの部分が間違いかを明確にする。
２．修正の提案を入れる。修正案が２つある場合は２つとも書く。
３．すべて修正した状態で全文を出力する。これで校正させてみましょう。楽しみです。
果たしてGPT3.5よりも４（Bing）は優秀なのか？
校正ができましたので、答え合わせをしていきましょう。
まずは正解の部分から。
「ChatGDP」→「ChatGPT」
「コスト増加」→「コスト削減」
「品質低下」→「品質向上」
「業務自動化や。」→「業務自動化や、」
「採用先行」→「採用選考」
８つの誤りから５つを抽出したので、62.5％の正解。GPT3.5が指摘できなかった「コスト増加」と「採用先行」の間違いを発見したのはポイント高いですね。また、GPT3.5はが間違いを発見したのは4つ（50％）でしたので、少しだけ精度がアップした感じでしょうか。
Bingが見逃したのは
「カスタマー・サポート」→「カスタマーサポート」
「人口知能」→「人工知能」
「可能性のあります」→「可能性があります」
カスタマー・サポートの用語統一は同じMicrosoftのワードの校閲機能に標準搭載されているので、ここを見逃すのはちょっとおかしいですね。
また「コスト増加」と「品質低下」の誤りをちゃんと指摘できたのは、「文脈をちゃんと読み取っている」なと。少し感心しました。
プロンプトの「条件設定」と「出力方法」に工夫が必要か？
「可能性のあります」は、出力させた「修正後の文章」では「可能性があります」とちゃんと直っていました。ChatGPTのときもそうでしたが、文章として出力させたほうが正解率が上がるので、箇条書きにするより、文章で出力して、修正箇所がわかるように「※印をつけて」とかにしたほうがいいのかもしれません。
あとは、表記の統一とか、「てにをは」とか、もう少しプロンプトの指示を明確、かつ細かくすればもう少し精度が上がるかもしれないとは思います。ここらへんは、もう少しお勉強します。すみっません。
でも、少しだけ可能性は感じられた結果になったと思いますが、どうでしょう？
コメント