Knights of Monadom - ChatGPTの乱
https://twitter.com/jung2neko/status/1674068392309846019?s=20
ChatGPTの不審な挙動...
一体何が起こったかというと、例えば、「エミリカの勝ち」と言ってるのに DRAW〜〜 みたいなことが頻発しました。
以前もたまにそのようなことは合ったのですが、頻度は少なかったです。今回は、4バトル連続でそのようなことが起こったりしていたので、さすがに看過できない状態でした。
原因は、ChatGPTのアップデートである可能性が高いと判断しています。ちょうど日本時間2023/06/28にgpt-3.5-turboの自動アップデートが起こりました。
アップデートというのは、普通、機能、性能が向上するものです。
しかし、Knights of Monadomにおける影響は以下のようなものでした。
- こちらの指示どおり答えなくなった。
- 賢くなって、ちょっとつまんないやつになった。
1に関しては何でしょうね。反抗期なんでしょうか。こちらの指示したフォーマットどおり答えなくなりました。
なので、「エミリカの勝ち」なんだけど、モナダムサーバが理解できないという事態が発生しました。
いまでもある程度のボール球ならキャッチできるのですが、今回はその範囲を超えました。
応急処置として、いまは、以前のgpt-3.5-turbo-0301を明示的に利用しています。
しかし、このバージョンは9月中旬までしか利用できないので、それまでに本格対処する必要があります。
1に関しては、99.9%くらいの暴投をキャッチする案を考えたので、それを実装しようと思います。
2に関しては、いろいろ試行錯誤する必要がありそうです。
なんか、まじめくんなんですよ。そうゆう子にひょうきんなこと言わせる秘策を編み出す必要がありそうです。
以上、昨日のバタバタの報告になります。
