ChatGPT の超長いチャットおよび負荷速度 94%: 741 は 28 秒から 2 秒に切ります

OpenAIは、ChatGPTとCodexの超ロングな会話体験を最適化し、次の週にオンラインで行く準備をしています。 741-wheelの内部テストの後、231MBのメガチャンバー、平均開口時間が2762秒から1.66秒に低下し、負荷速度を約94パーセント増加させます。 この最適化は、チャットレコードをロードするため、モデルの応答速度ではなく、主にです。 試験中、15,529から64へ移行するダイアログエントリの数、リクエスト数が894から16に減少し、アプリ全体のメモリ成長率は1セントで41.2減少しました。 ChatGPT または Codex を長時間使用しているユーザーは、古い会話を開くための待ち時間を大幅に削減します。 今回は、OpenAIが直接読み込まれるデータの量を削減しました。