Opus 5への3輪コールバック率は、コストの半分だけ

8月5日、セキュリティ会社である合気道は、Qwen 3.8-Max、Claude Opus 5, Kimi K3 Max、DeepSeek V4 Flash、GPT-5.6 Sol、Luna、Terraなどのコード監査エージェントを使用して7モデルをテストしました。 最近のオープンループホールと各モデルに3回動作するテストが含まれています。 Qwen3.8-Max 3ラウンド合計26ホール、オパス5で最初に1セントあたり81.3のリコール率で、 その組み合わせたF1スコア(妥協の報告と誤認)は、オパス5、キンギK3マックスとGPT-5.6ソルよりもわずかに低い1セントあたり83.2であった。 質問は、ワンタイムの不安定性の1つです。 26ホールのうち、Opus 5 と Sol の 3 回連続ラウンドで 10 しか見つけることができます。 しかし、何千もの質問の合計コストは、約です $821, 唯一のオーパスの半分 5 と ソル, しかし、まだ5倍以上のDeepSeek V4フラッシュ。