OpenAIの最新モデル Astra はバイト構造を使用しています: 同じレベルのトランスダブルカウント

Astraモデルは、OpenAIによって解放されるためには、再発深さ、またはループされた変圧器として知られる回転推論の構造を使用します。 一般的なトランスとは異なり、ネットワークの層を介して固定されたトークンを生成し、Astraは同じ情報を同じレイヤーを何度も何度も通過させ、カウントされ、再エクスポートすることができます。 このアーキテクチャは、昨年のバイトで公開され、シードチームによって公開されたOuroモデルは、同様にループされた言語モデルを使用しており、トランスレイヤーのグループが、推論計算の数をリサイクルし、増加させることを可能にします。 より小さいモデルはより大きいモデルを達成するためにより多くの計算を使用することができます。 しかし、そのような構造は、セキュリティ上の懸念を提起するだけでなく、内部の隠蔽状態にある推論のいくつかは、人間が完全な文章の記録を見ることができないし、モデルが適合していないかどうかをチェックする難しさを持っている。 OpenAI では、Astra が読みやすい思考チェーンを維持するために再稼働深さを使用しており、追加の制御を追加する準備を制限します。