Ong: 自己改善への大きなモデルの実際のパスはハーネスを最適化することです

ホノルル・シンキング・マシンのチーフ・サイエンティストによるコントリビューションは、短期間で大規模なモデルでの開始点が直接重みの書き換えとなることとは異なり、より現実的なパスは、ハーネスと呼ばれる周辺システムを最適化することです。 ハーネスは、プロンプト、ツールコール、トラフィックコントロール、永続的なメモリを管理する大型モデルのそれと同様のオペレーティングシステムを持っています。 複雑な長距離ミッションの面では、伝統的な静的フレーズは崩壊するのが非常に有利です。 進化の現在の方向は、大規模なモデルがメタ・オフィタイザーとして機能できるようにすることで、ハーネスの制御ストリームコードを変更し、システムを自己進化させることです。 実際のRSIはループを閉鎖し、少なくとも3つのことを解決しなければなりませんでした:長く実行し、変更し、確認します。