リトル・レッド・ブック・オープン・ドット3ノート: エージェントを手にして、超長いミッションに注力しましょう

ドット3シリーズのオープン重量モデル「ドット3」は、レッドブックのドットラボでオープンしました。 モデルの合計パラメータは280bで、毎回16bのアクティブ化され、512kのコンテキストをサポートし、テキスト、写真、ビデオ、オーディオの処理が可能で、長距離の派生に焦点を当てています。 モデルは、ルールを探索したり、ツールを呼び出したり、不慣れな環境でコードを記述したり、重要な情報を記憶に保存したり、新しい状況にアクションを適応させることができます。 そのトレーニング方法論、テンポは、複数のフェーズにミッションの数十時間を分割し、モデルが自己評価を通じて集中的な学習を継続できるようにすることで、長いミッションに対する後半のフィードバックの問題に対処するように設計されています。 通常の grpo が後段で停滞する傾向があることを公式実験で示しましたが、テンポは引き続き上昇することができます。 チームは、200のミッション、22のシミュレーションサービス、288のツールインターフェースで構成されるvibesearchbenchとvibelifebenchもオープンしました。 長期のエージェントはまだ仕事をしていますが、まだ長期のミッションである前に行く長い方法があります。