Hy4 のオープンソース: 総変数 77 億、文脈 1,000,000

Hy4 プレビュー、MoE 構造、合計パラメーター 770B、49B、すべての活性化、および 1M への拡張を使用して新しいモデル。 Hy3 の 295B の合計パラメータと比較して、21B の有効パラメータと 256K のコンテキストは、生成のサイズが倍増し、コンテクストが約 4 倍に拡大しました。 コールは、一般的なランニングポイントにのみ焦点を合わせませんでしたが、コード、オフィス、ゲーム、研究を強化するなど、実際のタスクでは特に焦点を合わせませんでした。 たとえば、このモデルは、Unity で再生可能なゲームを生成する、Three.js 3D のウェブサイトと Demo からゼロオンワンベースで構築できます。重複したクレーム、制限を超える金額、予算異常を調べるには、72 の金融ファイルを処理できます。 また、WorkBuddyやCodeBuddyなどのテレコミュニケーション製品でトレーニングや反復を行っています。 より具体的に、Hy4は独自の研究開発に参加し始めました。 独自のプログラムを提案し、実験を運用し、結果を適応させ続けることで、トレーニング方法、データ戦略、評価システム、低レベルのアルゴリズムを最適化するのに役立ちます。 実験からのコード、ログ、フィードバックは、初期の自己改善サイクルで得られたR&Dの次のサイクルを入力します。 Hy4 プレビューでは、WorkBuddy、CodeBuddy、Yuanbao、Ima、TokenHub、OpenRouter へのアクセスが便利です。 それ以前は、財務諸表では、Hy4は、モデルトレーニングの重要なソースとして、Hy3よりも大きくなり、実際の製品フィードバックを使用したことを予測しました。