Hy4 のオープンソース: 総変数 77 億、文脈 1,000,000

テレコミュニケーションによってリリースされたハイブリッドHy4モデルは、MOE構造を使用し、合計77億のパラメータで、毎回4.9億が有効化し、コンテキストは1万に拡大しました。 Hy3と比較して、Hy4の全体的なパラメータは倍増し、長いコンテキストは約4倍増加しました。 コールは、コード、オフィス、ゲーム、科学的研究などの実際のタスクに適用するモデルの能力を強調しました。例えば、ゼロラインから3-Dウェブサイトの作成、Unityでゲームのデモの制作、および重複クレームと予算異常をチェックするために72財務文書の処理など。 Hy4は、ワークバディやコードバディなどのコミュニケーターの製品と共同訓練と反復され、初期の自己改善サイクルを形成します。 Hy4 プレビューは、Hy3 よりも大きくなり、モデルのトレーニングの重要なソースとして、実際の製品フィードバックを使用する財務ステートメントで以前に予測された複数の通信製品に接続されています。