SemiAnalysis: Kimi K3はKV帯域幅を下げ、IAネットワークの要求は減少しません

SimiAnalysisによると、2021年の初期リリースによると、KDAテクノロジーはKDAテクノロジーを使用して、最大10倍のKVキャッシュ帯域幅を削減しますが、AIネットワークの需要は契約しません。 Kimi K3には2.8兆パラメータがあり、転送毎の計算に1.5TB HBM帯域幅が必要であり、GB300 NVL72などの高帯域幅ネットワークを介してチップを接続する必要があります。 Wideep は 896 の専門家モデルを複数の GPU に広げ、120 以上の片方計算を要求し、大規模なエキスパートモデルが KDA の節約よりも、より拡張されたネットワークニーズを生成します。 より効率的な注意メカニズムは、AIのサイズを増加させ、ネットワークの需要を増加させる、100万を超えるトークンから500万以上のトークンにコンテクストの長さを駆動することができます。