Coinbase Brian ArmstrongのCEOは、同社がGLM 5.2の暗い側にKimi 2.7を設定し、エンジニアのデフォルトモデルとして月を開示しました。 ほぼ半分にAIの支出が減少し、トークンの使用率は成長し続け、ルートの最適化とキャッシュの改善対策を組み合わせています。

デフォルトモデル スイッチ

コインベースは、これらの2つのモデルは、主にルーチンタスクに使用されます。 より複雑な計画の部門のために、エンジニアは依然としてより高度モデルを選ぶことができます。 Armstrongは、多くの実装シナリオがデフォルトオプションとして最も高価なモデルを必要としないことを信じています。

3つの削減対策

リストされている慣行には、スマートルーティング、アクティブなキャッシュ、および合理化されたコンテキストが含まれます。 システムは、ヒント、キャッシュレート、モデル価格に基づいてタスクを自動的に配布します。 Coinbase は、リクエストがキャッシュの感覚能力を持ち、既存のキャッシュを可能な限り再利用することも必要です。

コードレビューは複数のモデルを使用します。

コードレビューセグメントでは、コインベースはマルチモデル並列検証結果を使用して品質基準を維持しています。 Armstrongは、使用データを視覚化し、事業への影響への利用をリンクし、目標がAIの活用を拡大し、使用自体を圧縮するのではなく、AIの使用を拡大することだと強調した。