「AppleとNVIDIAの協業：大規模言語モデルの性能向上に向けた新技術の導入」

Appleは、NVIDIAとのコラボレーションで、AIアプリケーションのテキスト生成能力を大幅に向上させる新しい技術を導入したことを発表しました。この技術には、テキスト生成を加速させるRecurrent Drafter（ReDrafter）が含まれており、ビームサーチとダイナミックツリーアテンションを組み合わせています。これにより、同時に複数のテキスト列を探索し、冗長な重複を除去することで効率が向上します。Appleはこの技術をNVIDIAのTensorRT-LLMフレームワークに統合し、テストでは生成トークン数が秒間2.7倍に増加しました。この改善により、ユーザーが認識する遅延が減少し、GPUの使用率や電力消費も低下します。開発者はAppleとNVIDIAのウェブサイトでReDrafterの実装に関する詳細情報を得ることができます。