Appleは、NVIDIAとの協力により、大規模言語モデル（LLM）の性能を大幅に向上させる新しいテキスト生成技術についての詳細を発表しました。この技術は、AIアプリケーションにおいて大幅な速度改善を提供します。今年初めにAppleは、テキスト生成を加速するアプローチ「Recurrent Drafter（ReDrafter）」を発表し、オープンソース化しました。この手法は、ビームサーチと動的ツリーアテンションを組み合わせ、複数のテキストシーケンスを同時に探ることでより良い結果を得ることができ、重複を排除することで効率を向上させます。Appleは、この技術をNVIDIAのTensorRT-LLMフレームワークに統合し、テストでは生成トークン数が1秒あたり2.7倍増加したと報告しています。この改善により、ユーザーが感じる待機時間が短縮され、GPUの使用量と電力消費も削減されます。再デフターを実装したい開発者向けに、AppleのウェブサイトやNVIDIAの開発者ブログに詳細情報が提供されています。
