Appleは、NVIDIAとのコラボレーションにより、大規模言語モデル（LLM）のパフォーマンスを大幅に向上させる新しいテキスト生成技術についての詳細を発表しました。この技術は、AIアプリケーションの速度を大幅に改善します。今年の初めにAppleがオープンソース化した「Recurrent Drafter（ReDrafter）」は、ビームサーチと動的ツリーアテンションメソッドを組み合わせてテキスト生成を加速するアプローチです。Appleはこの技術をNVIDIAのTensorRT-LLMフレームワークに統合し、NVIDIAのGPU上で「最先端のパフォーマンス」を達成したとしています。この統合により、数十億のパラメータを持つプロダクションモデルで、トークン生成の速度が2.7倍向上しました。Appleは、このパフォーマンス向上がユーザーの待機時間を減少させ、GPUの使用量と電力消費も削減すると述べています。開発者は、AppleのウェブサイトやNVIDIAの開発者ブログでReDrafterの実装に関する詳細情報を見つけることができます。
