Appleは、iPhone 16モデル向けのiOS 18.3ソフトウェアアップデートで、新しいVisual Intelligence機能をCamera Controlボタンに追加します。この機能では、周囲の世界をカメラで捉えると、その場所の詳細やテキストの要約・翻訳、ウェブリンクへのアクセス、電話番号への発信が可能になります。iOS 18.3では、ポスターやフライヤーを見てカレンダーのイベントを作成するオプションや、植物、動物、昆虫を簡単に特定する機能が追加されます。
Visual Intelligenceを利用するには、Camera Controlボタンを数秒間押し続ける必要があります。カメラアプリがアクティブでない状態で使用しなければなりません。インターフェースにはカメラビュー、キャプチャボタン、「Ask」ボタン(ChatGPTとのやり取り)、「Search」ボタン(Google検索)があります。使用するには、観察している物体やシーンの写真を撮影し、希望するオプションを選ぶ必要があります。
カレンダーにイベントを追加する機能は、Camera Control導入時にAppleが発表したもので、iOS 18.3で使用可能になります。この機能を使うには、日付が記載された文書(ポスターなど)を表示し、ポップアップで出てきた日付をタップします。Photosアプリでも植物や動物の情報を取得できますが、Camera Controlではリアルタイムでの詳細表示が可能になります。観察中に上部に表示されるバブルをタップすることで、さらに情報を得ることができます。情報が正しくない場合は、フィードバックを送ることもできます。