Apple выпустила iOS 27. Одним из главных нововведений стала Siri AI: голосовой помощник теперь может анализировать содержимое экрана, искать информацию в сообщениях, письмах и фотографиях, а также работать с изображением с камеры.
Новые возможности доступны на iPhone 15 Pro и 15 Pro Max, а также на моделях iPhone 16 и новее. Пока Siri AI работает в бета-версии на английском языке.
Siri научилась понимать, что находится на экране
Можно открыть фотографию или видео и спросить Siri, что там изображено. Помощник также может распознавать информацию на экране и использовать ее для выполнения команд в других приложениях. К примеру, если в электронном письме перечислено, что нужно купить ребенку к школе, Siri может перенести этот перечень в отдельный список в приложении «Напоминания».
С Siri также можно общаться в текстовом формате, как с чат-ботом.
При этом помощник может ошибаться. Показательный пример: во время теста Wall Street Journal Siri попросили определить место по фотографии. Помощник уверенно ответил, что на снимке находятся руины аббатства Дерринейн в Ирландии. На самом деле это была церковь Святой Марии в графстве Корк – примерно в двух с половиной часах езды от места, которое назвала Siri.
Siri может анализировать изображение с камеры
Siri теперь может анализировать то, что попадает в кадр камеры. Например, пользователь может навести iPhone на еду и попросить помощника показать информацию о ее пищевой ценности. Если в кадре несколько продуктов, Siri может учитывать их вместе.
Siri также может рассчитать, сколько должен заплатить каждый человек по общему чеку. Для этого пользователю нужно навести камеру на чек и отметить свои позиции – помощник рассчитает итоговую сумму с учетом налогов, дополнительных сборов и чаевых.
Siri может искать информацию в сообщениях, почте и фотографиях
Функция Personal Context позволяет Siri искать информацию в сообщениях, электронной почте, заметках, фотографиях и других данных на iPhone.
Например, пользователь может попросить Siri найти рекомендацию ресторана, которую ему когда-то прислали в переписке, номер бронирования отеля из старого письма или фотографии из определенной поездки. Помощник сам найдет нужную информацию среди доступных данных.
Поиск может работать и в сторонних приложениях, но только если разработчики разрешили Siri получать доступ к нужной информации.
Для части запросов Siri использует Gemini
Если Siri нужны более мощные генеративные модели или информация из внешних источников, она использует Google Gemini.
Для обработки таких запросов Apple применяет Private Cloud Compute. По утверждению компании, эта система защищает данные пользователя от доступа со стороны Apple и Google.
Несмотря на заметное расширение возможностей Siri, Wall Street Journal пока не считает ее полноценной заменой специализированным ИИ-сервисам. Для более сложных задач пользователям по-прежнему пригодятся ChatGPT и Claude.