Аналитический инструмент на основе ИИ под названием Google Lens теперь может распознавать более 1 миллиарда продуктов с портала для сравнения цен и цен Google Shopping. На момент выпуска в октябре 2017 года этот показатель был в четыре раза меньше.

Апарна Ченнапрагада, вице-президент отдела Google Lens и дополненной реальности в Google, немного рассказала о вехах Google Lens в ретроспективном сообщении в блоге.

«Я провела последнее десятилетие в ведущих командах, которые создают продукты на основе ИИ, чтобы помочь людям в их повседневной жизни с помощью Search, Assistant и теперь Google Lens», − написала она.

«Мы постоянно полагаемся на зрение, чтобы осмыслить окружающую среду, запомнить все виды информации и исследовать мир вокруг нас … Я вижу, как камера открывает целый новый набор возможностей для поиска информации и оказания помощи».

В этом контексте под продуктами подразумеваются этикетки продуктов. В Google Lens используется механизм оптического распознавания символов для сопоставления штрих-кодов, QR-кодов, номеров ISBN и других буквенно-цифровых идентификаторов для продуктов в огромном каталоге. Механизм работает за счет комбинации систем искусственного интеллекта, которые распознают различные символы, языки и шрифты, с моделями языковой коррекции и исправления орфографии, заимствованными из поисковика Google (Google Search).

Система может найти и показать полезную информацию, такую ​​как обзоры продуктов. Но это не все алгоритмы компьютерного зрения Google Lens. Растущий список включает в себя: мебель, одежду, книги, фильмы, музыкальные альбомы, видеоигры, достопримечательности, известные здания, имена и пароли сети Wi-Fi, цветы, домашних животных, видеоигры, напитки и многое другое.

Google Lens считывает объекты и предлагает различные типы взаимодействия. Если указать на наряд или предметы домашнего декора, то он рекомендует стилистически похожие продукты. Кроме того, он может автоматически извлекать номера телефонов, даты и адреса из визитных карточек и добавлять их в список контактов.

Google Lens значительно изменился за последний год. По словам Ченнапрагады, Lens обучается работе с маркированными изображениями, передаваемыми через систему машинного обучения TensorFlow. В результате система начинает более надежно распознавать объекты благодаря наборам данных с изображениями, «которые выглядят так, как будто они были сделаны с помощью камер смартфона».

Совсем недавно Google представил Lens для iOS через приложение Google и выпустил переработанный интерфейс для Android и iOS.

Ченнапрагада говорит, что в будущем Lens предстоят усовершенствования, основанные на искусственном интеллекте.

«Забегая вперед, я считаю, что мы вступаем в новую фазу вычислений: эру камеры, если хотите», − написала она. «Этому содействует одновременно масса аспектов: захватывающий темп прогресса в сфере ИИ и машинного обучения, более дешевое и мощное оборудование благодаря популярности мобильных телефонов и миллиарды людей, ежедневно использующих свои камеры».