Здравствуйте. Ситуация, в которой нужно срочно определить «происхождение» картинки — не такое уж редкое явление.
Как это сделать быстро известно не всем. На самом деле, сделать это достаточно просто — функция поиска по фото с телефона в Яндексе доступна уже несколько лет. Давайте же разберемся, как это работает, а также узнаем историю появления подобной технологии.
Поиск по атрибутам
Алгоритм интеллектуального анализа содержания изображений появился не так уж и давно. Поначалу, ПС находили картинки по атрибутам, приписанным файлу, что иногда, приводило к «удивительным» результатам. Например, при попытках нахождения по фото зелёного зонтика с узором — Яндекс отображал кирпич или ещё чего похуже. Поиск нужного фото с телефона не мог увенчаться успехом в принципе. Но и это не самое страшное.
Потихоньку, по каким-то определённым запросам, «роботы» Google начали собирать фото, скажем так «непубличного» содержания. Не совсем понятно, как так получилось — нелепое стечение обстоятельств или кто-то злонамеренно распространял подобный контент, известно одно — до начала использования интеллектуального алгоритма сортировки и анализа изображений в поисковой выдаче творился настоящий хаос — один из примеров рассмотрим далее.
«Шок» в картинках
До 2011 года пользователь, ищущий определённый запрос на стартовой странице в Google натыкался на фотографии шокирующего содержания. Кстати, подобный механизм выдачи остался до сих пор, с той лишь поправкой, что теперь изображения не отображаются на главной странице. А в разделе картинки — пожалуйста, всё осталось как есть. Интересно другое: в системе Яндекса подобные запросы уже не срабатывают. Это позволяет сделать вывод, что способ эффективной модерации найден — почему им не воспользуется Гугл — остаётся загадкой.
«Умный» поиск изображений в Google
В 2011 году, сотрудники Гугл потихоньку начали внедрять новые алгоритмы распознавания и сортировки изображений. Теперь робот не доверял тегам, описывающим картинки, а разбивал отдельно взятое фото на несколько отдельных элементов и классов, присваивая каждому — отдельный, индивидуальный код. Так, незаметно для широкой массы пользователей, произошёл огромный скачок в сфере разработки технологий искусственного интеллекта, ведь ещё в 2005 году никто и не мог даже предполагать, что поисковая машина научится обрабатывать титанический объём информации, выдавая при этом точные результаты.
Похожим же образом, обрабатывать и распознавать отдельные части фото научился и Yandex, о котором и пойдёт речь далее.
Анализ медиаконтента в Яндексе
Нельзя сказать, что российский поисковик пошёл полностью «своим» путём. Фундаментальные различия в подходе к анализу и обработке фотографий, конечно есть, но «база» всё же общая. До запуска нового алгоритма поиска изображений в 2013-м году, выдача фотокарточек модерировалась специальными людьми — асессорами (основная задача которых — «очеловечивание» поисковой системы и механизмов индексации). Иными словами — асессоры, это те, кто помогают Yandexу «умнеть». Правда, этот ресурс очень ограничен, а потому, отдел таких помощников анализировал информацию только по самым популярным запросам. Они же, старались привести поиск по фото с телефона в Яндексе в адекватный вид.
В середине года, специалисты Яндекса всё же запустили новую систему распознавания графики на базе технологии CBIR (поиск фото по содержанию). Вообще, идея осмысленного поиска фотографий не нова, и исследований с 1992 года на эту тему было сделано очень много. Немало было разработано и проектов, призванных решить проблему «осмысления» медиаконтента роботом, но к конкретным результатам пришли лишь крупнейшие поисковые агрегаторы и с десяток компаний, работающих в других направлениях разработки технологий искусственного интеллекта (например, тот же TinEye, который мы также не обойдём стороной).
Как же это работает?
CBIR Яндекса опирается на анализ и классификацию, так называемых «визуальных слов». Это видно на следующей схеме:
Таким образом, поисковая машина теперь буквально «видит» файл, загруженный пользователем, и очень точно находит похожие фото, как по цвету — так и по содержанию.
В 2016 году, подразделение Яндекса (YDF) — осуществило пробный запуск сервиса автомодерации фотографий. Это экспериментальное решение для соц. сетей, интернет-магазинов и других ресурсов, нуждающихся в уникальном медиаконтенте. Разработка была признана перспективной, в её основу легли технологии искусственного интеллекта и компьютерного зрения.
Уже на этапе пользовательского тестирования, один из менеджеров проекта сообщил, что использование сервиса будет поставлено на коммерческие рельсы. На практике оказалось, что подобная борьба за легализацию и уникальность изображений не очень-то совпадает даже с правовой базой, не говоря уже об общих тенденциях Рунета.
Общую картину мы видим, давайте же попробуем разобраться с практическим применением.
Удобство «умного поиска»
Вы листаете новости в любимой соц. сети или что-то ожесточенно обсуждаете в групповом чате мессенджера. Поток букв, стикеров, аудиозаписей, документов и тут, ваше внимание притягивает неизвестное доселе художественное произведение. Но кто это нарисовал, Вы не знаете, и друзья пожимают плечами — не у всех в френдлисте припрятан искусствовед. Мы ищем картину, на которой изображена лодка с людьми, рядом со скалами в шторм. Вот же она:
Поиск фотографии по описанию для нас выглядел бы следующим образом:
Не очень удачно получилось, правда? И лодка у нас есть, и море и скалы, но всё не то. Придётся немного поправить запрос.
Мы подобрались ближе, но результата ещё нет.
Что же у нас тут вообще происходит? Есть море, есть буря. Что делает буря? Правильно, бушует.
Немного изменим запрос.
Вот наша картина и нашлась. Это работа Айвазовского «Бущующее Море». Стоит заметить, что Айвазовский — известен в широких кругах, а с некоторыми его произведениями знакомят ещё со школьной скамьи. Но у него очень много картин о море, прибавим к этому кучу других фотокарточек в поисковой выдаче и готово — без «пляски» с бубном нам не разобраться. А теперь представьте всё то же самое, но с мобильного.
А что делать с произведениями других художников? Они не всегда поддаются описанию. Ниже у нас «Искушение св. Антония» написанное Босхом:
Эту картину не то что трудно описать машине, не каждому человеку то удастся объяснить, что тут изображено.
В этом и проявляется несовершенство поиска по тегам и описаниям. И если с ПК мы ещё можем немного посидеть и поискать мышью нужное нам фото, то со смартфона это очень неудобно делать. Экран не такой большой, как на стационарном компьютере или ноутбуке, а информации очень много — придётся долго проматывать вниз.
Поиск по фото с телефона в Яндексе
Для того, чтобы найти фотографию нам нужно сделать следующее в браузере, запустив Yandex:
- Делаем 1 «тап» (прикосновение) в поле ввода;
- Жмём кнопку «Спросить картинкой»:
- Подгружаем файл из памяти смартфона;
- Готово, на скриншоте вы можете заметить что у нас всё получилось — это фото нашлось, а также нашлись похожие:
Поиск фотографий в Гугл
Устройства под управлением Андроид, снабжены стандартной службой поиска — Google Images. Для её использования, сделайте длительное нажатие на нужном фото.
В раскрывшемся меню тапните на «Найти это изображение»:
Если эта фотография размещена на какой-либо странице, можно «опознать» её как при помощи поиска по изображению, так и по ссылке, которую нужно будет скопировать и вставить в поисковую строку.
А вот так выглядят результаты:
Альтернативный способ — TinEye
На телефонах предыдущего поколения имеет смысл воспользоваться сервисом TinEye. Он, как и Яндекс, базируется на принципе «CBIR», но подход сильно отличается. Это один из самых точных ресурсов поиска фото с телефона. Его интерфейс очень прост: нажмите на кнопку загрузки и выберите нужное вам изображение.
Вот мы и разобрались в хитросплетениях такой простой в использовании функции. Но для того чтобы она появилась — потребовалось очень много сил и времени. Теперь вы знаете, как осуществлять поиск по фото с телефона в Яндексе.
Комментарии
Отправить комментарий