Эксперименты с TinEye

На днях я немного поэкспериментировал с  TinEye , сервисом от IDEE Inc по поиску похожих изображений. Фактически — это аналог антиплагиата для изображений. Сервис интересный и полезный и я решил опробовать его в деталях дабы понять принципы работы алгоритма.

Для начала было взято изображение которое точно детектируется TinEye — это картинка с сайта Министерства Энергетики (http://minenergo.gov.ru/resources/images/blob_cache/74.430×0.jpg) взятая создателями сайтов из какого-то банка изображений.

При проверке это изображение даёт список из 5 результатов.

Далее были созданы изображения на её основе со следующими изменениями:

  • изображение с инвертированными цветами;
  • изображение с левой половиной сущестующего изображения;
  • изображение с правой половиной сущестующего изображения;
  • изображение с верхней половиной существующего;
  • изображение с нижней половиной существующего
  • преобразованное с эффектом сепии
  • преобразованное в Grayscale
  • повернутое на 90 градусов (по часовой стрелке)
  • повернутое на 270 градусов (по часовой стрелке)
  • повернутое на 180 градусов
  • изображения с другими вставленными изображениями до 25% от размера основного

В результате оказалось что:

  • после инвертации цветов изображение не распознаётся
  • поиск по любой половине изображения даёт половину результатов (2 вместо 5)
  • преобразование в Grayscale не сказывается на распознавании — по GrayScale изображению находится
  • преобразование с эффектом сепии не сказывается на преобразование
  • изображения повернутые на 90, 180, 270 градусов не распознаются.
  • при проверке изображений куда были вставлены другие изображения — всё зависит от того где именно происходила вставка. Если, в одном из углов или же полностью занимала одну из частей изображения, то ситуация повторялась по аналогии со сравнением поиском половны изображения — выдавались лишь 2 или 3 результата из 5.  В то же время при вставке небольших изображения по основного центру оно более не распознавалась.

Конечно, окончательные выводы надо делать уже после более сложных и длительных экспериментов, но могу предположить что TinEye учитывает следующие характеристики:

1. Пропорции изображения используются как первичный фильтр для отсева наиболее релевантных.

2. В первую очередь анализируются цвета и переходы между цветами. Лично я полагаю что изображения тем или иным образом сегментируются и учитываются не столько сами цвета, сколько переходы цвета.

3. Форма имеет значение, поскольку, к примеру, изображения в Grayscale или с наложенным эффектом сепии распознаются и, в то  же время, инвертирование цветов делает распознание невозможным.

Вообще же очень интересная тема, требующая серьёзных исследований, но и способная существенно преобразить поиск по изображениям и видео.

About This Author

Яндекс.Метрика