Поисковая система IBM для видеопередач BBC

Новостные агенства пишут про Web 3.0 на подходе и большом желании BBC и IBM создать систему поиска по видеопередачам накопленным BBC за долгие годы, а Михаил Елашкин совершенно справедливо указывает на то что сам термин Web 3.0 совершенно здесь неуместен.

Я же попробую рассмотреть этот вопрос в той части о котором новостные агенства пишут мало — о том как эта система будет работать и что же это такое на самом деле будет.

Видео архивы строят обычно двумя способами которые иногда смешивают:

Вариант 1. Категоризация, описание и метаданные

Это наиболее классический способ заключающийся в ручном указании каждому элементу категории к которому он относится и заполнение описания согласно некой форме: жанр(-ы), дата, издатель, участники и актёры, режисёр, проект и так далее. Такая категоризация отличается своей значительной трудоёмкостью особенно когда новую запись в каталог добавляют не сразу, а их накапливается в виде сотен и тысяч часов.

Вариант 2. Категоризация по ключевым словам (тэгам)

Это тоже ручная категоризация, но, в отличии от классического каталога она может осуществляться социальной сетью как это, например, реализовано на YoTube или как это использовал Google в своей игре где двум пользователям они давали изображения и просили набирать ключевые слова. У видео есть отличие в том что такую игру с видеороликами организовать куда сложнее, они дольше и пользователей необходимы способы поощерения пользователей чтобы они могли проставить правильные тэги. Разумеется также мы ограничены знаниями этих пользователей.

Если 14 летний подросток может даже и не знать что снимал Хичкок и единственное ключевое слово которое он напишет на ролик по его фильму будет «вороны», то человек лет за 50 может ничего не понимать в ролике про «рэп», поэтому схемы назначения ключевых слов могут быть разными и требуют специального подхода в каждому случае. Где-то лучше чтобы их назначал тот кто вносит этот материал — например, это YouTube где каждый публикующий максимально заинтересован в привлечении аудитории, а где-то, где сбор видео это не личная заинтересованность, а круг обязанностей как раз социальные ключевые слова смогут компенсировать меньшую заинтересованность тех кто наполняет архив. Как бы то ни было BBC использует видео архив Virage который как раз работает на принципе тэгов.

Зачем же здесь нужна IBM? У IBM есть разработка под названием MARVEL по извлечению информации из любого рода мультимедийных данных — видео и изображений.

Причём MARVEL умеет проводить анализ и группировать по таким характеристикам как: цветовой насыщенности — true color, high color, двухцветные изображения, оттенки серого, черно белое; цветовой гамме; повторяемости текстур и, что самое интересное, искать по так называемым концептам.

Концепт — это некое структурированное описание модели, ключевого слова которое можно применить к картинке производя анализ изображения. Например, есть концепт определения времени суток, есть концепты определения солнца или дороги и есть концепты определения автомобилей.

Надо сказать что идея эта весьма любопытна, но эффективность от её срабатывания пока невелика.

В качестве эксперимента я скачал MARVEL LITE с сайта IBM

Ссылка: http://domino.research.ibm.com/comm/research_projects.nsf/pages/marvel.index.html

и прогнал его по моей коллекции фотографий и видеозаписей.

В результате по каждому из концептов оказалась следующая статистика по определению содержимого:

  • ночь — все ночные фотографии найдены и такое число дневных фотографий принято за ночные;
  • солнце — все найденные фотографии просто были хорошо освещены;
  • outdoors (вне зданий) — примерно 1/3 угадана верно
  • природа — примерно 50% фотографий угадано, при прогоне по изображениям из мультипликации и художественной графике процент попаданий около 10%
  • здания процент попаданий 10-25%

Как результат, конечно технология очень интересная, но ещё весьма и весьма далёкая от совершенства. Если только конечно IBM не доработала эти технологии за последний год.

А самое главное что Web 2.0 и тем более Web 3.0 тут нет никаким краем. MARVEL — это технология извлечения ключевых слов из содержания без участия человека, но никаких возможностей социальных сетей она не использует. Можно лишь надеятся что IBM сможет объединить MARVEL и социальную сеть так чтобы пользователи могли уточнять результаты анализа, но сделают ли они это можно лишь гадать.

About This Author

Яндекс.Метрика