Способы поиска мультимедиа информации в интернете

“Одна из целей мультимедиа  заключается в представлении  информации в форме, наиболее близкой  к той, что мы держим у себя в  голове, то есть в виде картинок, звуков и слов”

Джон Андерсон

 

Передача графики и  видео становится сегодня одним  из активно используемых способов коммуникаций, однако за всякое удовольствие надо платить. Платой за использование наглядных  образов и за возможность получить в Internet не только нужную текстовую информацию, но и картинку, видеосюжет или музыкальную запись становятся серьезные проблемы поиска и извлечения таких данных.

ПРОЕКТ MARVEL

В исследовательском подразделении IBM Watson Research Center предлагают свое решение этой проблемы. Программная система анализа и выборки мультимедиа MARVEL (Multimedia Analysis and Retrieval System, в переводе с английского — «чудо») автоматизирует процесс аннотирования на базе методов машинного самообучения и предоставляет высокопроизводительные средства поиска мультимедийных данных.

Принципиальное отличие  неструктурированной информации от структурированной в части поиска состоит в том, что ее необходимо сначала проанализировать — вычленить  в ней ключевые объекты и зависимости  между ними, по которым в дальнейшем можно будет индексировать и  организовывать эту информацию и  осуществлять поиск. Система MARVEL включает в себя два решения:

- Средство анализа мультимедиа (multimedia analysis engine)

- Средство поиска и выборки мультимедиа (multimedia retrieval engine)

АНАЛИЗ

Современные средства анализа  мультимедийного контента способны выделять и классифицировать различные простейшие признаки видеообъекта, такие как цвет, фактура, форма, движение, но, как правило, не дают возможности описать осмысленную семантику объектов, сцен и событий. Особенностью подхода, реализованного в MARVEL, является то, что система способна распознавать такую семантику, идентифицируя не только цвета, фактуру и геометрические формы объекта, но и контекст, в котором появляется объект. Например, аналитический механизм определит на кадре летящий самолет не только по характерным формам объекта, но и в соответствии с тем фактом, что объект находится не в помещении, определив это, например, по такому признаку, как облака. Таким образом, для аннотирования видеосюжетов MARVEL не просто выделяет множество различных признаков, но определяет корреляцию и зависимости между ними, выявляя тем самым семантические концепции. Это повышает качество аннотации и расширяет возможности для поиска.

 

ПОИСК

Средство поиска и выборки  мультимедиа объединяет три метода поиска в мультимедийных данных: по описанию признаков, по концептуальным моделям и по тексту, благодаря чему пользователь может добиться точных результатов поиска. Например, если вам надо найти «эпизоды на открытом воздухе с изображением садов», то вы можете задать в качестве параметров поиска концепции типа «на открытом воздухе», «ландшафт» и т.д. или пример изображения, которое вы хотите получить, а можете объединить ту и другую информацию.

Система предоставляет пользователям  возможность формировать запросы  для поиска в репозитарии мультимедийных данных несколькими способами: по признакам — путем выбора примеров видеокадров; по тексту — составляя текстовые запросы; по семантике — составляя текстовые запросы или выбирая из списка ключевых слов; по моделям — выбирая из списка ключевых слов. Разница между двумя последними способами состоит в том, что в поиске на базе моделей для ранжирования и объединения результатов будут использоваться оценки достоверности, заданные в семантических моделях.

Перспективы

Впервые система MARVEL была представлена на конференции в Кембридже в  августе 2004 года. Хотя и в публичных  показах, и в описаниях системы  пока приводятся только примеры организации, индексации и поиска видеоконтента, проект принципиально нацелен на создание решения для анализа и поиска в масштабных архивах любых мультимедийных данных. Потенциальными пользователями MARVEL являются телерадиовещательные компании и библиотеки, которым система должна помочь упорядочить сколь угодно большие мультимедиа-репозитарии, автоматизировать и ускорить поиск.

 

ПРОЕКТ DIVAS

Для сортировки и поиска по аудиовизуальному контенту используется программное обеспечение, которое автоматически извлекает небольшие фрагменты видео и создаёт уникальный идентификатор на основе ряда аудиовизуальных характеристик, таких как изменения в сцене, движении и звуковом сопровождении. Эти цифровые "отпечатки пальцев" затем применяются для индексации и поиска по всей базе видео или аудио. Технология неплохо работает для несжатого контента, но неэффективна для распространённых форматов, используемых в веб-сервисах или телевещании.

В отличие  от большинства цифровых систем обработки характерных признаков контента, DIVAS не нуждается в преобразовании видео в "сырой" RAW-формат, что уменьшает потребность в вычислительной мощности компьютеров и пространстве дисковой подсистемы, а сам процесс индексации проходит значительно быстрее. Например, если другие способы предполагают генерирование идентификатора из 60 Гб несжатого видео, то DIVAS может работать с 4 Гб видео в DVD-качестве.

Аудиоданные также формируют часть набора ключевых особенностей видео, предоставляя ключевую дополнительную информацию в случае похожих записей наподобие лекций или концертов.

Аудиовизуальные отпечатки  хранятся в файлах XML в комбинации со стандартом описания мультимедийного контента MPEG 7. Благодаря этому осуществляется простой и быстрый поиск.

Ключевой же рынок для  технологии – это медиакомпании и поисковые сервисы, нуждающиеся в быстродействующих методиках индексации и поиска по видео, кинопроизводители, которые в закоулках Сети ищут пиратские копии, и рекламодатели.

ПРОЕКТ PICOLLATOR

Существующие поисковые  системы работают с текстовыми описаниями и тегами к файлам. С Picollator достаточно загрузить любую картинку, чтобы начать поиск похожих изображений.

Picollator создает базу данных лиц, изображенных на цифровых фотографиях. Далее система классифицирует фотографии в соответствии с их содержанием, независимо от названий файлов, тегов или текстовых описаний.

Picollator отличается от поисковых систем и сервисов, тем, что оперирует не общей схожестью фотографий по цветовой гамме или текстуре, а понимает, что или кто изображен на фотографии. Идентифицируя объекты, можно искать дополнительную информацию про эти объекты: видео (в перспективе), картинки, текст.

Рассмотрим  использования  группировки из серии «Найти неизвестного».

Как-то исторически сложилось, что особенно привлекательным для  системы является мистер Буш –  Picollator распознает его во всяком обличье и ракурсах (видимо, что-то в нем есть для машинного глаза).

Первоначально загружаем произвольно выбранное фото Буша. В результатах поиска появилась группа фотографий Джорджа с »неизвестным».  И в этой группе 38 фото.

В текстовом описании к  файлу об этой интересной личности нет ни одного слова.  И как  определить, кто это? Это не просто, а очень просто.

Проведя некоторые  действия, мы видим

//Нажимаем на ссылку Найти похожие (Similar) к данной группе фотографий, и вот он наш незнакомец – Карл Роув:

Как видим, в результатах  поиска есть фотографии Карла и с  Джорджем, и с другими товарищами. Цепочку выявления связей можно  при желании  продолжить.

Итак,  личность установлена.

ЗАКЛЮЧЕНИЕ

Мультимедиа информация не имеет структуры текстового документа, позволяющей выделять определенные элементы (предложения или абзацы) и на этой основе проводить индексацию, что усложняет решение задачи поиска

Большинство существующих на данный момент механизмов поиска мультимедийной информации в реальности не анализируют содержимое видеофайлов, а используют текстовые аннотации к ним, составляемые вручную. Процесс такого аннотирования требует очень много времени и, следовательно, больших материальных затрат и, как правило, довольно субъективен, что приводит к появлению неполных и несогласованных текстовых описаний, которые далеко не всегда адекватно отражают реальное содержание видеофайлов.  Рассмотренные в работе проекты призваны решить проблему поиска мультимедиа информации.