Сжатие сигналов в цифровом телевидении

Важнейшей особенностью MPEG-4 является объектно-ориентированный подход, сущность которого заключается в том, что передаваемое изображение со звуковым сопровождением представляется как совокупность видео- и аудио- объектов.

Видеооъбектами могут быть изображения людей и предметов, перемещающихся перед неподвижным фоном, и сам неподвижный фон. Обычное телевизионное изображение может быть единым видеообъектом. Аудиообъектами могут быть голоса людей, музыка, другие звуки. Связанные видео - и аудиообъекты, например, изображение человека и его голос, образуют аудио-визуальный объект. Видео- и аудиообъекты составляют сцену. MPEG-4 содержит специальный язык для описания сцен – BIFS (Binary Format for Scenes – двоичный формат для сцен).

Описание каждой сцены включает данные о координатах объектов в пространстве и об их привязке ко времени. Видеообъекты могут размещаться в разных плоскостях видеообъектов, так что видеообъекты, находящиеся в более близких к зрителю плоскостях перекрывают при движении видеообъекты, находящиеся в более дальних плоскостях.

Ясно, что для реализации интерактивных возможностей MPEG-4 необходим не обычный телевизор, а ПК, подключённый к Интернет.

В отличие от MPEG-1, MPEG-2 в которых применяется фиксированный алгоритм кодирования, в MPEG-4 используется целый набор методов кодирования, включающий как алгоритмы, сходные с применяемым в MPEG-1, MPEG-2, так и принципиально новые методы кодирования, основанные на понятии видеообъекта. Выбор того или иного метода кодирования в конкретном случае определяется характером изображения и требуемым коэффициентом сжатия информации. MPEG-4 позволяет эффективно сжимать как натуральные, так и синтетические изображения и объединять их при воспроизведении.

Как мы уже отмечали, стандарт MPEG-4 не предназначен на замену MPEG-2 в ТВ веща­нии в его нынешнем виде, но в наш век быстрых изменений можно представить себе, что и традиционная концепция ТВ вещания будет заметно изменяться. Начало этим измене­ниям положено постепенным переходом на цифровое вещание, предоставляющее новые возможности по количеству программ, качеству изображения и звукового сопровожде­ния, передаче дополнительных данных и предоставлению новых услуг. Можно с опреде­ленной степенью уверенности прогнозировать слияние ТВ приемника, телефона, спутни­кового и кабельного терминалов (в дальнейшем к ним присоединится и персональный компьютер) в единое информационное устройство, получающее информацию из общей информационной сети по высокоскоростному цифровому каналу (проводному, оптичес­кому или спутниковому). Большая часть ТВ программ может передаваться по такому каналу в свободное от нагрузки (ночное) время, загружаясь в емкую память информаци­онного блока, в реальном времени будут передаваться только новости и программы, рас­считанные на интерактивное взаимодействие со зрителем.

Теперь представим себе, как расширит возможности восприятия добавление к тради­ционной программе дополнительной информации в форме наложенного текста, непод­вижных изображений (возможно, полупрозрачных), двумерной и трехмерной графи­ки, дополнительных зрительных и звуковых образов. Часть этих улучшений используется и сегодня, но это происходит по воле вещателя, и зритель не в состоянии что-либо изменить. В MPEG-4 дополнительная информация передается вместе с объектом и ею легко управлять нажатием кнопки. Вы, например, можете вызвать на экран ответ на вопрос викторины, а можете убрать его и самостоятельно поломать голову над загад­кой. Возможно изменить точку взгляда на сцену, как бы сменить положение камеры. Это дает возможность лучше воспринять спортивное соревнование или музыкальное шоу. В многоканальной звуковой системе можно выбрать число каналов, язык звуково­го сопровождения и даже самому включиться в оркестр, исполнив партию на любом понравившемся вам инструменте.

Широкие возможности открывает MPEG-4 в интерактивной среде. Возможности MPEG-4 позволят вам установить связь с несколькими людьми и организовать совмес­тный просмотр программы, изменяя по договоренности ход сюжета, или поиграть в сетевые игры с трехмерными изображениями.

2.4 Стандарт описания метаданных МРЕG-7

Глобальный информационный взрыв остро поставил вопрос: как получить доступ к нужной информации на планете, если вы не знаете, где она находится? Хороший ответ на это дают Интернет и WWW — Всемирная паутина. Благодаря поисковым серверам, таким как АльтаВиста или Yahoo!, можно в считанные секунды по ключевым словам найти в сети любой текстовой документ.

Переход телевидения к цифровым технологиям и быстрое развитие техники цифро­вого сжатия вызвали в последние годы столь же быстрый рост объема аудиовизуальной информации. Информация может быть представлена в различных формах (неподвиж­ные изображения, видео, графика, 3D модель, звук, речь), может быть записана на носитель или быть живой, аналоговой или цифровой, может восприниматься челове­ком, а может циркулировать в компьютерной системе (видеонаблюдение, «умные» ви­деомагнитофоны). Материал может включать информацию о том, как эти элементы объединяются в мультимедийном представлении («сценарии»). Специальные типы дан­ных могут включать выражение лица и персональные характеристики.

Одновременно с ростом объема мультимедийного контента в мире растет и слож­ность доступа, идентификации и управления этими ресурсами из-за отсутствия адекват­ной схемы индексации. В отличие от текста, для поиска изображений, звуков и их сочетаний нет пока общепринятых методик их описания и обобщения до такой степени, чтобы, введя в поисковую машину несколько нот, получить Первый фортепьянный концерт Чайковского или по нескольким кадрам найти нужный кинофильм. Нужно разработать формы представления аудиовизуальной информации, отличные от формы сигнала, отсчетов, кадров или даже объектно-ориентированного контента.

Именно такую задачу — дать набор стандартизованных средств описания мультиме­дийного контента, обладающий гибкостью, простотой, наглядностью и в то же время высокой степенью универсальности — поставили перед собой эксперты MPEG. В 1996 г. группа MPEG, только что успешно завершившая создание стандарта МРЕG-2, присту­пила к разработке нового стандарта, для которого было выбрано «счастливое» число 7 В отличие от МРЕG-1, 2, 4, которые нацелены на кодированное представление аудио­визуальных объектов, МРЕG-7 должен стандартизовать набор дескрипторов, пригод­ный для описания различной мультимедийной информации.

Стандарт МРЕG-7 называется «Интерфейс описания мультимедийного контента» и нацелен на стандартизацию следующих основных элементов:

-             базового набора Дескрипторов, используемых для описания
различных признаков мультимедийного контента;

-             предопределенных структур Дескрипторов и соотношений между ними, называе­мых Схемами Описания (СО);

-      языка определения Дескрипторов и Схем Описания, названного Язык Определе­ния Описания;

-              путей кодирования Описаний.

Описания МРЕG-7 (набор подтвержденных СО) необходимо связать с контентом для обеспечения последующего быстрого и эффективного поиска его пользователем. Описание может быть физически размещено совместно с описываемым аудиовизуальным материалом, или передаваться в том же потоке, в той же системе хранения, или описания могут храниться отдельно. Следовательно, требуется механизм, который бы связывал материал с описанием независимо от места хранения.

Разработчики стандарта начали с терминологии. Были определены основные поня­тия:

Данные — аудиовизуальная информация, которая может быть описана МРЕО-7;

Признак — отличительная особенность Данных, которая означает что-то для кого-то;

Дескриптор — представление Признака; он определяет синтаксис и семантику пред­ставления Признака;

Значение Дескриптора — подтверждение Дескриптора для заданного набора Данных;

Схема Описания — определяет структуру и семантику отношений между компонен­тами, которыми могут быть как Дескрипторы, так и СО;

Описание — состоит из СО и набора значений Дескрипторов, описывающих Данные;

Кодированное Описание — Описание, которое закодировано для выполнения некоторых требований (эффективность сжатия, устойчивость к ошибкам, случайный доступ и т.д.);

Язык Определения Описания — язык, позволяющий создать новые Схемы Описания и, возможно, Дескрипторы, а также расширить и модифицировать существующие СО.

Стандарт состоит из следующих частей:

1.              МРЕG-7 «Системы» — средства, необходимые для подготовки Описаний; сред­
ства для защиты интеллектуальной собственности.

2.              МРЕG-7 «Язык Определения Описания» — язык определения новых СО и, воз­
можно, новых Дескрипторов.

3.. МРЕG-7 «Аудио» — Дескрипторы и СО, имеющие дело только с аудиоконтентом.

4.               МРЕG-7 «Визуальные средства» — Дескрипторы и СО, имеющие дело только с визуальным контентом.

5.               МРЕG-7 «Обобщенные объекты и Схемы Описания мультимедиа» — Дескрипто­ры и СО, имеющие дело с универсальным контентом.

6.               МРЕG-7 «Рекомендованное программное обеспечение» — программные реализа­ции частей стандарта.

           7. МРЕG-7 «Соответствие» — процедуры тестирования на соответствие МРЕG-7.
В стандарте предполагается разработка дескрипторов четырех типов.
Дескрипторы первого типа передают непосредственно содержание материала  и могут быть низкого и высокого уровня. Дескрипто­ры низкого уровня передают структуру материала — цвет, текстуру, форму; параметры движения для видео; высоту тона, тембр, темп, интенсивность — для звука, и т.п. Многие признаки низкого уровня могут извлекаться из контента автоматически, с по­мощью компьютеров. Дескрипторы высокого уровня описывают смысловое содержание контента и будут делаться вручную.

Второй тип дескрипторов будет со­держать информацию о времени и цели создания материала, об авторстве и правах собственности, третий тип  позволит классифицировать материал по различным признакам и может использоваться для его анализа и исследований, а четвертый тип — для быстрого поиска контента по краткому описанию аудиовидеосодержания.

В табл. 8 даны примеры некоторых дескрипторов, введенных в тестовую модель стан­дарта. Каждый дескриптор описывает один из группы однородных признаков. Цветовое пространство, например, включает известные форматы RGB, YUV, Mоnochromic video и др., движение камеры описывается восемью отдельными параметрами, и т.д.

Таблица 8 – Дескрипторы стандарта МРЕG-7

В таблице часто встречается слово «гистограмма». Оказалось, что это одно из наиболее мощных и устойчивых средств обобщения и анализа свойств контента. Из этих примеров можно понять, какими категориями и понятиями оперирует стандарт. Каждый дескриптор опреде­ляется нормативной и ненормативной (необязательной) частями. Нормативная часть со­держит синтаксис, семантику и двоичное представление этих описаний; необязательная часть — рекомендуемые методы извлечения и согласования схожести признаков.

Более высокий уровень обобщения представляют собой Схемы Описаний (СО). При их разработке МРЕО использует следующие концепции для описания аудиовизуально­го контента:

- синтаксическая структура физическая и логическая структура аудиовизуаль­ного контента, т.е. структура, базирующаяся на временных сегментах и/или простран­ственных областях;

Рисунок 9 – Обобщённая структурная схема описания аудиовизуального объекта

-            семантическая структура — классификация, основанная на семантическом смыс­ле, т.е. структура, базирующаяся на временных событиях и/или пространственных
объектах;

-            синтаксически-семантические связи      ассоциации между синтаксическими и семантическими элементами.

СО так же, как и Дескрипторы, могут быть разного типа. Структурные или синтак­сические схемы имеют дело со структурой аудиовизуальной информации, ее отдельны­ми сегментами и их пространственно-временными взаимоотношениями, семантические схемы описывают смысловое содержание материала — объекты, действия, события. Схемы, описывающие модель содержания, базируются на дескрипторах-классификато­рах и будут полезны при обработке и анализе материала.

Находящаяся в стадии разработки Обобщенная СО аудиовизуального контента пред­ставляет собой объединение всех предложений и вкладов, поступивших от экспертов. На рис. 9 показаны структура и состав СО. Одна из основных проблем в ее разра­ботке — ее размер и сложность. Предстоит исключить избыточность и взаимное нало­жение функций, чтобы получить работоспособную схему.

Активно ведется разработка языка DDL, который должен быть в состоянии выра­зить пространственные, временные, структурные и концептуальные соотношения меж­ду элементами СО. Он также должен устанавливать связи между Описаниями и дан­ными, которые они описывают, утверждать дескрипторы для различных типов данных как простых (целые числа, текст, дата, время), так и составных (гистограммы, сочета­ние перечисленных типов). Достигнуто согласие, что язык DDL должен базироваться на синтаксисе языка ХМL (eXtensible Markup Language), используемого в Интернете для описания представления текстовых документов.

Потенциальная область применения стандарта MPEG-7 очень широка и включает образование, журналистику, культуру (музеи, картинные галереи), архивы кино, теле­видения и радио, службы криминальных расследований (наблюдение, опознание, су­дебные архивы), дистанционное зондирование (картография, управление естественны­ми ресурсами, экология), телемедицину и многие другие области.