Достоверность и полнота содержания информации. Базы данных статистической информации. Планирование и анализ данных

 К группам факторов, определяющих характеристики коммуникаций, относятся: факторы - условия - те, которые определяют, принципиальны условия устойчивого функционирования и развития коммуникационной системы; факторы-каналы - действующие и потенциальные канал доступа - обмена, распределения, преобразования; факторы-объемы, характеризующие затраты и производительность; факторы контролируемости - находящиеся под доминирующим контролем рассматриваемой коммуникационной системы, под контролем «дружественно» взаимодействующих коммуникационных систем, не находящихся под контролем.

К числу специфических  факторов, снижающих эффективности коммуникаций в управлении, относятся следующие: отсутствие модели делового общения; неопределенность, неоднозначность целей делового общения; непонимание персоналом своих обязанностей; разобщенность коллективов. Важнейшими из качественных характеристик коммуникационной системы являются оперативность доведения сообщений и помехоустойчивость. Итеративность и помехи - одни из наиболее частых причин возникновения разрывов в управлении. К основным помехам относятся: - фильтрация сообщений, т.е. отбор, задержка, отсеивание, селекция информации при передаче и приеме сообщений; - выборочное восприятие, предполагающее интерпретацию информации в соответствии с опытом, знаниями и отношением, как отправителя, так и получателя, - психологический, эмоциональный, языковый барьеры; -несправедливая система стимулирования. К числу мер защиты от помех относятся: дублирование сообщений, использование внешних источников контроля, уменьшение числа уровней подготовки и приема сообщений, исправление искажений. Повышение оперативности и помехоустойчивости коммуникаций, а также снижение загруженности информацией потребителей и достижение высокого эффекта её восприятия может быть достигнуто на основе интеграции коммуникационных процессов. Функциональная интеграция - формирование системы инструментальных средств для реализации общих коммуникативных целей. Инструментальная интеграция - согласование различных коммуникативных элементов и координация коммуникативных мероприятий в пределах отдельных инструментов коммуникации. Горизонтальная - согласование (увязка) коммуникаций на одном уровне.

При использовании информационных сетевых  технологий становится возможной реализация территориального распределения обработки информации.

Для руководства таможенного органа безразлично, где именно находится  тот или иной таможенный пост или  где производится та или иная операция по таможенному оформлению или контролю. Появляются совсем другие проблемы, такие как бесперебойность и качество работы коммутационных машин и каналов передачи информации. И, безусловно, первая в ряду этих проблем - информационная безопасность.

Одной из важнейших  сетевых технологий является распределенная обработка данных. Персональные компьютеры стоят на рабочих местах, то есть на местах возникновения и использования информации. Они соединены каналами связи. Это дало возможность распределить их ресурсы по отдельным функциональным сферам деятельности и изменить технологию обработки данных в направлении децентрализации. Распределенная обработка данных позволила повысить эффективность удовлетворения изменяющейся информационной потребности сотрудника таможенного органа и тем самым обеспечить гибкость принимаемых им решений. Преимущества распределенной обработки данных:

большое число взаимодействующих  между собой пользователей, выполняющих  функции сбора, регистрации, хранения, передачи и выдачи информации; снятие пиковых нагрузок с централизованной базы путем распределения обработки и хранения локальных баз данных на разных ЭВМ для обеспечения доступа информационного работника к вычислительным ресурсам сети ЭВМ; обеспечение симметричного обмена данными между удаленными пользователями.

Введение  классификации моделей представления  данных на иерархические, сетевые и  реляционные отразилось на архитектуре систем управления базами данных (СУБД) и технологии их обработки. Архитектура СУБД описывает ее функционирование как взаимодействие информационных процессов двух типов: клиента и сервера.

Распределенная  обработка и распределенная база данных не синонимы. Если при распределенной обработке производится работа с базой, то подразумевается, что представление данных, их содержательная обработка, работа с базой на логическом уровне выполняются на персональном компьютере клиента, а поддержание базы в актуальном состоянии на сервере. В случае использования распределенной базы данных последняя размещается на нескольких серверах. Работа с ней осуществляется на тех же персональных компьютерах или на других, и для доступа к удаленным данным надо использовать сетевую СУБД.

В системе  распределенной обработки клиент может  послать запрос к собственной  локальной базе или удаленной. Удаленный запрос - единичный запрос к одному серверу. Несколько удаленных запросов к одному серверу объединяются в удаленную транзакцию. Если отдельные запросы транзакции обрабатываются различными серверами, то транзакция называется распределенной. При этом один запрос транзакции обрабатывается одним сервером. Распределенная СУБД позволяет обрабатывать один запрос несколькими серверами. Такой запрос называется распределенным. Только обработка распределенного запроса поддерживает концепцию распределенной базы данных.

Созданы распределенные базы данных по всем направлениям человеческой деятельности: финансовой, экономической, научно-технической, электронной документации, кредитной, статистической, маркетинга, газетных сообщений, правительственных распоряжений, патентной информации, библиографической и так далее. Таможенные информационные технологии опираются на базы нормативно-справочной информации.

При построении 1-й очереди ЕАИС акцент делался на классические методы проектирования базы данных, то есть на системы, направленные на обработку транзакций в реальном времени (Оn-Line Transaction Processing - OLTP).

OLTP -системы ориентированы на выполнение транзакций, информация в них носит оперативный характер. Записи в OLTP -системах могут регулярно добавляться, удаляться и редактироваться.

OLTP -система выдает ответы на простые вопросы типа «Каков был уровень импорта товара N в регионе М в январе 2004 года?». Традиционные системы OLTP оперируют такими понятиями, как сущность, связь, функциональная декомпозиция и анализ изменения состояний.

В системах OLTP информация хранится в виде, пригодном для детальной ревизии данных. Если пользователя интересует кредитный счет экспортера, он должен получить подробную информацию о каждой операции. С этим прекрасно справляется система OLTP, которая обеспечивает строжайшую секретность и максимальную закрытость. Неудивительно поэтому, что с помощью таких систем невозможно получить ответ на аналитические вопросы типа «Будет ли получена от этого прибыль?», «Какие клиенты наиболее выгодны с позиции таможенных платежей и почему?» или «Какие возможности в технологии валютного контроля упускаются?».

В реляционных  моделях связи отображаются явно. Понятие «сущность-связь» составляет основу реляционной модели. Например, явное описание связи между потребителями и заказами закладывается в саму конструкцию реляционной БД.

К сожалению, размещаемая в базах  данных OLTP -систем информация мало пригодна для глобального прогнозирования состояния системы. Поэтому данные с разных информационных конвейеров отправляются (в смысле, копируются) на «склады данных», называемые «информационными хранилищами данных».

Для получения  интересующей информации лица, принимающие решение (ЛПР), или аналитики, обращаются к СППР с запросами. Эти запросы в большинстве случаев более сложные, чем те, которые применяются в системах операционной обработки данных, например, «Найти среднее значение промежутка времени между выставлением счета и оплатой его участником ВЭД в текущем и прошедшем году отдельно для разных групп участников ВЭД».

В большинстве случаев сложный  аналитический запрос невозможно сформулировать в терминах языка SQL, поэтому для получения информации применяют специальные языки, ориентированные на аналитическую обработку данных. К их числу можно, например, отнести язык Express 4GL фирмы Огас1е. Также для выполнения запросов могут быть использованы приложения, написанные специально для решения тех или иных задач.

Для того чтобы можно было извлекать  полезную информацию из данных, они должны быть организованы особым образом. Связано это со следующими факторами.

Во-первых, для  выполнения аналитических запросов необходима обработка больших информационных массивов. Чем выше степень нормализации базы данных и чем больше в ней таблиц, тем медленнее выполняется анализ. Происходит это, прежде всего, потому, что увеличивается число операций соединения отношений. Нормализация таблиц БД позволяет устранить избыточность данных, уменьшив тем самым объем действий, необходимых при обновлении информации. Поэтому в них нет необходимости менять одни и те же значения в различных отношениях. В аналитических системах данные практически не обновляются - в системе производится лишь их накопление и чтение. Поэтому проблема нормализации БД в них не столь актуальна.

Во-вторых, выполнение некоторых аналитических  запросов, например, анализ тенденций и прогнозирование, требует хронологической упорядоченности данных. Реляционная модель не предполагает существования порядка записей таблицы.

В третьих, при обслуживании аналитических  запросов чаще используются не детальные, а обобщенные (агрегированные данные). Так, например, для прогнозирования объема импорта в некотором регионе будет излишним иметь информацию о каждом пересекающем таможенную границу контейнере, достаточно знать значение прогнозируемой величины за несколько предыдущих лет.

Перечисленные особенности СППР привели к тому, что данные, используемые для анализа, стали выделять в отдельные базы данных, получившие название хранилищ данных (ХД).

Концепция информационных хранилищ данных (первоначально она так и называлась Information Ware House) зародилась в 80-х гг. XX в. в недрах корпорации IВМ, но все же «отцом» технологии считается Б. Инмон, технический директор компании Prism.

Существует  два основных подхода к построению хранилищ данных: подход, основанный на многомерной модели БД, и подход, использующий реляционную модель БД.

При использовании  многомерной модели данные хранятся не в виде плоских таблиц, как в реляционных БД, а в виде гиперкубов -упорядоченных многомерных массивов. Такое представление является наглядным и позволяет резко уменьшить время поиска в хранилище данных, поскольку отсутствует необходимость многократно соединять таблицы.

Основные  понятия многомерной модели - измерение  и значение (ячейка). Измерение - это множество, образующее одну из граней гиперкуба (аналог домена в реляционной модели). Измерения играют роль индексов, используемых для идентификации конкретных значений в ячейках гиперкуба. Значения - это подвергаемые анализу количественные или качественные данные, которые находятся в ячейках гиперкуба .

В многомерной модели вводятся следующие  основные операции манипулирования измерениями: 1) сечение; 2) вращение; 3) детализация; 4) свертка.

При выполнении операции сечения формируется подмножество гиперкуба, в котором значение одного или более измерений фиксировано. Например, если на рис. 10.16 зафиксировать значение измерения «Время» равным «январь 1993 г.», то получится двухмерная таблица с информацией о значениях всех параметров для всех субъектов РФ в январе 1993 года.

Операция  вращения изменяет порядок представления измерений. Она обычно применяется к двухмерным таблицам, обеспечивая представление их в более удобной для восприятия форме. Если в исходной таблице по горизонтали были расположены субъекты РФ, а по вертикали - параметры внешнеэкономической деятельности, то после операции вращения параметры будут размещены по горизонтали, а названия субъектов РФ - по вертикали.

Для выполнения операций свертки и детализации должна существовать иерархия значений измерения, то есть некоторая подчинённость одних значений другим. Например, 12 месяцев образуют год, субъекты РФ образуют регионы. При выполнении операции свертки одно из значений измерения заменяется значением более высокого уровня иерархии. Например, аналитик, узнав значения параметров для января 2004 г., желает получить их значения за весь 2004 год. Чтобы это сделать, необходимо выполнить операцию свертки. Операция детализации - это операция, обратная свертке. Она обеспечивает переход от обобщенных к детализированным данным.

Основой при  построении хранилища данных может  служить традиционная реляционная модель данных. В этом случае гиперкуб эмулируется СУБД на логическом уровне. В отличие от многомерных реляционные СУБД способны хранить огромные объемы данных, однако они проигрывают по скорости выполнения аналитических запросов.

При использовании реляционных СУБД для организации ХД данные организуются специальным образом. Чаще всего  используется так называемая радиальная схема. Другое ее название - «звезда». В этой схеме используются два типа таблиц: таблица фактов (фактологическая таблица) и несколько справочных таблиц (таблицы измерений).

В таблице фактов обычно содержатся данные, наиболее интенсивно используемые для анализа. Если проводить аналогию с многомерной моделью, то запись фактологической таблицы соответствует ячейке гиперкуба. В справочной таблице перечислены возможные значения одного из измерений гиперкуба. Каждое измерение описывается своей собственной справочной таблицей. Фактологическая таблица индексируется по сложному ключу, скомпонованному из индивидуальных ключей справочных таблиц. Это обеспечивает связь справочных таблиц с фактологической по ключевым атрибутам.