УЧЕБНАЯ ПРОГРАММА

курса Е.И.Толковой "Обработка изображений и звука в Multimedia"

для подготовки по специальности
071900 «Информационные системы (радиофизика, телекоммуникации)»

Учебные цели и задачи курса

Познакомить студентов с основами цифровой обработки аналоговых сигналов (изображений и звука)
и ее приложениями, а также с математической базой многокомпонентных информационных сред (multimedia).

Дисциплины, изучение которых необходимо для усвоения курса:

математический анализ, Фурье-анализ, основы теории веростностей и статистики.

СОДЕРЖАНИЕ КУРСА

"Обработка изображений и звука в Multimedia"

1. ЧТО ТАКОЕ MULTIMEDIA?

Многокомпонентные информационные среды (текст, изображение, звук, видеозапись): возможности и проблемы. Периферийные устройства мультимедийного компьютера. Цифровые сигналы в сегодняшних информационных потоках.

2. ПРЕВРАЩАНИЕ «АНАЛОГА» В ЦИФРУ…

Какую информацию мы теряем при отцифровке аналогового сигнала? Преобразование спектра при дискретизации непрерывной функции. Частота Найквиста. Эффект наложения спектров (муар-эффект) и его предупреждение. Понятие избыточности. Как проредить цифровой сигнал? Фильтры децимации. Этапы преобразования сигнала в АЦП.

3. …И ОБРАТНО.

Интерпретация отсчетов как коэффициентов разложения сигнала по скейлинг-функциям. Интерполяция отсчетов с разными скейлинг-импульсами и ее частотное представление. Билинейная интерполяция двумерных сигналов. Интерполяция как операция линейной фильтрации. Уменьшение шага дискретизации в целое число раз. Цифровой фильтр интерполяции. Этапы преобразования сигнала в ЦАП. Синтез скейлинг-импульсов методом интерполяции подразделением. Уравнение для скейлинг-функции. Частотный смысл интерполяции подразделением. Интерполяция подразделением первого и второго порядка. Изменение шага дискретизации в дробном отношении.

4. АЛГОРИТМЫ ЛОКАЛЬНОЙ ФИЛЬТРАЦИИ В ПРОСТРАНСТВЕННОЙ ОБЛАСТИ

Принцип локальной фильтрации в пространственной области.
Подавление аддитивного шума, детализация, контрастирование.
Фильтрация изображения в зрительной системе человека, как мы ее себе представляем.
Контрастная чувствительность глаза. Гамма-коррекция.
Курсовые градиентные маски и их частотная интерпретация.
Аналогия ряда цифровых фильтров с физиологическими dG-фильтрами.
Ранговые алгоритмы сглаживания и контрастирования. Медианная фильтрация.

5. ИЗМЕРЕНИЕ И ВОСПРОИЗВЕДЕНИЕ ЦВЕТА

Какова размерность пространства цвета?

Особенности зрительного восприятия цвета. Физиология зрения. Модель цветного зрения. Опыты по уравниванию цветов. Аксиомы колориметрии.

Системы цветовых координат.

Функции цветового уравнивания. Расчет координат цвета излучения с заданным спектральным составом. Преобразование координат цвета при другом выборе трех основных цветов. Системы цветовых координат RGB, XYZ, YIQ и их использование. Физиологическая цветовая система. Цветовой куб системы RGB. Цветовой конус системы HSV.

Организация цветового пространства.

Цветовое тело. Реальные и нереальные цвета. Диаграмма цветности. Цветовые охваты. Способ определения положения основных цветов физиологической цветовой системы человека.

Виды цветопередачи

Основные цветовые адаптеры и возможности цветопередачи современных дисплеев. Способы отображения цветных изображений на различных видах дисплеев и устройствах цветной печати. Представление изображений: цветные, полутоновые, бинарные (черно-белые). Передача полутонов в бинарных изображениях. Алгоритмы бинаризации. Построение палитры (аппроксимация в цветовом пространстве).

6. ДИСКРЕТНЫЙ СПЕКТРАЛЬНЫЙ АНАЛИЗ

Дискретное преобразование Фурье (ДПФ), его свойства и особенности.
Циклическая свертка. Циклическая ошибка при свертке с использованием ДПФ.
Дискретные ВЧ и НЧ фильтры. Применение ДПФ для интерполяции.
Вещественные преобразования по базису круговых функций: косинусное преобразование, преобразование Хартли. Почему алгоритм сжатия изображений JPEQ использует именно косинусное преобразование?
Алгоритмы быстрого преобразования Фурье.

7. СЖАТИЕ И КОДИРОВАНИЕ ДАННЫХ

Метод Хаффмена статистического кодирования.
Дополнительные возможности кодирования данных, если эти данные представляют аналоговый сигнал.
Основные методы кодирования сигналов: импульсно-кодовая модуляция (ИКМ), адаптивная ИКМ, дельта-модуляция (ДМ), адаптивная ДМ, дифференциальная импульсно-кодовая модуляция (ДИКМ).
Спектральные коэффициенты как объект статистического кодирования. Алгоритм сжатия изображений JPEQ.

8. СЖАТИЕ И СПЕКТРАЛЬНЫЕ ПРЕОБРАЗОВАНИЯ

Кратковременное преобразовании Фурье (КПФ) (текущий спектр).
КПФ как результат прохождения сигнала через систему полосовых фильтров.
Методы синтеза сигнала по КПФ. Схемы блока анализа и блока синтеза.
Необходимые частоты отсчетов КПФ во временной и частотной областях.
Особенности фильтрации сигнала, основанной на модификациях текущего спектра.
Сжатие звуковых сигналов разбиением на полосы (пропускание через систему полосовых фильтров). Схемы блока анализа и блока синтеза.
Преобразования сигнала в двухполосной схеме во временной и частотной областях.
Условие точного восстановления сигнала в блоке синтеза, сформулированные во временной и частотной областях.
Квадратурные зеркальные фильтры.

9. ВОЛНОВОЕ (WAVELET) ПРЕОБРАЗОВАНИЕ И СУБПОЛОСНОЕ КОДИРОВАНИЕ

Дерево wavelet-преобразования. Примеры wavelet-преобразований.
Свойства базисных функций wavelet-разложения.
Уравнения для скейлинг-функции и вейвлета.
Представление сигнала через сглаженную версию и детальные коэффициенты - разложение по базису скейлинг-функция - wavelet.
Понятие об ортогональном многомасштабном анализе.
Wavelet Хаара. Wavelet Добеши.
Синтез ряда волновых функций на основе интерполяционных схем.. Lifting.
Сжатие за счет отбрасывания части детальных коэффициентов. Примеры.
Wavelet-преобразование и КПФ - разные подходы к разбиению плоскости время-частота.
Сжатие звука в формате MP-3.
Вейвлет-анализ изображений. Дерево разложения и вейвлет-пакеты.
Сравнение волнового сжатия и JPEG-сжатия.

Back to my home page