авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 | 3 |
-- [ Страница 1 ] --

Федеральное государственное автономное

образовательное учреждение высшего

профессионального образования

«Южный федеральный университет»

На правах рукописи

Толкачев Данил Сергеевич

Алгоритмы формирования кругового панорамного

изображения в системе разнесенных в пространстве

видеокамер

Специальность 05.12.04 —

«Радиотехника, в том числе системы и устройства телевидения»

Диссертация на соискание учёной степени кандидата технических наук

Научный руководитель:

д. ф.-м. н., профессор В. П. Рыжов Таганрог — 2013 Содержание Введение 1 Системы и алгоритмы формирования панорамного видео изображения 1.1 Системы формирования панорамного видеоизображения.. 1.2 Алгоритмы формирования панорамного изображения в си стеме из нескольких камер................... 1.3 Прямые методы оценки параметров совмещения....... 1.3.1 Выбор метрики...................... 1.3.2 Использование гауссовой пирамиды.......... 1.4 Методы оценки параметров совмещения на основе точечных особенностей........................... 1.4.1 Поиск и сопоставление особых точек на изображении 1.4.2 Модели совмещения изображений........... 1.4.3 Оценка параметров модели............... 1.5 Совмещение изображений с использованием многомасштаб ного представления........................ Выводы................................. 2 Модель формирования панорамного изображения с учетом параллакса 2.1 Модель камеры.......................... 2.1.1 Проективная модель камеры.............. 2.1.2 Внешние и внутренние параметры камеры...... 2.1.3 Геометрические искажения камеры........... 2.2 Модель системы кругового обзора............... 2.3 Панорамные проекции...................... 2.3.1 Азимутальные проекции................. 2.3.2 Цилиндрические проекции............... 2.4 Представление ориентации камеры............... 2.5 Геометрическое преобразование изображений......... 2.5.1 Функция прямого обратного отображения.

...... 2.5.2 Функция прямого отображения............. Выводы................................. 3 Калибровка системы кругового обзора 3.1 Калибровка внутренних параметров камеры......... 3.2 Калибровка системы из двух камер.............. 3.3 Калибровка системы из камер................ 3.4 Привязка к абсолютным значениям.............. Выводы................................. 4 Экспериментальное определение параметров системы кру гового обзора 4.1 Повышение точности калибровки внешних параметров камеры 4.2 Экспериментальная проверка алгоритма калибровки системы камер............................... 4.3 Формирование панорамного изображения........... 4.4 Построение и отображение траектории движения...... 4.5 Аппроксимация таблиц геометрических преобразований с по мощью полиномов........................ Выводы................................. Заключение Условные обозначения и определения Библиографический список Введение Актуальность работы Развитие и распространение средств регистрации, обработки и хране ния изображений формирует широкий интерес к системам автоматического построения панорамных изображений. Благодаря возможности полностью отобразить пространство вокруг наблюдателя, панорамное изображение позволяет обеспечить убедительный эффект присутствия. По этой причине многие компании предоставляют виртуальные туры музеев, выставок, улиц, основанные на панорамном представлении сцен окружающего мира.

В связи с тем, что техника представления окружающего мира в виде панорамы имеет широкое применение и долгую историю, множество науч ных и технических направлений пересекается в этой области: фотография, оптика и фотограмметрия изначально, обработка изображений и техниче ское зрение в последствии. Среди ученых, оказавших заметное влияние на развитие алгоритмов формирования панорамных изображений, можно назвать Лукаса и Канаде (B. D. Lucas, T. Kanade), сформировавших идеи оптического потока;

Д. Лоуи (D. Lowe), развившего их идеи и разработав шего алгоритм поиска и описания локальных особенностей изображения SIFT;

Р. Зелински (R. Szelinski), систематизировавшего и дополнившего имеющиеся знания по формированию панорамных изображений;

Р. Харт ли и А. Зиссермана (R. Hartley, A. Zisserman), описавших геометрические зависимости между сценой и ее изображением.

Преимущества панорамного представления предполагают естественной установку систем кругового панорамного обзора на мобильные платформы (автомобили, роботизированные платформы) для облегчения задач вожде ния или осуществления удаленного управления транспортным средством.

Вместе с тем, имеются определенные технические трудности, ограничиваю щие применение подобных систем.

Во-первых, существующие алгоритмы формирования панорамных изоб ражений в основном рассчитаны на работу со статическими изображениями, а не видеопоследовательностями. Следовательно, без доработки имеющиеся алгоритмы не позволяют формировать панорамное изображение в режиме реального времени.

Во-вторых, существующие алгоритмы формирования панорамного изображения показывают хорошие результаты при заметном пересечении полей зрения смежных камер, что означает нежелательное увеличение числа камер в видеосистеме.

В-третьих, алгоритмы формирования панорамного изображения рас считаны на изображения, полученные из одной точки либо с помощью широкоугольной оптической системы, либо вращением одной камеры, или благодаря компактному расположению камер. Благодаря таким подходам, влияние параллакса (различие углового положения объекта для различных дальностей) может быть полностью устранено, либо значительно умень шено. Подобное расположение камер вынуждает размещать видеосистему кругового обзора сверху, где обзор не закрывается элементами конструк ции. В определенных случаях такой подход может вступить в конфликт с конструкторскими или дизайнерскими решениями по установке камер, по высить заметность и т. п. В таких случаях камеры приходится располагать далеко друг от друга (например, по бортам транспортного средства, где их обзор не ограничивают элементы конструкции), следовательно, влиянием параллакса нельзя пренебречь.

Таким образом, представляются необходимыми и актуальными даль нейшие исследования в данной области и разработка алгоритмов формиро вания панорамного изображения.

Объектом исследования являются видеоизображения, полученные от видеосистемы кругового обзора.

Целью диссертационной работы является повышение качества формирования панорамного изображения за счет учета структуры сцены и пространственного расположения камер, а также обеспечение возможности работы в реальном времени и решение сопутствующих прикладных задач.

Основными задачами

, которые необходимо решить для достижения поставленной цели, являются:

1. Разработка алгоритма формирования панорамного изображения с учетом разнесенного расположения камер в системе и с возможностью работы в реальном масштабе времени;

2. Разработка метода и алгоритмов определения параметров располо жения камер в системе;

3. Формирование методики повышения точности определяемых пара метров системы в рамках разработанного метода;

4. Разработка алгоритма формирования и отображения траектории движения транспортного средства;

5. Разработка метода аппроксимации характеристик геометрического преобразования изображения.

В рамках диссертационной работы получены следующие новые науч ные результаты:

1. Разработан алгоритм формирования панорамного изображения в ре альном масштабе времени на основе предложенной математической модели системы кругового обзора, учитывающей взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды;

2. Разработаны метод и алгоритмы определения параметров располо жения камер в системе с помощью двух плоских калибровочных щитов с нанесенными тестовыми изображениями;

3. Предложена методика повышения точности определяемых парамет ров системы, задающая конфигурацию щитов, вид тестовых изображений и порядок действий при калибровке;

4. Разработан алгоритм формирования и отображения траектории движения транспортного средства на панорамном изображении;

5. Предложен метод аппроксимации таблиц геометрического преобра зования изображений, снижающий требования по объему к долговременной и кратковременной памяти системы.

Практическая значимость работы состоит в следующем:

1. Предложенная модель системы кругового обзора позволяет учесть влияние взаимного расположения камер и геометрические особенностей внешней среды, а также формировать на панорамном изображении прогно зируемую траекторию движения транспортного средства;

2. Разработанный на основе предложенной модели алгоритм позволяет формировать панорамное изображение в реальном масштабе времени;

3. Разработанная методика нахождения параметров расположения камер позволяет с помощью доступного оборудования определить с необхо димой точностью углы ориентации и координаты расположения камеры (со среднеквадратической погрешность 0,3 и с относительной среднеквадрати ческой погрешностью 7% соответственно);

4. Разработанный алгоритм аппроксимации функций геометрического преобразования изображений позволяет значительно снизить требования к долговременной памяти системы (на четыре порядка для изображения 720 576), эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность (максимальная ошибка менее 0, пикселя, что превышает погрешность калибровки).

Методы исследования основаны на математическом моделирова нии эффектов геометрической оптики, численных методах решения задач минимизации многопараметрических функций, статистической обработке результатов эксперимента. Также использовались методы цифровой обра ботки изображений и технического зрения. Моделирование производилось как с помощью готовых математических программных библиотек, так и с помощью разработанных алгоритмов, а также при помощи пакетов создания трехмерной компьютерной графики.

Апробация работы Основные результаты работы докладывались и обсуждались на:

— Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах», Таганрог, 2012;

— Выступлениях и научных семинарах кафедры теоретических основ радиотехники, Таганрог, 2012–2013;

— Всероссийской научной конференции «Основные тенденции разви тия в гуманитарных, естественных и технических системах», Таганрог, 2013.

Внедрение результатов работы Результаты диссертационной работы внедрены на предприятии ОАО «Научно-конструкторскою бюро вычислительных систем» г. Таганрога, а так же в учебном процессе кафедры теоретических основ радиотехники. Внедре ние и использование результатов работы подтверждено соответствующими актами.

Публикации Основные результаты по теме диссертации изложены в 5 печатных изданиях, в том числе: 2 статьи изданы в журналах, рекомендованных ВАК РФ для публикации материалов кандидатских диссертаций, 1 статья в ежемесячном научном журнале, 2 статьи в материалах Всероссийских конференций.

Основные положения, выносимые на защиту:

1. Формирование панорамы возможно на основе модели, включающей внутренние характеристики камер и их расположение, а также особенности внешней среды;

2. Для калибровки системы камер целесообразно использовать калиб ровочный объект в виде двух плоских щитов;

3. Повышение точности калибровки системы достигается расположе нием калибровочного объекта на различных расстояниях и под различными углами относительно калибруемых камер;

4. Функции геометрического преобразования изображений возможно эффективно аппроксимировать с помощью степенных многочленов.

5. Решение задачи построения и отображения траектории движения транспортного средства целесообразно выполнять на основе разработанной модели видеосистемы кругового обзора.

Объем и структура работы Диссертация состоит из введения, четырех глав, заключения, списка условных обозначений, списка использованных источников. Полный объ ем диссертации составляет 136 страниц текста, включая 33 иллюстрации и 9 таблиц. Список литературы содержит 96 наименований.

Во введении обосновывается актуальность исследований, формулиру ется цель, ставятся задачи, отражаются научная новизна и практическая значимость представляемой работы, формулируются основные положения, выносимые на защиту.

В первой главе производится обзор существующих систем и алго ритмов формирования панорамных изображений, которые можно условно классифицировать следующим образом:

— системы построения панорамных изображений с помощью специаль ных сверхширокоугольных оптических устройств (широкоугольных объек тивов типа «рыбий глаз» или катадиоптрических систем с использованием зеркала сложной формы);

— панорамные системы сканирующего типа (механические или опти ко-механические);

— панорамные системы, состоящие из нескольких широкоугольных камер;

полученные от камер изображения совмещаются в единое изобра жение при помощи специальных алгоритмов формирования панорамного изображения.

Основные недостатки систем, использующих сверхширокоугольную оптику, заключаются в невысоком и неравномерном разрешение итогового панорамного изображения, а также в наличии на панорамном изображении «слепых» зон в случае использования катадиоптрических систем, связанных с конструктивными особенностями крепления зеркала.

Сканирующие панорамные системы имеют такие недостатки, как на личие в конструкции движущихся частей и невозможность одновременного обзора всего окружающего пространства.

Панорамные системы, состоящие из нескольких широкоугольных ка мер, лишены подобных недостатков, что объясняет их широкое распростра нение. Алгоритмы формирования панорамного изображения в таких состоят из двух основных этапов: оценка параметров совмещения изображений и непосредственно совмещение изображений.

На первом этапе алгоритмов формирования панорамного изображе ния в системе из нескольких широкоугольных камер для смежных входных изображений оцениваются параметры совмещения согласно определенной модели, затем найденные параметры могут уточняться с помощью процеду ры глобальной оптимизации.

На втором этапе алгоритмов формирования панорамного изображе ния производится совмещение исходных изображений с целью получения итогового панорамного изображения. Согласно оцененным параметрам осуществляются геометрические преобразования входных изображений:

устранение дисторсии (геометрических искажений объектива камеры), при менение выбранного совмещающего преобразования, переход к выбранной панорамной проекции. Далее производится устранение видимых переходов от одного изображения к другому: формируются маски наложения этих изображений на формируемую панораму, производится выравнивание экс позиций преобразованных изображений. Наконец, полученные изображения совмещаются в итоговое панорамное изображение.

Первый этап — оценка параметров совмещения — выполняется различ ными способами и может быть классифицирован на группы:

— «плотные» методы, основанные на анализе значений всех пиксе лей в области перекрытия изображений, например, корреляционные или частотные методы;

— «разреженные» методы, основанные на поиске и сопоставлении особых точек на изображениях.

Первая группа несмотря на теоретически более высокую точность и стабильность работы практически вытеснена второй, в основном из-за высо кой вычислительной сложности «плотных» методов. По этой причине далее подробно рассмотрены алгоритмы формирования панорамного изображе ния, основанные на поиске и сопоставлении особых точек на изображениях.

Основные шаги этапа оценки параметров совмещения для «разреженных методов» представлены ниже.

На входных изображениях производится поиск особых точек. Каж дая особая точка описывается положением на изображении (координаты, масштабный коэффициент, угол ориентации и т. п.) и так называемым дескриптором, представляющим собой вектор в -мерном пространстве и характеризующим окрестность вокруг особой точки. Разработаны раз личные алгоритмы формирования особых точек: FAST, SIFT, SURF и др.

Например, в алгоритме SIFT поиск особых точек производится с помощью детектора каплеобразных (англ. blob) областей, а дескрипторы формиру ются на основе гистограммных характеристик направления и величины градиента в области найденной точки.

Производится сопоставление особых точек смежных изображений, во время которого для каждой особой точки одного изображения находится одна или несколько наиболее подходящих точек другого изображения с наименьшим расстоянием между их дескрипторами. Эта задача может решаться как простым перебором, так и с привлечением различных методов поиска ближайшего соседа в многомерном метрическом пространстве.

Следующим шагом производится предварительная оценка параметров совмещения. В зависимости от выбранной модели совмещения изображений могут оцениваться различные параметры: плоское вращение и смещение, параметры проективного преобразования, параметры вращения камеры.

Найденные на предыдущем шаге соответствия особых точек могут содер жать как истинные соответствия точек двух изображений, так и выбро сы, поэтому алгоритм оценки параметров должен быть робастным, т. е.

устойчивым к выбросам. Популярными алгоритмами устойчивой оценки параметров являются метод случайных выборок RANSAC, -оценочная функция, метод наименьших усеченных квадратов и др.

В завершении этапа оценки параметров совмещения может произво дится глобальная оптимизация параметров, например, в том случае, когда формируемая панорама имеет 360-градусное поле обзора. Полученные на предыдущем шаге параметры совмещения связывают между собой два смежных снимка, поэтому при последовательном применении параметров совмещения к каждому изображению возникает ситуация, когда из-за на копившихся ошибок последнее и первое изображения не совмещаются на формируемой панораме. Целью глобальной оптимизации является устране ние этого явления. Кроме того, может потребоваться операция выпрямления линии горизонта.

Рассмотренные алгоритмы формирования панорамного изображения имеют следующие ограничения:

— высокая вычислительная сложность, затрудняющая создание си стемы, работающей в режиме реального времени;

— необходимость значительной области перекрытия полей зрения смежных видеокамер;

— их работа затруднена в случае плохой освещенности, тумана и равномерного или содержащего самоподобные элементы фона (справедливо в большей степени для алгоритмов, оперирующих точечными особенностями изображений);

— не учитываются эффекты, возникающие из-за разнесенного распо ложения камер.

Таким образом, из существующих систем построения панорамного изоб ражения наиболее подходящими для установки на мобильные платформы и обеспечивающими высокое разрешение формируемой панорамы являются системы на основе нескольких широкоугольных камер. Однако, их при менение имеет ряд практических трудностей, связанных с применяемыми алгоритмами формирования панорамного изображения. По этой причине ставится задача сформировать алгоритм формирования кругового пано рамного изображения в системе разнесенных в пространстве видеокамер свободный от указанных ограничений.

Во второй главе предлагается и описывается математическая мо дель видеосистемы кругового обзора, позволяющая при формировании панорамного изображения учитывать взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды.

Модель описывается следующими параметрами:

— набором внутренних параметров каждой камеры, описывающих проекционные свойства камеры: фокусные расстояния камеры, координа ты точки пересечения оптической оси камеры и плоскости изображения, коэффициенты дисторсии;

— набором внешних параметры для каждой камеры, которые описы вают ориентацию и положение центра камеры.

— положением и ориентацией системы координат наблюдателя, в которой производится построение панорамы;

— моделью окружающего мира в виде функции угловых координат.

Рассматриваются способы представления ориентации камеры и наблю дательной системы координат в пространстве: матрица поворота, вектор вращения, представление вращения в виде единичного кватерниона, углы Эйлера (в работе предложена последовательность поворотов на углы азиму та, высоты и крена). Рассмотрены преимущества и недостатки этих видов представления вращения.

При формировании панорамного изображения исходные изображения подвергаются геометрическим преобразованиям, которые удобно представ лять в виде функции обратного отображения, связывающей координаты панорамного изображения и координаты входных изображений. Согласно представленной модели эта связь осуществляется с помощью последова тельности преобразований:

1. Переход от координат панорамного изображения к координатам наблюдательной системы координат, осуществимый на основе информации о геометрии окружающего мира, а также свойствах панорамной проекции.

2. Переход от наблюдательной системы координат к основной систе ме координат, определенный положением и ориентацией наблюдательной системы координат.

3. Переход от основной системы координат к одной из систем коорди нат камеры, производящийся с учетом их расположения в системе.

4. Переход к координатам входных изображений, учитывающий проек тивные свойства камеры, которые заданы набором внутренних параметров камеры.

Окружающий мир представляется с помощью аппроксимирующей мо дели в виде сферической или полусферической поверхности с различными радиусами. Функции обратного отображения можно рассчитать заранее и сохранить в нескольких конфигурациях соответственно выбранным моде лям окружающего мира. Недостатки такого подхода, связанные с грубым приближением геометрии окружающего пространства, в данном случае перевешивают следующие преимущества:

— низкая вычислительная сложность алгоритма формирования па норамного изображения позволяет осуществлять построение в реальном времени;

— учет расположения камер позволяет формировать панорамное изоб ражение в системе разнесенных камер;

точность построения, однако, ограни чена тем, насколько удачно модель окружающего мира описывает реальные условия;

— благодаря тому что, положения и характеристики камер известны, приемлемые результаты могут быть получены в случае плохой освещенности или в условиях ограниченной видимости.

Калибровка системы камер, необходимая для разработанной модели формирования панорамного изображения, представлена в третьей главе.

Калибровка системы камер может быть представлена в виде следующей последовательности:

— нахождение внутренних параметров каждой камеры;

— нахождение параметров относительного расположения для системы из двух соседних камер;

— нахождение параметров положения и ориентации камер для всей системы в целом относительно одной из камер;

— привязка найденных относительных внешних параметров камеры к абсолютным значениям.

Калибровка внутренних параметров каждой из камер может быть осу ществлена с помощью известной методики калибровки с помощью плоского калибровочного объекта, предъявляемого камере в различных положени ях. В процессе калибровки оцениваются искомые внутренние параметры камер, а также положение и ориентация калибровочного щита относитель но камеры. Целью алгоритма калибровки является минимизация разности имеющихся координат калибровочного объекта, найденные на входных изоб ражениях и координат калибровочного объекта, полученные с помощью проецирования согласно оцениваемым параметрам.

Для калибровки внешних параметров системы из двух камер была разработана методика, подобная методике калибровке внутренних пара метров одной камеры, описанной выше. Чтобы калибровочный объект был виден обеими калибруемыми камерами предлагается сформировать его из двух плоских щитов с координатами с таким взаимным расположением, которое обеспечивали бы их возможную видимость для любой из пар камер.

Методика проведения калибровки пары камер подобна калибровке пара метров одной камеры: калибровочный объект предъявляется тестируемой паре камер в различных положениях. Каждая из камер наблюдает свою часть калибровочного объекта. В результате, по полученным изображениям калибровочных щитов можно установить приблизительные параметры вза имного расположения калибруемой пары камер, которые затем необходимо уточнить с помощью методов нелинейной оптимизации.

Калибровка системы из произвольного числа камер также осуществ ляется по схеме инициализация–оптимизация. Переход от параметров рас положения каждой пары камер к общей системе координат осуществляется по двухпроходной схеме: параметры камер определяются сначала при пря мом обходе системы, затем при обратном, и затем определяется среднее из двух значений. Такой подход позволяет улучшить начальное приближение параметров за счет устранения накапливания ошибки.

Привязка полученных параметров камер к координатам носителя про изводится на заключительном этапе калибровки. Эта задача также решается разделением на два этапа: получение приближенного решения и уточнение его с помощью нелинейной оптимизации.

В четвертой главе рассматриваются вопросы экспериментального и практического характера: описаны алгоритмы формирования и отображе ния траектории движения транспортного средства и метод аппроксимации параметров геометрического преобразования изображений;

приведены экс периментальные данные, позволяющие убедиться в правильности разрабо танной модели и достаточной точности алгоритмов калибровки.

Разработанная модель видеосистемы кругового обзора позволяет учи тывать внешнюю среду при формировании панорамного изображения: за давать вид поверхности, на которой осуществляется «сшивка» панорамы и дальность до нее.

Также разработанная модель может использоваться для построения на панорамном изображении прогнозируемой траектории движения транс портного средства. Для этого необходимо иметь в качестве дополнительных данных угол поворота управляемых колес, длину колесной базы, габаритную ширина автомобиля, положение и ориентацию центра поворота относительно основной системы координат. Используемый подход достаточно универсален и позволяет отображать траекторию не только на панорамном изображении, но и на исходном или преобразованном геометрически (например, «виде сверху»).

Вычисление значений функции обратного отображения для каждой камеры требует значительных вычислительных ресурсов, в то же время предварительный расчет значений функции обратного отображения требует больших объемов памяти для хранения таблиц значений. Разработан метод аппроксимации функций обратного преобразования с помощью степенных многочленов, который позволяет уменьшить объем долговременной памяти, необходимой для хранения функции обратного отображения, позволяет эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность.

Приводятся описания и результаты экспериментов по калибровке си стемы камер, которые показали, что среднеквадратическая погрешность определения ориентации камеры составляет 0,3, а относительная средне квадратичная погрешность определения положения камеры составляет 7%.

В заключении приводятся основные результаты работы и определя ется круг перспективных задач, требующих решения в дальнейшем.

1 Системы и алгоритмы формирования панорамного видеоизображения Панорамой (от греч. pn — весь, rama — вид) в общем случае называют a изображение с большим углом обзора. Применение панорамного изображе ния кроме увеличения доступного для наблюдения пространства позволяет также обеспечить убедительный эффект присутствия.

Панорамное изображение первоначально появилось в живописи, и в се редине 19-го века стало популярным способом представления пейзажей и исторических событий. Практически сразу после изобретения дагеротипии (первый способ получения фотографии) появились методы съемки панорам ных фотографий. В настоящее время техника панорамного представления находит широкое применение в образовательных и развлекательных целях:

существуют 360-градусные панорамные фильмы и кинотеатры;

предостав ляются виртуальные панорамные туры музеев и выставок;

панорамные виды улиц многих городов доступны в сети Интернет. Количество пиксе лей в одном панорамном изображении может исчисляться миллиардами.

В связи с долгой историей и обширной областью применения панорамного представления, для формирования, хранения, обработки и отображения панорамных изображений разработано множество технических устройств, методов и алгоритмов.

Следует отметить, что при отображении панорамного изображения на плоскости неизбежны уменьшение детализации и появление определенных геометрических искажений. Уменьшение детализации возникает в силу простой причины: панорамное изображение отображается на устройстве конечного размера, следовательно, чем шире поле зрения изображения, тем менее различимы на нем мелкие объекты. Геометрические искажения также неотъемлемо присутствуют на панорамном изображении и связаны с тем, что устройства вывода изображений как правило плоские, в то время как окружающее наблюдателя пространство хорошо описывается сферической поверхностью. Сказанное тем справедливее, чем шире поле зрения.

На рисунке 1.1 приведен пример панорамного изображения с макси мально возможной шириной поля зрения: 360 по горизонтали и 180 по Рисунок 1.1. Пример панорамного изображения с полем зрения 360 180. Заметны характерные искривления прямых линий и также растяжение объектов по ширине при удалении от центра панорамного изображения вверх или вниз.

вертикали. При такой ширине поля зрения невозможно отобразить прямые линии объектов сцены прямыми линиями на панорамном изображении (ис кажения особенно заметны на изгибах тротуарной плитки). Кроме того, при приближении к верхней или нижней границе панорамного изображе ния, что соответствует направлению вверх (зенит) или вниз (надир) при наблюдении, заметны растяжения объектов (например, фонарный столб в центре изображения).

Вопросы отображения панорамного изображения несколько выходят за рамки данной работы, однако можно отметить следующие подходы:

— показ панорамного изображения на плоскости как есть, т. е. в вы бранной панорамной проекции, может применяться когда нет особых требо ваний к детализации и геометрическим искажениям;

— показ только части панорамного изображения с возможностью интерактивного изменения направления и ширины поля зрения (наиболее распространенный способ);

— использование криволинейных дисплеев или проекционных экранов идеально подходит для показа панорамного изображения, однако не часто используется в виду нераспространенности и высокой стоимости подобных устройств вывода графической информации;

— использование нескольких плоских мониторов (интересный эффект может быть получен с применением системы детектирования положения головы оператора).

Разумеется, в этом небольшом введении не показаны все возможные области применения панорамных изображений, но этого и не требуется.

Преимущественный интерес представляют системы построения панорам ного видео, и особенно такие системы, которые возможно применить на подвижных платформах для облегчения задач вождения или осуществления удаленного управления.

1.1 Системы формирования панорамного видеоизображения Как уже говорилось, в настоящей работе рассматриваются методы и алгоритмы формирования панорамного изображения применительно к си стемам кругового панорамного видеообзора, устанавливаемым на транс портное средство (автомобиль или роботизированную платформу) с це лью облегчения задач вождения и осуществления возможности удаленного управления транспортным средством [4]. Основное требование к таким системам — формирование видеопанорамы в режиме реального времени.

С этой точки зрения существующие системы формирования панорамного видеоизображения можно классифицировать следующим образом:

— системы построения панорамных изображений с помощью специ альных сверхширокоугольных оптических устройств: широкоугольных объ ективов типа «рыбий глаз» или зеркально-линзовых (катадиоптрических) объективов с использованием всенаправленного зеркала сложной формы;

— панорамные системы сканирующего типа (механические или опти ко-механические);

— панорамные системы, состоящие из нескольких широкоугольных камер;

полученные от камер изображения совмещаются в единое изобра жение при помощи специальных алгоритмов формирования панорамного изображения.

Каждый из представленных типов обладает своими особенностями, преимуществами и недостатками, и об этом пойдет речь ниже.

a) б) в) г) Рисунок 1.2. Внешний вид объектива типа «рыбий глаз» (а) и пример изображения, полученного с его помощью (б);

внешний вид зеркально-линзовой всенаправленной оптической системы (в) и пример изображения, полученного с ее помощью (г).

Системы, основанные на использовании сверхширокоугольной оптики, позволяют естественным образом и без проблем с синхронизацией изобра жений от разных камер формировать широкоугольное панорамное изоб ражение. Одно из популярных решений — использование широкоугольных объективов типа «рыбий глаз» (рисунок 1.2 а), у которых угол обзора может составлять 180 и более градусов [6–8]. Таким образом, использование подобного объектива позволяет обеспечить обзором некоторую полусферу (а используя два объектива, теоретически возможно обеспечить обзором полную сферу). Получаемое таким объективом изображение имеет форму круга (рисунок 1.2 б), следовательно значительная часть пикселей по краям и углам изображения не несет какой-либо полезной информации. Кроме того, при удалении от центра изображения для объектива типа «рыбий глаз» заметно увеличиваются искажения, и, что более существенно, падает угловое разрешение.

Существует также специально разработанные панорамные объективы, имеющие меньшие и более равномерные искажения и лучшее использова ние площади светочувствительного сенсора за счет несколько сплюснутой формы формируемого изображения [9, 10]. Несмотря на определенные пре имущества, такие системы в настоящий момент не очень распространены.

Другой популярный подход, использующий для формирования пано рамного изображения сверхширокоугольные оптические системы, основан на применении всенаправленной (англ. omnidirectional) камеры, построенной с использованием зеркально-линзовой оптической схемы (рисунок 1.2 в) [11–13]. Благодаря зеркалу конической, сферической, параболической или какой-либо другой формы, размещаемой над объективом с нормальным фокусным расстоянием, имеется возможность получить изображение с уг лом обхвата 360 по горизонтали. Получаемое с помощью такой системы изображение имеет форму кольца (рисунок 1.2 г). Неиспользуемая область в центре изображения связана с особенностями крепления зеркала. Перед отображением изображение от всенаправленной камеры обычно приводится в более удобную форму с помощью геометрических преобразований.

К сожалению, панорамные изображения, полученные с помощью ши рокоугольных оптических устройств обладают такими недостатками, как относительно невысокое и неравномерное разрешение итоговой панорамы, а также неэффективное использование поверхности светочувствительной матрицы. При установке таких систем необходимо также позаботиться о том, чтобы элементы конструкции транспортного средства не перекрывали обзор.

Это означает в том числе и то, что система кругового обзора расположе на сверху транспортного средства, имеет высокую заметность со стороны (особенно при использовании всенаправленного зеркала) и имеет проблемы с обозрением ближней зоны.

Панорамные системы сканирующего типа имеют, как правило, уз коспециальную область применения. Вместо светочувствительной матри цы в таких системах обычно применяется одномерный массив сенсоров.

Подобная конструкция светочувствительного элемента также применяет ся в аэро- и спутниковой фотосъемке. Такой подход позволяет повысить чувствительность системы за счет использования специальной системы охлаждения, вести одновременную регистрацию изображений в различных спектральных диапазонах [14], а также с использованием лидаров [15]. Еще одна уникальная особенность панорамных систем сканирующего типа — получение стереоскопической панорамы — основана на использованием при сканировании одновременно двух камер, расположенных на удалении от центра вращения [14, 16, 17]. Для получения стереоскопической панорамы достаточно также одной вынесенной из центра вращения камеры с датчи ком матричного типа [18, 19]. К сожалению, наличие движущихся частей в конструкции панорамных систем сканирующего типа, а также невозмож ность одновременного обзора всего окружающего пространства значительно ограничивают область применения подобных устройств.

Последний рассматриваемый тип систем построения панорамного ви деоизображения основан на одновременном использовании нескольких широ коугольных камер. Подобные системы получили широкое распространение, т. к. свободны от недостатков сверхширокоугольных и сканирующих систем:

позволяют получить панорамное изображение с высоким разрешением для всего поля зрения. Однако, из-за использования нескольких камер возни кает проблема согласования получаемых изображений как во временной области (видеокамеры должны иметь возможность внешней синхрониза ции), так и в пространственной: совмещение нескольких изображений в одно — так называемая «сшивка» — осуществляется с помощью специальных алгоритмов.

Для стабильной работы существующих алгоритмов формирования панорамного изображения требуется выполнение следующих условий: во первых, на смежных изображений должны иметься идентичные объекты, т. е. поля зрения соседних камер должны пересекаться. Кроме того, точное совмещение исходных изображений возможно в том случае, если исходные изображения лишены параллакса (от греч. parallag  — смена, чередова ние), что происходит в том случае, когда камеры расположены в одной точке. В видеосистемах кругового обзора с использованием нескольких широкоугольных камер требование по размещению камер выполняется при близительно с помощью компактного размещения камер [20, 21] (рисунок 1.3 а), либо с помощью системы зеркал, вокруг которой располагаются камеры [22–24] (рисунок 1.3 б).

Можно отметить, что все представленные системы предполагают ис пользование одной камеры, либо нескольких, расположенных в одном месте.

Как правило, наиболее подходящим для подобных систем местом установки является самая возвышенная часть конструкции транспортного средства.

В определенных случаях такое расположение системы панорамного обзо ра может противоречить конструкторским или дизайнерским решениям.

Единственный решение при таком ограничении на расположение систе мы формирования панорамного изображения — использование системы из нескольких камер, расположенных на заметном расстоянии друг от друга.

В этом случае влиянием параллакса нельзя пренебречь.

a) б) Рисунок 1.3. Системы построения панорамного изображения, состоящие из нескольких широкоугольных камер: а) компактное размещение камер;

б) система зеркал, вокруг которой располагаются камеры В таблице 1.1 приведены качественные характеристики представленных систем формирования панорамного изображения. Можно отметить, что универсального решения не существует, и каждый из типов систем может иметь свою область применения. Наиболее подходящим решением для задач облегчения вождения и удаленного управления транспортным средством представляются системы из нескольких камер, допускающие разнесенное расположение камер. В этом случае появляется возможность уменьшить заметность системы и улучшить обзор ближней зоны, распределив камеры по бортам транспортного средства.

1.2 Алгоритмы формирования панорамного изображения в системе из нескольких камер В общем виде алгоритм формирования панорамы из нескольких изоб ражений состоит из двух этапов. На первом этапе определяются параметры, позволяющие совместить входные изображения таким образом, чтобы сов падающие объекты на смежных изображениях точно накладывались друг на друга в результирующей панораме. На втором этапе производится сов мещение изображений в итоговую панораму по оцененным на первом этапе параметрам.

Первый этап — оценка параметров совмещения — может быть реали зован различными способами. В работах [25–28] различные методы оценки Таблица 1.1. Характеристики систем построения панорамного видеоизображения различных типов Достоинства Недостатки Системы на основе сверхширокоугольной оптики Широкое поле зрения. Неэффективное использование по верхности сенсора.

Объективы типа «рыбий глаз»

Полусферическое 180 поле обзора. Изображение имеет форму круга, падение разрешения при отдалении от центра.

Панорамные объективы Полусферическое от 180 и выше Нераспространенность объективов поле обзора, лучшее использование этого типа.

площади сенсора за счет сплюсну той формы, более равномерное раз решение.

Зеркально-линзовые объективы Поле обзора 360 по горизонтали. Неиспользуемая область в центре изображения.

Системы сканирующего типа Высокая чувствительность, возмож- Наличие в конструкции движущих ность получения мультиспектраль- ся частей, продолжительное вре ных изображений, высокое разреше- мя получения полного панорамного ние панорамы. изображения.

Системы на основе нескольких камер Высокое разрешение панорамного Требуются синхронизация изоб изображения. ражений от нескольких камер, специальные алгоритмы «сшивки»

нескольких изображений в одно.

Компактное размещение камер Минимальное влияние параллакса. Необходимость установки системы сверху, где не ограничен обзор.

Разнесенное размещение камер Установка камер в произвольном по- Заметное влияние параллакса.

ложении.

параметров совмещения разделяются на «плотные» и «разреженные» мето ды. «Плотные» методы непосредственно оперируют значениями пикселей в областях перекрытия изображений: совмещение изображений может про исходить в пространственной области на основе корреляционных методов [29, 30], а также в частотной области с помощью двумерного быстрого преобразование Фурье [31]. «Разреженные» методы основаны на поиске и сопоставлении особых точек на изображениях [32–34] или более сложных структур, таких как элементы изображения или взаимоотношения между особыми точками [35].

Следует отметить, что несмотря на то, что «плотные» методы наиболее полно используют имеющуюся информацию, наибольшее распространение получили «разреженные» методы, основанные на поиске и сопоставлении особых точек. Причиной этого является то, что «плотные» методы имеют ограниченную область сходимости [25].

На рисунке 1.4 представлена схема алгоритма формирования панорам ных изображений на основе использования особых точек. Первый этап — оценка параметров — осуществляется по следующей схеме.

Для каждого входного изображениях производится поиск особых точек.

Каждая особая точка описывается положением на изображении (координа ты, масштабный коэффициент, угол ориентации и т. п.) и так называемым дескриптором, представляющим собой вектор в -мерном пространстве и характеризующим окрестность вокруг особой точки. В качестве дескрип торов часто используются гистограммные характеристики направления и величины градиента локальных областях изображения.

Во время сопоставления для каждой особой точки одного изображе ния находится одна или несколько наиболее подходящих точек другого изображения. Эта задача может решаться как простым перебором, так и с привлечением различных методов поиска ближайшего соседа в многомерном метрическом пространстве [36, 37].

Следующим шагом производится предварительная оценка параметров совмещения. В зависимости от выбранного алгоритма построения панорамы могут оцениваться различные параметры: плоское вращение и смещение, параметры проективного преобразования [38], параметры вращения камеры [39]. Найденные на предыдущем шаге соответствия могут содержать как Входные изображения Нахождение особых точек Оценка параметров Сопоставление особых точек Предварительная оценка параметров совмещения Глобальная оптимизация параметров совмещения Совмещение изображений Геометрические преобразо вания входных изображений Формирование масок совмещения Выравнивание экспозиций Формирование пано рамного изображения Панорамное изображение Рисунок 1.4. Схема алгоритма формирования панорамных изображений на основе использования особых точек истинные соответствия точек двух изображений, так и выбросы, поэтому алгоритм оценки параметров должен быть робастным, т. е. устойчивым к выбросам. Популярными алгоритмами устойчивой оценки параметров являются метод случайных выборок RANSAC [40], -оценочная функция [41], метод наименьших усеченных квадратов и др.

Глобальная оптимизация параметров совмещения производится в том случае, когда формируемая панорама имеет 360-градусное поле обзора. По лученные на предыдущем шаге параметры совмещения связывают между собой два смежных снимка, поэтому при последовательном применении параметров совмещения к каждому изображению возникает ситуация, когда из-за накопившихся ошибок последнее и первое изображения не совмещают ся на формируемой панораме [42]. Целью глобальной оптимизации является устранение этого явления. Кроме того, на заключительном этапе может потребоваться операция выпрямления линии горизонта [43].

На втором этапе производится совмещение исходных изображений с целью получения итогового панорамного изображения. В первую очередь по найденным параметрам осуществляются геометрические преобразования входных изображений: устранение дисторсии (геометрических искажений объектива камеры) [44, 45] и переход к выбранной панорамной проекции.

Далее производится устранение видимых переходов от одного изображения к другому: формируются маски наложения этих изображений на формиру емую панораму, производится компенсация радиометрических искажений (виньетирования) и выравнивание экспозиций преобразованных изображе ний [46–48]. Наконец, полученные изображения совмещаются в итоговое панорамное изображение, при этом для уменьшения заметности переходов одного изображения в другое могут применяться специальные алгорит мы [49–53].

1.3 Прямые методы оценки параметров совмещения 1.3.1 Выбор метрики Обозначим анализируемое изображение в виде функции (x), опреде ленной на множестве двумерных точек {x = (, )}, а эталонное изображе ние обозначим функцией (x). Для того чтобы установить, каким образом эталонное изображение соотносится с анализируемым изображением, пред лагается сдвигать эталонное изображение относительно анализируемого на смещение u = (, ) и вычислять различие между изображениями (u) с помощью некоторой метрики. В общем случае, смещение u может быть нецелочисленным, следовательно, необходимо применять подходящие интер поляционные методы для получения значений анализируемого изображения. Минимумы функции различия (u) определяют точки, где эталонное изображение лучше всего согласуется с анализируемым изображением.

Различие (u) может быть определено различными способами. Одним из распространенных подходов является определение функции различия как суммы метрики от разности сдвинутого изображения и эталона = (x + + u) (x):

( (x + u) (x )), (u) = ( ) = здесь индекс соответствуют той области, где изображение и эталон пересекаются.

Одной из наиболее распространенных метрик является квадратичная функция () = 2, с помощью которой функция различия определяется как сумма квадратов разностей:

( (x + u) (x ))2.

СКР (, ) = = (1.1) Также могут использоваться и другие метрики. С помощью метри ки () = || функция различия определяется как сумма абсолютных разностей | | = | (x + u) (x )|, САР (, ) = (1.2) позволяющая получить более устойчивую оценку и за меньшее число опера ций по сравнению с суммой квадратов разностей. Однако использование этой метрики в методах нахождения локального экстремума подобных методу градиентного спуска ограничено тем, что в нуле она не имеет производной.

Минимаксная функция Хабера [54] 2 /2 + /2 ||, () = || || объединяет достоинства этих двух метрик: она гладкая вблизи нуля и растет не так быстро как квадратичная функция. Параметр является порогом, ниже которого функция аналогична квадратичной.

Другой метрикой [54], обеспечивающей статистическую устойчивость и непрерывность производной вблизи нуля, является функция функция вида () =, 1 + 2 / здесь параметр является порогом, позволяющим снизить влияние выбросов и повысить статистическую устойчивость.


Зачастую изображение и эталон бывают получены в различных исход ных условиях. В этом случае разность изображений не является адекват ной мерой схожести изображений из-за несоответствия их интенсивностей.

Простая линейная модель, изменяющая яркость и контрастность эталон ного изображения, позволяет устранить влияние этой проблемы:

( (x + u) (1 + )(x ) ), ЯК (u) = (1.3) где параметр, изменяющий контраст, и параметр, изменяющий яркость эталона, выбираются таким образом, чтобы обеспечить минимум функции оценки в точке u с помощью линейной регрессии.

Другой способ нахождения соответствия между изображениями заклю чается в поиске локальных максимумов корреляционной характеристики, к примеру, нормированной корреляционной функции:

1 (x + u) (x ) · НКФ (u) =, (1.4) 1 где и — средние значения анализируемого и эталонного изображения, и — среднеквадратичные отклонения анализируемого и эталонного изображения, — число отсчетов общей области изображения и эталона.

Использование нормированной корреляционной функции позволяет устранить влияние различной освещенности изображения и эталона. Кроме того, она удобна тем, что ее значения лежат в интервале [1;

1].

1.3.2 Использование гауссовой пирамиды Итак, мы определили оценочную функцию (u), позволяющую найти несоответствие между эталоном и изображением, и следующим шагом необ ходимо найти ее максимальное или минимальное значения (для функций (1.1)–(1.3) необходимо искать минимум, а для (1.4) — максимум). Простей ший способ сделать это — выполнить поиск для всех возможных значений u. В тех случаях, когда диапазон возможных значений невелик, например в задачах сжатия видео, так и поступают.

Однако, при создании панорамы исходные изображения могут быть значительно сдвинуты друг относительно друга, и перебор всех возмож ных положений будет неэффективным решением. Возможный подход в этом случае: использование многомасштабного представления изображений, например, в виде гауссовой пирамиды.

Построение гауссовой пирамиды производится следующим образом [55, с. 240]:

1. В качестве первого слоя () гауссовой пирамиды берется исходное изображение :

() = ;

2. Каждый последующий слой получается из предыдущего сверткой с симметричным гауссовым ядром ( + ) exp (, ) =, 2 2 2 и подвергается передискретизации, обозначенной оператором :

+1 () = ( * ()).

Как правило, размер изображения на каждом уровне пирамиды уменьшает ся в 2 раза. В этом случае = 2, а операция передискретизации 2 состоит в том, что из исходного изображения отбирается каждый второй элемент:

def 2 (, ) = (2, 2).

Оценка смещения с использованием многомасштабного представления производится следующим образом. Анализируемое изображение и эталон представляются в виде гауссовых пирамид ( ) и (), и производит ся грубая оценка смещения u для самого верхнего уровня пирамиды. На следующем шаге оценка уточняется с помощью следующего, более деталь ного уровня пирамиды. Процесс повторяется до самого нижнего уровня пирамиды, соответствующего исходным изображениям. Данный подход эффективнее простого перебора всех возможных значений, так как шаг в один пиксель на -том уровне пирамиды соответствует шагу 2 на нулевом уровне.

1.4 Методы оценки параметров совмещения на основе точечных особенностей 1.4.1 Поиск и сопоставление особых точек на изображении Нет исчерпывающего и устоявшегося определения особой точки изоб ражения. В общих словах, особая точка представляет собой некоторую некоторую структуру данных, описывающих координаты точки на изобра жении и окрестность этой точки. Основное требование к особым точкам — повторяемость: для различных изображений одной сцены должны на ходиться соответствующие особые точки. Кроме того, зачастую требуют чтобы особые точки обладали инвариантностью к освещенности, масшта бу, повороту и другим характеристикам изображения. Процедура поиска особых точек состоит из двух этапов: детектирования на изображении то чек, поддающихся локализации, и описание окрестности этих точек, т. е.

формирование так называемых дескрипторов.

Разработано множество алгоритмов поиска особых точек, классифи цируемых по форме обнаруживаемых особенностей. В задачах построения панорамных изображений наиболее популярными являются уголковые де текторы (детектор Харриса [56], FAST [57] и др.) и каплеобразные (от англ.

blob) детекторы (SIFT-, SURF-детекторы [58, 59]).

В качестве одного из представителей алгоритмов поиска особых точек рассмотрим популярный и эффективный алгоритм SIFT (Scale Invariant Feature Transform). Он обеспечивает инвариантность к смещению, повороту, изменению масштаба и яркости изображения.

Поиск особых точек Инвариантность к изменению масштаба достигается благодаря исполь зованию так называемого масштабного пространства, которое в алгоритме SIFT формируется следующим образом (рисунок 1.5). Основной целью яв Рисунок 1.5. Формирование масштабного пространства в алгоритме поиска особых точек SIFT ляется получение пирамиды разностей гауссианов для разных масштабных уровней, которые выполняют роль полосовых фильтров в пространственной области. Исходное изображение представляется в виде гауссовой пирами ды () (раздел 1.3.2), каждый слой которой получается сглаживанием и уменьшением предыдущего вдвое. Для каждого -го слоя пирамиды () формируется так называемая октава: + 2 дополнительных уровней, по лучаемых последовательным размытием слоя пирамиды гауссовым ядром с радиусом, и + 1 уровней разности гауссианов. Здесь — номер уровня, — шаг изменения радиуса размытия, выбранный таким образом, что мас штаб первого изображения следующей октавы равен масштабу изображения из предыдущей октавы уровня.

Следующим шагом производится поиск особых точек. Точка считает ся особой, если она является локальным максимумом или минимумом в окрестности 3 3 текущего и двух соседних уровней разностей гауссианов.

Координаты найденных точек субпиксельно уточняются с помощью разло жения в ряд Тейлора второй степени в окрестности найденного экстремума.

После того как вычислено положение точки, проверяется значение разности гауссианов в этой точке, если оно меньше определенного порога, точка отбрасывается как недостаточно контрастная. Далее с помощью матрицы Рисунок 1.6. Формирование SIFT-дескриптора Гессе, содержащей производные второго порядка, проверяется, не лежит ли точка на границе какого-либо объекта, и если лежит, то тоже отбрасывается.

Для окрестности найденной точки радиусом в 1,5 раза больше масшта ба на соответствующем масштабном уровне рассчитывается гистограмма направленных градиентов с шагом 10 (всего 36 ячеек для 360 ), и опре деляется доминирующее направление, которое принимается в качестве направления ключевой точки. Если в гистограмме направлений есть компо ненты с направлением не меньше 0,8 доминантного направления, создаются новые точки с тем же масштабом и координатами, но другой ориентаци ей. Нахождение доминантного направления обеспечивает инвариантность особой точки к повороту.

На этом этап поиска особых точек заканчивается. Каждая особая точка таким образом характеризуется: координатами на изображении, масштабом и ориентацией.

Формирование дескрипторов Следующий этап — формирование дескрипторов — осуществляется следующим образом (рисунок 1.6). В окрестности особой точки для текущего масштабного уровня с помощью субпиксельной интерполяции формируется окно с соответствующим центром и углом поворота. Авторы алгоритма используют окно размером 16 16 (на рисунке 8 8). Это окно разбивается на 16 областей размера 4 4 (на рисунке показано 4 области). Для каждой области как и ранее рассчитывается гистограмма направленных градиентов, только число ячеек гистограммы теперь всего 8. Полученные гистограммы формируют дескриптор особой точки, представляющий собой вектор в пространстве размерности 448 = 128. Перед использованием дескриптор нормализуют, все его компоненты, которые больше 0,2, приравнивают к 0, и снова нормализуют.

Сопоставление особых точек Поиск особых точек и формирование дескрипторов производится для всех изображений. Затем производится сопоставление найденных точек на двух изображениях (если известен порядок съемки панорамы, достаточно сопоставить точки двух смежных изображений, если же порядок неизвестен, производится сопоставление для всех пар изображений). При сопоставлении необходимо особой точке на одном изображении найти ближайшую в некото ром смысле точку на другом изображении. В алгоритме SIFT определяется Евклидово расстояние для дескрипторов:

( )2, (p, q) = p q = = где p и q — дескрипторы некоторой точки на одном изображении и сопо ставляемой ей точки на другом, = 128 — длина дескриптора.

Зачастую сопоставление точек производится в двустороннем порядке:

для точки p находится наиболее близкая точка q другого изображения, а для точки q находится ближайшая точка p первого изображения. Если =, считается, что точки сопоставлены правильно.

Перебор всех возможных точек для поиска ближайшего соседа в мно гомерном пространстве является ресурсоемкой задачей. Уменьшить время вычисления можно с помощью так называемых -мерных деревьев [60], яв ляющихся разновидностью двоичных деревьев поиска. Применяются также приближенные методы поиска ближайшего соседа [61].

1.4.2 Модели совмещения изображений При формировании панорамы могут использоваться различные модели совмещения изображений: двумерные преобразования, например аффинные или перспективные, а также трехмерные преобразования, учитывающие ориентацию камеры в пространстве (рисунок 1.7).

Двумерные преобразования В ряде случаев построение панорамного изображения возможно с по мощью двумерных преобразований. Например, если входные изображения получены с помощью длиннофокусных камер, для совмещения изображений бывает достаточно простого переноса или переноса и вращения. В более об щем случае бывает достаточно афинного или проективного преобразования.


Рассмотрим виды двумерных преобразований.

Введем следующие обозначения. Исходные координаты точки обозна чим как x = (, ), а координаты точки после преобразования обозначим как x = (, ). Часто при записи преобразований в матричном виде бу дут использоваться однородные координаты, обладающие тем свойством, что определяемый ими объект не меняется при умножении всех координат на одно и то же число [62, с. 63]. В общем виде однородные координаты двумерной точки x записываются в следующем виде:

x = (,, ), где — некоторый масштабирующий множитель, значение которого не представляет интереса. Зачастую полагают, что = 1, поэтому однородные координаты точки x записываются так:

x = (,, 1).

а) б) в) г) Рисунок 1.7. Различные модели совмещения изображений: а) перенос;

б) афинное преобразование;

в) перспективное преобразование;

г) трехмерный поворот Также отметим, что круглые скобки при записи координат используются для краткости, а запись (,, 1) соответствует вектор-столбцу [,, 1]T.

В общем виде плоское двумерное преобразование записывается в сле дующем виде:

x = H x, (1.5) где H R33 — матрица проективного преобразования, называемая также матрицой гомографии [55, с. 398]. Эта матрица определена с точностью до масштаба, поэтому часто предполагают, что 33 = 1:

11 12 H = 21 22 23. (1.6) 31 32 В зависимости от числа степеней свободы двумерные плоские пре образования подразделяются на группы, которые можно представить в иерархическом порядке, где каждая следующая группа является надмноже ством предыдущей [63, с. 33]:

— перенос — простейшее преобразование, описывающееся выражением x = [ I | t ] x, (1.7) где I R22 — единичная матрица, t = (, ) — вектор переноса;

это преоб разование сохраняет ориентацию и обладает двумя степенями свободы (две координаты сдвига и );

— «жесткая» трансформация включает в себя перенос и вращение и описывается выражением x = [ R | t ] x, (1.8) где R — матрица поворота на угол вида [ ] cos sin R= ;

(1.9) sin cos в результате этого преобразования, обладающего тремя степенями свободы, не изменяются длины отрезков;

— подобие — преобразование, которое может быть представлено в сле дующем виде:

x = [ R | t ] x, (1.10) где — масштабный коэффициент;

это преобразование имеет четыре степени свободы (две координаты переноса, угол поворота и масштабирующий коэффициент) и в результате его применения углы остаются неизменными;

— аффинное преобразование определяется матрицей вида [ ] 11 A=, (1.11) 21 обладает шестью степенями свободы, сохраняет параллельность линий и описывается уравнением x = A x;

(1.12) — проективное преобразование обладает восемью степенями свобо ды, сохраняет прямые линии, определяется матрицей гомографии (1.6) и описывается уравнением (1.5).

Модель, учитывающая вращение камеры Наилучшие результаты совмещения изображений в панораму позво ляет получить модель, учитывающая ориентацию камеры в пространстве.

Предположим, что камера вращается вокруг оптического центра. В этом случае точки двух изображений x и x связаны между собой соотношени ем [64]:

x = K R K1 x, (1.13) где K и K — внутренние параметры камер, которые в упрощенном виде могут быть записаны в виде диагональной матрицы вида K = diag(,, 1), — фокусное расстояние камеры;

R — матрица трехмерного поворота, описывающая поворот системы координат камеры K в систему координат камеры K. Матрица поворота имеет вид 11 12 R = 21 22 23.

31 32 Матрица R является несколько избыточным представлением поворота в трехмерном пространстве, так как она обладает тремя степенями свободы, а описывается девятью коэффициентами. К тому же, такое представление не обладает достаточной наглядностью. Существуют более компактные представления поворота в трехмерном пространстве, которые будут пред ставлены в разделе 2.4.

Выражение (1.13) также можно записать следующим образом:

11 12 = 21 22 23. (1.14) 31 32 Таким образом, в зависимости от того известны ли параметры и, представленная модель позволяет описать преобразования с помощью трех (известны и ), четырех (изображения получены одной камерой с неизвестным фокусным расстоянием, следовательно = ) или пяти параметров (изображения получены от разных камер с неизвестными па раметрами), что меньше восьми параметров, необходимых для описания проективного преобразования (1.6).

1.4.3 Оценка параметров модели Оценка параметров с помощью линейных уравнений Пусть определены наборы соотносящихся между собой точек x = = (, ) и xi = (, ) для двух изображений, и требуется найти пара метры преобразования, позволяющие перейти от одного изображения к другому с помощью плоского преобразования. Рассмотренные ранее дву мерные преобразования являются линейными, и для каждого из них можно составить систему линейных уравнений, позволяющую оценить параметры преобразования.

Для определения параметров переноса (1.7) достаточно одной пары точек, и система линейных уравнений определяется тривиально:

[ ] [ ] =.

Параметры «жесткой» трансформации (1.8) можно найти, с помощью следующей системы уравнений, для решения которой необходимо иметь как минимум две пары точек:

] [ ] [ 1 0 =, 0 1 где параметры = cos и = sin соответствуют произведенной замене [ ] [ ] cos sin R = =.

sin cos Таким образом, после нахождения параметров и, угол поворота и коэффи циент масштабирования легко определить как = atan2(, ) (определение двухаргументной функции арктангенса приведено на с. 123) и = 2 + 2.

Для оценки параметров плоского аффинного преобразования (1.11), необходимо иметь не меньше трех пар точек:

]12 [ ] [ 1 0 0 0 =.

0 0 0 1 21 Параметры проективного преобразования можно оценить с помощью следующей системы уравнений:

] [ [ ] 1 0 0 0.. =.

.

0 0 0 1 Для оценки параметров проективного преобразования необходимо иметь не менее четырех пар точек.

Если количество пар точек x и x равно минимальному числу, опреде ленному для данного преобразования, система имеет единственное решение.

Если число пар меньше необходимого, приведенные системы уравнений не имеют единственного решения. При количестве пар точек больше необ ходимого минимума система уравнений становится переопределенной. В том случае если погрешности оценок положений точек не отличаются, для решения переопределенной системы уравнений разумно применять метод наименьших квадратов.

Параметры модели, учитывающей вращение камеры, также могут быть найдены решением системы (1.14). При известных параметрах и необходимо иметь три пары соответствий точек x и x. Из-за различных погрешностей измерения координат точек x и x найденные при решении (1.14) коэффициенты матрицы поворота, которые обозначим, не обра зуют ортогональную систему, и, следовательно, полученная матрица R не является матрицей поворота. Для устранения этой проблемы, полученную матрицу необходимо ортогонализировать. Сделать это можно, к примеру, с помощью сингулярного разложения:

R = UVT, где U, VT — ортогональные матрицы, — диагональная матрица, состоя щая из собственных чисел, которые должны быть близки к единице. Заменив на единичную матрицу I, получим ортогональную матрицу:

R = UIVT = UVT.

Робастная оценка с помощью алгоритма RANSAC На практике часто происходит, что среди пар точек x и x имеются выбросы — сильно зашумленные данные или точки, неверно определенные как пары. Условимся также называть хорошими точками точки, не яв ляющиеся выбросами. Выбросы могут вносить значительную ошибку при подборе параметров модели по методу наименьших квадратов. Разработаны различные методы оценки параметров, позволяющие улучшить статистиче скую устойчивость. Одним из возможных подходов является минимизация не квадратичной функции ошибки, а некоторой другой функции оценки, подобной функциям из раздела 1.3.1. Альтернативным решением является алгоритм RANSAC (от англ. RANdom SAmple Consensus — соглашение по случайным выборкам) [40].

В основе алгоритма RANSAC лежит следующая идея: сначала слу чайным образом отбирается небольшое подмножество из исходного набора данных, по этим данным производится грубая оценка параметров моде ли, а затем проверяется, как хорошо полученная модель соотносится с исходным набором данных. Этот процесс повторяется определенное число раз, достаточное для обеспечения требуемой вероятности того, что в вы бранном подмножестве содержаться только хорошие точки. По завершении цикла определяется подмножество точек, наилучшим образом удовлетво ряющее входным данным, после чего производится дальнейшее уточнение параметров на основе подмножества исходных данных, удовлетворяющих оцененным параметрам.

Более формально алгоритм RANSAC описывается следующим образом.

На вход алгоритма поступают:

— функция, позволяющая оценить параметры модели по набору точек;

— функция, оценивающая ошибку соответствия точек модели;

— набор исходных точек;

— число итераций;

— порог, определяющий согласуется ли точка с моделью.

В основном цикле алгоритма, имеющем итераций производятся сле дующие действия:

1. Случайным образом выбирается точек из исходных данных.

2. По этим точкам подбираются параметры модели = ( ).

3. Каждая точка исходного набора проверяется на соответствие найденным параметрам модели с помощью функции оценки и порога и помечается как выброс или хорошая точка.

4. Если число хороших точек на данный момент самое большое, най денные параметры запоминаются.

В конце работы алгоритма остаются параметры, наилучшим образом, удовлетворяющие исходным данным. После этого производится уточнение параметров с помощью всех найденных хороших точек.

Значение параметра обычно лежит в пределах 1–3 пикселей. Треубе мое число итераций можно определить из следующих рассуждений. Пусть — вероятность того, что по прошествии итераций хотя бы один раз из исходных данных выберется хороших точек. Требуемое число итераций можно определить, если известна доля хороших точек в исходных данных:

log(1 ) =. (1.15) log(1 ) Эта оценка является приближенной, так как не учитывается тот факт, что выбираемые точки должны быть различны.

Количество итераций для вероятности, числа точек для оценки модели и заданной доли хороших точек = 0,5 приведено в таблице 1.2.

Можно отметить, что количество итераций быстро растет с увеличением.

Таблица 1.2. Количество итераций в методе RANSAC для = 0,5 при различных и.

HH 2 3 4 6 H HH HH 90 % 8 17 36 146 95 % 10 22 46 190 99 % 16 34 71 292 1.5 Совмещение изображений с использованием многомасштабного представления В основе лапласовой пирамиды [65, с. 150] лежит идея о том, что гауссова пирамида, является избыточным представлением изображения.

В самом деле, самые низкие пространственные частоты описываются в гауссовой пирамиде несколько раз, следовательно, более грубый слой может предсказывать общий вид слоя с более мелким масштабом. Построение лапласовой пирамиды производится по следующей схеме:

1. Исходное изображение представляется в виде набора слоев гауссовой пирамиды (), = 1, 2,..., по схеме, описанной в разделе 1.3.2. Каждый последующий слой имеет размер, меньший предыдущего в = 2 раза.

2. Все слои слои пирамиды Лапласа, кроме последнего, вычисляются следующим образом:

+ () = () 2 (), = 1, 2,..., 1, где операция означает растяжение изображения, а степень растяжения обо значается цифрой в нижнем индексе. Операция растяжения сложнее, чем операция уменьшение размера, поскольку необходимо интерполировать значения недостающих отсчетов. Как правило, для получения увеличенного в два раза изображения сначала интерполируются каждый второй пиксель в каждой строке, а затем с помощью интерполяции находится каждая вторая строка.

3. Последний слой лапласовой пирамиды соответствует самому грубо му слою в гауссовой пирамиде:

() = ().

Для того чтобы реконструировать исходное изображение, необходимо провести операции, обратные описанным: принять, что последний слой гауссовой пирамиды соответствует последнему слою пирамиды Лапласа () = (), а затем последовательно уточнить каждый слой:

+ () = ()+ 2 (), = 1, 2,..., 1.

Первый слой пирамиды Гаусса соответствует исходному изображению: = ().

Пусть имеются два изображения и, которые необходимо сов местить с частичным перекрытием. Также известна маска — бинарное изображение, в котором единицы соответствуют той области изображения, которая должна оказаться в результирующем изображении, а нули — соответствуют области изображения. Операция совмещения изображений производится следующим образом [66]:

1. Для изображений и рассчитывается представление в виде лапласовых пирамид () и ().

2. Для маски строится гауссова пирамида ( ).

3. С помощью рассчитанных пирамид вычисляется пирамида Лапласа для комбинированного изображения по следующей формуле:

() = ( ) () + (1 ( )) (), = 1, 2,...,.

4. Из полученного разложения () строится комбинированное изоб ражение по описанной ранее методике.

Представление изображения в виде гауссовой пирамиды позволяет взвешенно совмещать пирамиды () и () в одном масштабе, и, кроме того, позволяет снизить заметность границ за счет применения фильтра нижних частот при построении пирамиды.

Выводы Существующие системы и алгоритмы формирования панорамных изоб ражений можно условно классифицировать следующим образом:

— системы построения панорамных изображений с помощью специаль ных сверхширокоугольных оптических устройств (широкоугольных объек тивов типа «рыбий глаз» или катадиоптрических систем с использованием зеркала сложной формы);

— панорамные системы сканирующего типа (механические или опти ко-механические);

— панорамные системы, состоящие из нескольких широкоугольных камер;

полученные от камер изображения совмещаются в единое изобра жение при помощи специальных алгоритмов формирования панорамного изображения.

Наиболее подходящими для установки на мобильные платформы и обеспечивающими высокое разрешение формируемой панорамы являются системы на основе нескольких широкоугольных камер.

Рассмотренные в настоящей главе методы формирования панорамных изображений на основе поиска и сопоставления ключевых точек изображе ний, формируют результат для конкретного набора входных изображений.

Такой подход оправдан в случае статичных изображений, однако, име ются следующие ограничения для входных данных в виде непрерывных видеопоследовательностей:

— вычислительная сложность подобных алгоритмов формирования панорамных изображений на основе ключевых точек не позволяет исполь зовать их в режиме реального времени при обычной частоте кадров 25– кадров в секунду;

— такие алгоритмы дают сбои в случае «сложных» входных изобра жений: плохая освещенность, туман и т. д.;

— параметры формирования панорамы индивидуальны для каждого набора кадров, и могут заметно отличаться для разных типов сцен;

— не учитывается параллакс, возникающий из-за разнесенного распо ложения камер.

Разумеется, алгоритм формирования панорамного видеоизображения в режиме реального времени должен быть лишен указанных недостатков. В качестве решения этой проблемы предлагается осуществлять построение па норамного изображения на основе предварительно определенной геометрии расположения камер и их внутренних проективных свойств и некоторой информации об окружающей мире. Такой подход также имеет недостатки, связанные с тем что окружающий мир плохо описывается статической моде лью, поэтому при построении панорамного изображения невозможно будет точно совместить объекты сцены при различных расстояний. Однако, бла годаря использованию априорной информации обеспечивается стабильная работа алгоритма в сложных условиях и в реальном масштаб времени. Опи сание модели построения панорамного изображения приведено во второй главе.

2 Модель формирования панорамного изображения с учетом параллакса В текущем разделе рассмотрены общие вопросы построения изображе ния и представлена проективная модель камеры (раздел 2.1);

предложена модель видеосистемы кругового обзора, позволяющая формировать пано рамное изображение с учетом требований, сформулированных в предыдущей главе (раздел 2.1);

рассмотрены различные панорамные проекции, позво ляющие отобразить на плоскости окружающее пространство (раздел 2.3);

описаны различные способы представления ориентации камеры в простран стве (раздел 2.4);

описаны функции прямого и обратного отображения, позволяющие осуществить геометрические преобразования изображений (раздел 2.5).

2.1 Модель камеры 2.1.1 Проективная модель камеры Модель камеры позволяет связать координаты точки в пространстве с координатами ее проекции на изображении. Простой, но тем не менее приемлемой во многих случаях и широко используемой в области компью терного зрения моделью камеры является проективная модель камеры, называемая также камерой-обскурой (рисунок 2.1), которая представляет собой светонепроницаемый ящик с небольшим отверстием в одной из стенок и экраном на противоположной стороне [55, с. 40]. Луч света от каждой точки сцены x проходит через отверстие (центр камеры c) и проецируется на плоскость изображения в точке u. Изображение сцены таким образом является перевернутым и расположено за центром камеры. На практике удобнее работать с неперевернутым мнимым изображением, расположен ным перед центром камеры на таком же расстоянии от него как и плоскость изображения.

Модель камеры-обскуры описывает преобразования координат в виде x u c Плоскость u изображения Мнимое Камера-обскура Объект сцены изображение Рисунок 2.1. Схема формирования изображения в камере-обскуре: c — центр камеры;

x — точка сцены;

u — проекция точки x на плоскость изображения;

u — проекция точки сцены на мнимое изображение уравнения перспективной проекции [67, с. 539]:

u = P x, (2.1) 11 12 13 (2.1 ) = 21 22 23 24, 1 31 32 33 1 где x = (,, ) — точка в пространстве, u = (, ) — ее проекция на плос кость изображения, P R34 — матрица перспективной проекции;

— величина, обратная расстоянию от точки до центра камеры. Матрица P определена с точностью до масштаба, поэтому элемент 34 принят равным единице.

2.1.2 Внешние и внутренние параметры камеры Зачастую возникает необходимость более осмысленного представления параметров перспективной проекции. Для этого необходимо ввести следую щие системы координат (рисунок 2.2): глобальную систему координат W, в которой расположена система координат камеры C, к которой, в свою очередь, привязана система координат изображения I.

Глобальная система координат W образована перпендикулярными осями X, Y и Z. Направления осей могут быть выбраны произвольно: к примеру, ось Z может быть направлена вверх, соответственно, в плоскости X Y лежит линия горизонта. В глобальной системе координат также рас Z U x X 0 W u X Y u I C Z Y 0 = V Рисунок 2.2. Системы координат в модели камеры: W — мировая система координат;

C — система координат камеры;

I — система координат изображения;

u0 = (0, 0 ) — принципиальная точка (пересечение оптической оси Z и плоскости изображения = );

x — точка сцены;

(,, ) — координаты точки x в мировой системе координат;

(,, ) — координаты точки x в системе координат камеры;

u = (, ) — проекция точки x на плоскость изображения;

, — ширина и высота изображения полагаются объекты сцены, произвольную точку которой системе координат W будем обозначать как x = (,, ).



Pages:   || 2 | 3 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.