авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 || 3 |

«Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет» ...»

-- [ Страница 2 ] --

Система координат камеры C задана следующим образом. Начало системы координат камеры является центром камеры. Ось Z совпадает с оптическим осью камеры и направлена «от камеры»: более далекие объек ты имеют бльшие по модулю отрицательные глубины. Плоскость X Y о параллельна плоскости изображения, причем оси X и Y соответственно направлены вправо и вниз. Точку сцены в системе координат камеры будем записывать как x = (,, ).

Система координат изображения I представлена двумя осями U и V, которые соответствуют горизонтальной и вертикальной координате пик селя на изображении и параллельны осям X и Y соответственно. Точке (0, 0) в системе координат I соответствует левый верхний угол изображения.

Точке x в системе координат камеры соответствует точка u = (, ) на изображении. Значения координат точки u ограничены размерами изобра жения: 0 и 0, где — ширина изображения, — высота изображения.

Таким образом, модель камеры можно описать двумя наборами па раметров, позволяющие осуществить последовательное преобразований координат:

— внешние параметры камеры, определяющие переход x x из глобальной системы координат W к системе координат камеры C.

— внутренние параметры камеры, определяющие переход x u от координат точки x в системе координат камеры C к координатам проекции этой точки u на изображении I.

Представим в виде матрицы M R33 три первых столбца матрицы перспективной проекции P. Таким образом P = [ M | p4 ], где p4 R3 — четвертый столбец матрицы P. С помощью RQ-разложения [68, с. 98] матрица M может быть представлена в виде произведения верх нетреугольной матрицы K R33 и ортогональной матрицы R R33 :

M = KR При дополнительном условии того, что диагональные элементы матрицы K должны быть положительными числами, существует единственное RQ разложение. Обозначив t = M1 p4 R3, получаем P = [ M | p4 ] = M I | M1 p4 = [ ] = K R [ I | t ] = K [ R | t ], где I R33 — единичная матрица.

Таким образом, матрица перспективной проекции может быть пред ставлена в виде произведения:

P = K[ R|t] (2.2) 0 11 12 (2.2 ) P = 0 0 21 22 23.

0 0 1 31 32 где K — верхнетреугольная матрица внутренних параметров камеры, ха рактеризующая проективные свойства камеры;

[ R | t ] — внешние парамет ры камеры: R R33 — ортонормированная матрица поворота, описываю щая ориентацию камеры (способы представления матрицы поворота были ( ) описаны в разделе 1.4.2);

t =,, — вектор переноса, описывающий положение центра камеры в пространстве.

Внутренние параметры уникальны для каждой камеры, определяются ее свойствами и не зависят от положения камеры в пространстве. Матрица внутренних параметров в общем случае представляется в виде верхнетре угольной матрицы:

0 K = 0 0 = 0 0, (2.3) 001 где — фокусное расстояние камеры, т. е. расстояние между плоскостью изображения и центром камеры, выраженное в пикселях;

— отношение сторон пикселя;

= и = — альтернативное обозначение фокусного расстояния по горизонтали и по вертикали соответственно;

— параметр, учитывающий так называемый скос — тангенс угла отклонения оси v от перпендикуляра к оси u;

(0, 0 ) — точка пересечения оптической оси и плоскости изображения, также называемая принципиальной точкой.

Параметр скоса используется редко и в большинстве случаев можно принять = 0. В этом случае внутренние параметры можно записать в виде матрицы 0 K = 0 0.

0 0 Для квадратного пикселя отношение сторон = 1, а скос = 0.

Таким образом, матрица внутренних параметров для квадратных пикселей упрощается до 0 K = 0 0.

( ) Проекция центра камера c =,, на изображение является вырожденным случаем, поэтому P c = 0, где 0 R3 — нулевой вектор. Отсюда находим, что K [ R | t ] c = 0, K R c + K t = 0, R c + t = 0.

Таким образом, положение центра камеры c и вектор переноса t, как и ожидалось, не зависят от внутренних параметров K и являются взаимозаме няемыми параметрами. Внешние параметры, таким образом, определяются парой R и t или парой R и c. Переход от одного представления к другому осуществляется с помощью выражений c = RT t, (2.4) (2.4 ) t = R c.

2.1.3 Геометрические искажения камеры Съемку панорам в видеосистемах кругового обзора зачастую про изводят камерами с широкоугольными объективами, которые обладают большей дисторсией, чем нормальные и длиннофокусные объективы. Поэто му модель камеры должна учитывать геометрические искажения, вносимые широкоугольным объективом камеры.

Разработано множество моделей дисторсии, отличающихся областью применения, физическим смыслом входящих в модель параметров и вы числительной сложностью. Хороший обзор и сравнение разных моделей дисторсии представлены в работе [45]. Геометрические искажения большин ства объективов, представляемые в виде двумерной функции (, ), можно разделить на радиальную дисторсию (, ), связанную с неверной кривиз ной линз, и тангенциальную дисторсию (, ), связанную с наклонном объектива относительно светочувствительного сенсора:

(, ) = (, ) + (, ).

Воспользуемся хорошо зарекомендовавшей себя на практике моделью [69, с. 396], описывающей радиальную дисторсию с помощью коэффициентов 1, 2, 3 многочленов вида:

(, ) = (1 + 1 2 + 2 4 + 3 6 ), (2.5) (, ) = (1 + 1 2 + 2 4 + 3 6 ), (2.6) где 2 = 2 + 2 ;

тангенциальная дисторсия описывается с помощью коэф фициентов 1 и 2 :

(, ) = 21 + 2 (2 + 22 ), (2.7) (, ) = 1 (2 + 2 2 ) + 22. (2.8) На рисунке 2.3 показано влияние коэффициентов дисторсии на вид моделируемых искажений.

Будем использовать ранее введенные обозначения x, x и u для точки сцены в глобальной системе координат W, точки в системе координат каме ры C и проекции точки на изображении. Кроме того, введем нормированные координаты u = (, ), представляющие координаты точки x, спроеци рованной на плоскость, находящуюся на единичном расстоянии от камеры ( ) = 1;

и координаты точки с учетом дисторсии u =,, также относящиеся к плоскости = 1. Уравнения (2.1) и (2.2) с учетом геометри ческих искажений объектива можно представить в виде последовательности преобразований:

1. Переход от мировой системы координат к системе координат камеры:

a) в) д) ж) б) г) е) з) Рисунок 2.3. Влияние коэффициентов дисторсии на вид вносимых искажений: влияние коэффициента 1 при 1 = 0,1 (а) и 1 = 0,1 (б);

влияние коэффициента 2 при 2 = 0,04 (в) и 2 = 0,04 (г);

влияние коэффициентов радиальной дисторсии 1 = 0, (д) и 2 = 0,02 (е);

совокупное влияние коэффициентов дисторсии 2 = 0,02, 1 = 0, (ж) и 2 = 0,02, 1 = 0,02, 2 = 0,02 (з) x = [ R | t ] x, 11 12 13 (2.9) = 21 22 23 ;

31 32 33 2. Переход к нормированным координатам u:

u = x, [ ] [ ] (2.10) / = ;

/ 3. Переход к координатам u, учитывающим дисторсию объектива:

u = ( u), [ ] [ ] (2.11) (, ) = ;

(, ) 4. Переход к пиксельным координатам точки на изображении u:

u = K u, (2.12) = 0 0 ;

1 001 2.2 Модель системы кругового обзора На рисунке 2.4 показаны несколько трехмерных систем координат, которые будут использоваться при построении панорамного изображения:

глобальная система координат W, основная система координат O, несколько систем координат камеры C, а также наблюдательная система координат S.

Кроме того на рисунке не обозначены, но подразумеваются следующие дву мерные системы координат: система координат изображений I, полученных от камер, и система координат панорамного изображение P. Трехмерные координаты образованы тремя взаимно перпендикулярными осями X, Y, Z и являются правыми, т. е. положительному повороту соответствует вра щение против часовой стрелки для наблюдателя, находящегося на конце неподвижной оси [70, с. 11]. Двумерные координаты образованы двумя пер пендикулярными осями U и V, при этом ось U направлена вправо, ось V направлена вниз, а точке (0, 0) соответствует левый верхний угол изобра жения.

Глобальная система координат W необходима для описания распо ложения различных объектов в пространстве: объекта, на котором уста новлены камеры и окружающих объектов. В этой системе координат в плоскости X Y лежит линия горизонта, а ось Z направлена вверх. Гло бальная система координат W приведена для общности и в дальнейшем практически не будет использоваться, так как при построении панорамного изображения важны относительные положения объектов.

В качестве основной системы координат O будем использовать си стему координат объекта, на котором установлены камеры. Относительно основной системы координат O объекты окружающего мира могут переме щаться, так как основная система координат перемещается в глобальном пространстве W. К основной системе координат привязаны оставшиеся Z X C Y Z C X X X S Z Y Z 1 C Y Z Y 1 Y Z W 4 C X Z Y O X Y X Рисунок 2.4. Используемые системы координат: глобальная система координат W;

основная система координат O;

четыре камероцентрических системы координат 1 C, 2 C, C и 4 C;

наблюдательная система координат S.

координатные системы: камероцентрические C и наблюдательная S.

Для каждой -ой камеры введена система координат камеры C, в которой плоскость X Y параллельна плоскости изображения. Ось Z совпадает с оптической осью камеры и направлена «от камеры»: более далекие объекты имеют большее значение координаты. Для перехода от основной системы координат к системе координат необходимо совместить начало отсчета основной системы координат O с началом отсчета системы координат камеры C с помощью вектора перемещения t, а затем изме нить ориентацию осей сдвинутой системы координат с помощью матрицы поворота R, так чтобы она совпала с системой координат камеры C.

Параметры t и R описывают положение системы координат камеры C в основном пространстве O и называются внешними параметрами камеры.

Математически переход от одной системы координат к другой описывается следующим образом [65, с. 196]:

x = R t x, ] [ (2.13) 11 12 13 (2.13 ) = 21 22 23.

31 32 33 Здесь:

— x = (,, ) — координаты точки в основной системе коорди нат O;

( ) — x =,, — координаты точки в системе координат каме ры C;

( ) — t =,, — вектор перемещения;

— R — матрица поворота размером 3 3 [55, с. 68].

Кроме того, для каждой камеры известен ряд параметров, устанавлива ющих соответствие между точкой x в системе координат камеры и точкой u =, в системе координат изображения I. Такое соответствие ( ) часто выражается с помощью матрицы внутренних параметров камеры K [67, с. 567]:

u = K x (2.14) (2.14 ) = 0.

0 1 0 0 1 Здесь = соответствует дальностной координате, информация о которой отсутствует в исходном изображении.

Если изображение, полученное от камеры, содержит геометрические искажения, что характерно для широкоугольных камер, то после опера ции (2.14) необходимо внести аналогичные искажения и после этого полу чить реальные координаты изображения.

В системе координат изображения I оси U и V соответствуют гори зонтальной и вертикальной координате пикселя изображения.

Наблюдательная система координат S введена для возможности вы бора точки зрения и ориентации панорамного изображения. Ее удобно задавать аналогично в системе координат камеры C с помощью вектора пе ремещения t и матрицы поворота R. Так же как и для C положительное направление оси Z соответствует отдалению объектов от точки наблюдения, а плоскость X Z соответствует плоскости, в которой лежит панорамный го ризонт. Преобразование координат из наблюдательной системы координат S в основную O осуществляется следующим образом:

x = RT c x, ] [ (2.15) 11 21 (2.15 ) = 12 22 32.

13 23 33 Здесь:

— x = (,, ) — координаты точки в наблюдательной системе ко ординат;

— RT = R1 — матрица, обратная матрице поворота R;

— c = RT t =,, — положение центра наблюдательной ( ) системы координат.

Наконец, опишем панорамную систему координат P, в которой оси U и V соответствуют горизонтальной и вертикальной координате пикселя изображения панорамы. Для того чтобы связать системы координат P и S введем сферическую систему координат с центром в точке S (рисунок 2.5):

(, ] — угол азимута или долготы (угол между отрицательным на правлением оси Z и осью X);

(/2, /2) — угол высоты или широты (угол между плоскостью X Z и вектором S x;

(0, ) — расстояние от точки x до начала координат S. Тогда координаты точки в зависимости от ее угловых координат и расстояния определяются следующим образом:

cos sin x = =. (2.16) sin cos cos Для панорамного изображения имеется возможность вычислить уг ловые координаты и для определенной точки панорамы u = (, ).

В зависимости от выбранной панорамной проекции такую связь условно x Z S X Y Рисунок 2.5. Угловые координаты точки в наблюдательной системе координат.

можно выразить в виде выражения:

(, ) = project1 ( u). (2.17) Функция (2.17) условно представляет преобразования, позволяющие перейти от координат панорамного изображения к угловым координатам.

Панорамные проекции и соответствующие им преобразования будут описаны в следующем разделе.

2.3 Панорамные проекции При отображении панорам необходимо решить задачу отображения на плоскости поверхности воображаемой сферы, в центре которой находится наблюдатель. Та же задача решается в картографии при отображении сферической (в первом приближении) поверхности Земли на плоской карте.

При проецировании сферы на плоскость неизбежны искажения углов, площадей и длин. В зависимости от неискажаемого параметра принята следующая классификация карт по характеру искажений [70, с. 231]: равно угольные (Меркатора) — сохраняющие угловые соотношения;

равновеликие (Ламберта) — сохраняющие площади объектов за счет искажения их кон фигураций;

равнопромежуточные (эквидистантные) — имеющие равные расстояния между определенными линиями;

и произвольные — имеющие в разной степени все виды искажений.

Кроме того, в зависимости формы проективной поверхности выделяют следующие виды картографических проекций [70, с. 232]: азимутальные — проецирование выполняется на плоскость;

цилиндрические — точки про ецируются на поверхность охватывающего сферу цилиндра;

конические — проецирование производится на поверхность «надетого» на сферу конуса.

Введем следующие обозначения: координаты (, ) точки p на па норамном изображении обозначим как (, ), а как (, ) обозначим нормированные координаты панорамы:

= ( 0 )/, (2.18) = ( 0 )/, не зависящие от масштабирующего множителя и центра панорамы (0, 0 ) — точки на панорамном изображении, для которой угловые коорди наты и равны 0.

Для перехода от нормированных координат панорамы к координатам панорамного изображения достаточно выполнить следующие операции:

= + 0, (2.19) = + 0.

Для панорамного изображения в одной из цилиндрических проекций с углом охвата 360 масштабирующий множитель целесообразно брать таким, чтобы ширина панорамы = 2 была целым числом. В этом случае при замыкании панорамы в кольцо ее края совпадут.

Наиболее распространенные виды проекций, используемые при созда нии и просмотре панорам, представлены следующими.

2.3.1 Азимутальные проекции Гномоническая проекция (рисунок 2.6), также называемая прямоли нейной проекцией, является произвольной азимутальной проекцией. Полу чается при расположении проектора в центре сферы. Изображение в этой проекции соответствует изображению, получаемому с помощью камеры обскуры. Углы обзора таких изображений ограничены, и их разумные зна чения составляют около 90. При больших значениях наблюдается сильное растяжение объектов по краям изображения. Формулы перехода к угло вым координатам для прямолинейной проекции и обратно записываются следующим образом [71]:

= arctg, (2.20) ( ) 2 + 2 ;

= arcsin / 1 + (2.20 ) = tg, = tg / cos.

Стереографическая проекция (рисунок 2.7) является равноугольной азимутальной проекцией, позволяющей отобразить изображения с углами обзора более 180. Позволяет сохранить форму фигур. Формулы перехода к угловым координатам для прямолинейной проекции и обратно записываются следующим образом [72]:

1 2 /4 2 /4), = atan2(, (2.21) = arcsin ;

1 + 2 /4 + 2 / 2 cos sin (2.21 ) =, cos cos + 2 sin =.

cos cos + Ортографическая проекция (рисунок 2.8), также называемая проекци ей «рыбий глаз», является произвольной азимутальной проекцией, полу чаемой при параллельных проецирующих лучах. Эта проекция позволяет отобразить изображение с углами до 180 с характерными круговыми иска жениями на краях. Формулы перехода к угловым координатам для проекции рыбий глаз и обратное преобразование приведены ниже [73] (определение Рисунок 2.6. Пример гномонической проекции, сохраняющей прямые линии.

Рисунок 2.7. Пример стереографической проекции, сохраняющей форму Рисунок 2.8. Пример ортографической проекции двухаргументной функции арктангенса приведено на с. 123):

1 2 2 ), = atan2(, (2.22) = arcsin ;

(2.22 ) = cos sin, = sin.

2.3.2 Цилиндрические проекции Цилиндрической проекцией (рисунок 2.9) в частном случае называют проекцию, получаемую переносом точек сферы на поверхность цилиндра при фиксированном положении проектора в центре сферы. Такая проек ция является произвольной, искажающей на высоких широтах как углы, так и площади, поэтому этот вид проекции целесообразно применять при вертикальных углах обзора меньших 90. Формулы перехода к угловым координатам и обратно для цилиндрической проекции приведены ниже [74]:

=, = arctg ;

(2.23) (2.23 ) =, = tg.

Сферической проекцией (рисунок 2.10) часто называют равнопроме жуточную цилиндрическую проекцию. Эта проекция позволяет показать панораму с углами обзора 360 180 и часто используется для хранения панорам. Удобна тем, что градусы широты и долготы линейно пересчитыва ются в координаты пикселей панорамы. Таким образом формулы перехода к угловым координатам и обратно для сферической проекции записываются очень просто [75]:

=, = ;

(2.24) (2.24 ) =, =.

Проекцией Меркатора (рисунок 2.11) называют равноугольную цилин дрическую проекцию. Она позволяет отобразить больший угол по вертикали чем цилиндрическая проекция и с меньшими искажениями, чем у сфериче Рисунок 2.9. Пример цилиндрической проекции Рисунок 2.10. Пример сферической проекции Рисунок 2.11. Пример проекции Меркатора ской проекции. Переход к угловым координатам и обратно для проекции Меркатора осуществляется с помощью следующих выражений [76]:

=, = arctg sinh ;

(2.25) (2.25 ) =, = ln tg(/4 + /2).

Выбор проекции, в которой будет осуществляться сшивка панорамного изображения зависит от различных факторов. В данной работе предпочте ние было отдано сферической проекции, позволяющей при необходимости отобразить все окружающее пространство, и имеющей простые формулы пересчета из пиксельных в угловые координаты (2.24).

2.4 Представление ориентации камеры Ориентация камеры в пространстве в выражении (2.13) задается с помощью матрицы поворота 11 12 R = 21 22 23.

31 32 Такое представление вращения в пространстве позволяет эффективно реали зовать преобразование координат, однако, имеет определенные неудобства при использовании: определяется девятью коэффициентами, в то время как вращение в пространстве имеет три степени свободы. Рассмотрим другие способы задания ориентации камеры.

Любое вращение в пространстве можно представить в виде комбинации элементарных вращений вокруг осей X, Y и Z. Эти повороты записываются в следующем виде [67, с. 532]:

10 R () = 0 cos sin, (2.26) 0 sin cos cos 0 sin R () = 0 1 0, (2.27) sin 0 cos cos sin R () = sin cos 0. (2.28) 0 0 Сложное вращение можно представить в виде произведения элемен тарных вращений. Так как операция умножения матрицы не является коммутативной, то и последовательность элементарных поворотов имеет значение. Одним из популярных представлений матрицы поворота в виде последовательных вращений являются углы Эйлера, имеющие следующую последовательность: [77, с. 172]:

— поворот вокруг оси Z на угол прецессии ;

— поворот вокруг оси X на угол нутации ;

— поворот вокруг оси Z на собственный угол.

Матрица поворота R таким образом записывается как R = R () R () R (). (2.29) В системах управления подвижными объектами широкое распростране ние получила система Эйлера–Крылова [77, с. 173], в которой используется следующая система поворотов:

— поворот R () вокруг оси Z на угол рыскания ;

— поворот R () вокруг оси Y на угол крена ;

— поворот R () вокруг оси X на угол тангажа.

Имеющиеся системы имеют свою область применения и их не удобно использовать для описания ориентации камеры при построении панорамного изображения. Поэтому было принято решение выбрать другую последо вательность поворотов, более подходящую для описываемых задач [1]. За начальное положение камеры принято положение, при котором совпада ют отрицательное направление оси и ось Y, а также ось Y и ось Z (рисунок 2.12 а). Таким образом в исходном положении система коорди нат камеры повернута вокруг оси X на угол 90. Дальнейшие повороты предлагается выполнять в такой последовательности:

— поворот R () вокруг оси Y на угол азимута (;

] (рисунок 2.12 б);

— поворот R () вокруг оси X на угол высоты (/2;

/2) (рисунок 2.12 в);

— поворот R () вокруг оси Z на угол крена (;

] (рисунок 2.12 г).

Достоинство выбранной системы в том, что она обеспечивает интуитивно понятную настройку положения камеры: при увеличении или уменьшении угла азимута проекция изображения I на панораме перемещается вправо или влево соответственно;

при увеличении или уменьшении угла высоты — вверх или вниз соответственно;

при увеличении или уменьшении угла кре на — проекция поворачивается против часовой стрелки или по часовой стрелке.

Матрица полного поворота вычисляется путем перемножения трех kY kY kZ kZ kC kC kX kX oZ oZ O O oX oX oY oY а) б) kY kY kZ kZ kC kC kX kX oZ oZ O O oX oX oY oY в) г) Рисунок 2.12. Последовательные повороты камеры: a) исходное положение камеры;

б) поворот на угол азимута = 20 ;

в) поворот на угол высоты = 20 ;

г) поворот на угол крена = 20.

матриц плоских вращений. Таким образом, получаем:

R = R () R () R () R (90 ) = [ cos sin 0 ] [ 1 0 ] [ cos 0 sin ] [ 1 0 0 ] = sin cos 0 0 cos sin 0 0 1 = 0 (2.30) sin 0 cos 0 sin cos 01 0 0 [ ] sin sin sin +cos cos cos sin sin +sin cos cos sin = sin sin cos +cos sin cos sin cos +sin sin cos cos.

sin cos sin cos cos Если необходимо получить углы при известной матрице поворота (2.30), их можно рассчитать по формулам:

= atan2(31, 32 ), = arcsin 33, (2.31) = atan2(13, 23 ).

Описанные представления вращения в пространстве в виде последо вательности элементарных поворотов обладают определенными недостат ками. Во-первых, результат зависит от порядка элементарных вращений.

Во-вторых, несмотря на то, что для любых трех элементарных вращений существует единственное результирующее вращение, обратное не всегда верно. Т. е. существует такое положение тела, при котором невозможно однозначно определить углы элементарных вращений.

Другим популярным способом описания поворота в пространстве яв ( ) ляется представления его как вращения вокруг оси n =,, (еди ничного вектора) на угол. Такое представление описывается с помощью формулы Родрига [63, с. 38]:

R(n, ) = I + sin [n] + (1 cos )[n]2, (2.32) где I R33 — единичная матрица, а [u] — кососимметрическая матрица, используемая для обозначения векторного произведения:

0.

[n] = (2.33) Произведение оси n и угла поворота, выраженного в радианах, r = = n, называемое вектором поворота (англ. rotation vector [78]), часто используется как более компактное представление поворота в пространстве.

В этом случае = r2, n = r/.

Кососимметрической называется квадратная матрица, удовлетворяющая выражению AT = A.

Для малых углов формула (2.32) упрощается до выражения R(r) I + [n] = I + [n] = 1, (2.34) что дает простую линейную связь параметров поворота n и матрицы R и полезно при итеративной оценке поворота.

Система гиперкомплексных чисел кватернионов активно применяется в компьютерной графике, робототехнике и других областях для описания вращения. Кватернион, задающий вращение, определяется как четырехэле ментный единичный вектор или как вектор и скаляр:

( ) q = (,,, ) = (v, ) = sin u, cos, (2.35) 2 где u и — ось вращения и угол поворота соответственно, при этом q = = 2 + 2 + 2 + 2 = 1. Матрица поворота, соответствующая кватернио ну = (,,, ) находится следующим образом:

1 2( 2 + 2 ) 2( ) 2( + ) R(q) = 2( + ) 1 2(2 + 2 ) 2( ). (2.36) 2( + ) 1 2(2 + 2 ) 2( ) Использование алгебры кватернионов позволяет легко выразить через произведение и отношение кватернионов композицию и разность вращений, а также позволяет производить линейную интерполяцию между вращения ми. К примеру, умножение двух кватернионов q0 = (v0, 0 ) и q1 = (v1, 1 ), определяющееся через последовательность векторных и скалярных произ ведений q2 = q0 q1 = (v0 v1 + 0 v1 + 1 v0, 0 1 v0 v1 ), обладает свойством R(q2 ) = R(q0 )R(q1 ).

Выбор того или иного представления вращения зависит от конкрет ной задачи. Если необходимо выполнить композицию вращений, найти их разность или произвести интерполяцию, предпочтительна кватернионная форма (2.35). Если же производится итеративная оценка параметров враще ния, целесообразно использовать представление через ось и угол вращения для малых углов (2.34).

2.5 Геометрическое преобразование изображений Для получения панорамного изображения из исходных изображе ний необходимо выполнить геометрические преобразования изображений, которые могут быть описаны с помощью функций, связывающих коорди наты выходного изображения панорамы u и координаты входного изоб ражения u. Такая связь может быть записана в виде функции прямого отображения u = M u, ( ) (2.37) или в виде функции обратного отображения u = M1 ( u).

(2.38) Как правило, геометрическое преобразование изображений осуществ ляется с помощью функции обратного отображения [65, с. 278], так как поз воляет упростить применение интерполяционных методов (рисунок 2.13 б).

Использование для этих целей прямого отображения привело бы к появле нию на результирующем изображении дыр, если не рассматривать пиксели как квадраты и не вычислять долю площади входного пикселя на выходном изображении (рисунок 2.13 а). Прямое отображение полезно в тех случаях, когда, например, необходимо определить область, которую займет входное а) б) Рисунок 2.13. Иллюстрация прямого (а) и обратного (б) отображения при геометриче ском преобразовании изображений.

изображение на панораме после геометрического преобразования.

2.5.1 Функция прямого обратного отображения С учетом описанных в предыдущем разделе преобразований нетрудно получить функцию обратного отображения (2.38) для входного изображе ния. Для этого необходимо выполнить следующую последовательность действий [4]:

1. Преобразовать координаты u панорамного изображения в ко ординаты u наблюдательной системы координат S с помощью выраже ний (2.17) и (2.16).

2. Перейти от наблюдательной системы координат S к основной систе ме координат O согласно выражению (2.15).

3. Перейти к системе координат камеры C в соответствии с выраже нием (2.13).

4. Перейти к координатам u входного изображения, используя преобразование (2.14), при необходимости внести геометрические искажения, характерные для камеры.

На первом пункте этой последовательности следует остановится по дробнее. Дело в том, что преобразование из координат панорамы (2.16) позволяет получить только две угловые координаты и, третья коорди ната — дальность — остается неизвестной. Возможен следующий подход к решению этой проблемы. Все объекты, видимые из точки наблюдения S, представляются расположенными на некоторой поверхности. Эту поверх ность можно описать с помощью параметрической функции u = F(, ).

Для этого необходимо определить функцию расстояния от точки наблюде ния S до поверхности:

= f(, ). (2.39) Подставляя функцию расстояния (2.39) в формулы перехода от угло вых координат к наблюдательной системе координат (2.16) легко получить функцию поверхности. Простейшая функция расстояния f(, ) = соответ ствует поверхности сферы с заданным радиусом и позволяет представить все видимые объекты равноудаленными на расстояние от точки наблюде ния S.

2.5.2 Функция прямого отображения Функция прямого отображения (2.37) позволяет связать координаты точки на входном изображении u с точками на панораме u. Для нахож дения функции прямого отображения необходимо выполнить необходимо выполнить следующие действия:

1. Перейти от координат входного изображения u к точке x системы координат камеры C, совершив операции, обратные (2.14), при необходимо сти предварительно устранив дисторсию:

x = K1 u, ( ) (2.40) 1/ 0 / (2.40 ) 1/ 0 /.

= 0 0 1 О том, как восстановить дальностную координату будет рассказано ниже.

2. Перейти от системы координат камеры C к основной системе коор динат O. Для этого необходимо произвести действия, обратные (2.13):

x = RT c ] [ x (2.41) 11 21 31 (2.41 ) = 12 32.

13 23 33 3. Перейти от основной системы координат O к наблюдательной си стеме координат S с помощью обратных (2.15) выражений:

x = [ R | t ] x, (2.42) 11 12 (2.42 ) = 21 22 23.

31 32 33 4. Перейти от наблюдательной системы координат S к угловым коор динатам с помощью выражений, обратных (2.16):

= 2 + 2 + 2, (2.43а) = arctg, (2.43б) 2 + = atan2(, ). (2.43в) Здесь (,, ) соответствуют (,, ), функция atan2(, ) определена на с. 123.

После этого необходимо найти координаты точки x на панорамном изображении с помощью преобразованию, обратного (2.17):

x = project(, ). (2.44) Для того чтобы восстановить дальностную координату в первом пункте воспользуемся уже описанной моделью окружающего пространства в виде поверхности вокруг точки S с известной функцией расстояния (2.39).

Для этого можно воспользоваться следующим итерационным алгоритмом (известным как метод секущих):

1. Задаться начальным значением дальности 0.

2. Для текущей дальности рассчитать координаты точки x в системе координат камеры по формуле (2.40).

3. Рассчитать координаты точки s в наблюдательной системе коор динат с помощью действий 2–3 прямого преобразования.

4. Найти сферические координаты, и по формулам (2.16) и вычислить для них расстояние до поверхности = f(, ) по формуле (2.39).

5. Если модуль разности полученных расстояний не соответствует заданной точности | |, текущая дальность пересчитывается по формуле +1 = · ( ) и производится переход к пункту 2 алгоритма.

Здесь — постоянная со знаком, совпадающим с производной функции ( ), и не зависящая от номера итерации.

Выводы Во второй главе предложена и описана математическая модель видео системы кругового обзора, позволяющая при формировании панорамного изображения учитывать взаимное расположение камер, их внутренние па раметры и геометрические характеристики внешней среды. Модель описы вается следующими параметрами:

— набором внутренних параметров каждой камеры, описывающих проекционные свойства камеры: фокусные расстояния камеры, координа ты точки пересечения оптической оси камеры и плоскости изображения, коэффициенты дисторсии;

— набором внешних параметры для каждой камеры, которые описы вают ориентацию и положение центра камеры.

— положением и ориентацией системы координат наблюдателя, в которой производится построение панорамы;

— моделью окружающего мира в виде функции угловых координат.

Представление на плоскости окружающего пространства осуществимо только допущении определенных искажений: углов, размеров или площадей.

Существующие способы отображения панорамного изображения классифи цируются по типу вносимых искажений (углов, расстояний или площадей) и поверхности на которую происходит проецирование (плоскость, цилиндр, конус).

Ориентация камеры и наблюдательной системы координат может быть описана несколькими способами: в виде матрицы поворота, в виде вектора вращения, с помощью единичного кватерниона, с помощью углов Эйлера (в работе предложена последовательность поворотов на углы азимута, высоты и крена). Каждое представление имеет свои преимущества и недостатки:

матрица поворота имеет наименее компактную и удобную форму, но позво ляет эффективно осуществлять поворот в пространстве;

вектор вращения имеет самую компактную форму и удобен в использовании в задачах ми нимизации;

кватернионное представление позволяет легко комбинировать несколько вращений;

запись ориентации камеры в виде углов Эйлера как правило нагляднее, хотя и имеет некоторые ограничения.

При формировании панорамного изображения исходные изображения подвергаются геометрическим преобразованиям, которые удобно представ лять в виде функции обратного отображения, связывающей координаты панорамного изображения и координаты входных изображений. Согласно представленной модели эта связь осуществляется с помощью последова тельности преобразований:

1. Переход от координат панорамного изображения к координатам наблюдательной системы координат, осуществимый на основе информации о геометрии окружающего мира, а также свойствах панорамной проекции.

2. Переход от наблюдательной системы координат к основной систе ме координат, определенный положением и ориентацией наблюдательной системы координат.

3. Переход от основной системы координат к одной из систем коорди нат камеры, выполняемый с учетом их расположения в системе.

4. Переход к координатам входных изображений, учитывающий проек тивные свойства камеры, которые заданы набором внутренних параметров камеры.

Окружающий мир представляется с помощью аппроксимированной модели в виде сферической или полусферической поверхности с различны ми радиусами. Функции обратного отображения можно рассчитать заранее и сохранить в нескольких конфигурациях соответственно выбранным моде лям окружающего мира. Недостатки такого подхода, связанные с грубым приближением геометрии окружающего пространства, в данном случае перевешивают следующие преимущества:

— низкая вычислительная сложность алгоритма формирования па норамного изображения позволяет осуществлять построение в реальном времени;

— учет расположения камер позволяет формировать панорамное изоб ражение в системе разнесенных камер;

точность построения, однако, ограни чена тем, насколько удачно модель окружающего мира описывает реальные условия;

— благодаря тому что, положения и характеристики камер известны, приемлемые результаты могут быть получены в случае плохой освещенности или в условиях ограниченной видимости.

3 Калибровка системы кругового обзора Для построения панорамного изображения в соответствии с описанной в главе 2 моделью необходимо знать внутренние и внешние параметры каждой камеры. Эти параметры могут быть получены в результате калиб ровки системы кругового обзора. Калибровку достаточно произвести один раз, при условии неизменности конфигурации системы камер. Калибровку системы камер естественно разделить на следующие этапы:

1. нахождение внутренних параметров каждой камеры (раздел 3.1);

2. нахождение параметров относительного расположения для пары камер (раздел 3.2);

3. нахождение относительного расположения камер для всей системы в целом (раздел 3.3);

4. привязка найденных относительных внешних параметров камеры к абсолютным значениям (раздел 3.4).

Для построения панорамного изображения достаточно шагов 1–3, ко торые, как в дальнейшем будет показано, могут быть осуществлены одно временно. Однако последний шаг, связывающий относительные внешние параметры камер с их абсолютным положением на подвижном носителе, позволит установить соответствие координат внешнего мира с координатами панорамного изображения. Привязка координат камер к координатам носи теля позволит осуществить отображение на панорамном изображении про гнозируемую траекторию движения транспортного средства (раздел 4.4).

3.1 Калибровка внутренних параметров камеры Существуют различные методы калибровки параметров камеры:

— классический метод, предложенный Роджером Цаи [79], основан на использовании специального объемного калибровочного стенда;

— калибровка камеры можно произвести с помощью плоского калиб ровочного объекта, который показывается перед камерой в произвольных положениях [80–82];

— существуют также алгоритмы автокалибровки, которым не нужны а) б) в) Рисунок 3.1. Различные варианты плоского калибровочного объекта: шахматное поле (а);

регулярная структура из кругов (б) и колец (в). Благодаря асимметричной структуре калибровочного объекта всегда можно определить его правильную ориентацию относительно камеры специальные калибровочные объекты, а исходными данными являются изображения сцены, полученные камерой [83, с. 458].

Каждый из этих подходов имеет свои преимущества и недостатки:

кратко, использование сложного калибровочного объекта, как правило, позволяет получить более точные результаты. Однако, хорошие результаты позволяет получить простая методика калибровки, основанная на плос ком калибровочном объекте. Методика калибровки с помощью плоского калибровочного объекта следующая.

Методика калибровки внутренних параметров камеры Распечатывается и закрепляется на плоской поверхности изображение калибровочного объекта. Калибровочный объект может быть в виде шах матного поля или регулярной структуры из кругов или колец (рисунок 3.1).

Элементы структуры калибровочного объекта (углы соседних квадратов шахматного поля, центры окружностей или колец) должны быть хорошо детектируемыми и локализуемыми на изображении для возможности их автоматического поиска. Координаты элементов структур плоского калиб ровочного объекта без потери общности можно представить в виде точек ( ) x =,, 0, где = 0, 1,..., ;

= 1;

— количество точек на калибровочном объекте.

Производится съемка нескольких изображений калибровочного объ екта в различной ориентации относительно камеры. Каждое положение калибровочного объекта характеризуется векторами поворота и переноса в ( ) ( ) пространстве, которые обозначим как r =,, и t =,,.

Переход от вектора поворота r к матрице поворота R может быть осу ществлен по формуле Родрига (2.32), где = 0, 1,..., ;

= 1;

— количество снимков калибровочного объекта.

Производится поиск точек калибровочного объекта на полученных изображениях. Таким образом, для каждой -той точки калибровочного ( ) объекта на -том изображении ставится в соответствие точка u =,.

По имеющимся соответствиям u и x с помощью описанной в [80] или [81] методики находятся приближенные значения внутренних параметров камеры K, и оцениваются положения t и ориентации r калибровочного объекта относительно камеры (внешние параметры).

На следующем шаге производится уточнение найденных параметров и коэффициентов дисторсии камеры с помощью нелинейного метода наи меньших квадратов, на котором имеет смысл остановиться подробнее.

Нелинейная оптимизация по методу наименьших квадратов Проекции точек x на -том изображении, которые обозначим как u, могут быть найдены с помощью многопараметрической функции u = (K, d, d, r, t, x), (3.1) где K — матрица внутренних параметров (2.3), объединяющая в себе пара метры (,, 0, 0 );

d = (1, 2, 3 ) и d = (1, 2 ) — коэффициенты ради альной и тангенциальной дисторсии, описываемой выражениями (2.5)–(2.7);

r, t — вектор вращения и переноса, представленные ранее и описываю щие взаимное положение калибровочного объекта и камеры. Функция (3.1) представляет собой последовательность преобразований (рисунок 3.2):

— поворот x = ( r, x) = R x;

— перенос x = ( t, x) = x + t;

— проективное преобразование u = ( x) = x/ ;

— учет дисторсии объектива u = ( d, d, u);

— переход к пиксельным координатам u = (K, u).

Объединим все параметры, оцениваемые на этапе калибровки внутрен них параметров, в векторе p R, = 9 + 6 — количество внутренних и u u x x u x K d, d r t Рисунок 3.2. Последовательность преобразований координат точки калибровочного объекта x в координаты точки на изображении u при калибровке внутренних парамет ров камеры: векторы r и t описывают ориентацию и положение калибровочного объекта относительно камеры в -том эксперименте;

d и d — коэффициенты радиальной и тангенциальной дисторсии;

K — матрица внутренних параметров камеры внешних параметров:

p = K, d, d, r, t = ( { }) (3.2) =,, 0, 0, 1, 2, 3, 1, 2,,,,,,.

( { }) Также введем вектор невязки e R, = 2, который можно представить в виде функции от вектора параметров p:

{ } { e = u u =,.

} { } e(p) = (3.3) В процессе оптимизации по методу наименьших квадратов необходимо найти такой набор параметров p, при котором длина вектора невязки минимальна:

p = arg min e(p)2.

p Таким образом, в качестве целевой функции будем использовать сумму квадратов расстояний от найденных точек u до соответствующих проекций u, которая определяется следующим образом:

2 u u2.

e = (p) = e(p) = (3.4) =0 =0 =0 = Производную от вектора невязки можно представить в виде матрицы J(p) = e(p)/p R, составленной из частных производных первого порядка в точке p и называемой матрицей Якоби:

00 u 00 u 00 u 00 u 00 u ··· 0 0 0 d 0 t 0 r d K.........

.........

.........

0 u 0 u 0 u 0 u 0 u ··· 0 0 0 d 0 t 0 r d K 10 10 u 10 u 10 u u u ··· 0 0 0 d 1 t 1 r d K.........

.........

.........

J = 1 u. (3.5) 1 u 1 u 1 u 1 u ··· 0 0 0 d 1 t K 1 r d.........

.........

.........

0 u 0 u 0 u 0 u u ··· 0 0 0 d t r d K.........

.........

.........

u u u u u ··· 0 0 0 d t r d K Раскладывая вектор невязки в окрестности p в ряд Тейлора (прене брегая членами высокого порядка), получаем следующее выражение для целевой функции (p + p) = e(p + p)2 J(p)p + e(p)2 = = pT JT Jp + 2pT JT e + eeT = (3.6) = pT Hp + 2pT b + e2, где p — приращение к вектору параметров, которое необходимо произвести для уменьшения значения оценочной функции;

матрица H = JT J R (3.7) является приближенным значением матрицы Гессе, квадратной симмет ричной матрицы, составленной из вторых частных производных функции;

вектор b = JT e представляет собой вектор невязки, взвешенный матрицей Якоби.

Минимума функция (3.6) достигает при Hp = b, откуда можно найти шаг p = H1 b. Таким образом, получаем новое значение вектора параметров p p + p, которое является лучшим приближением. Далее процесс повторяется итерационно до выполнения какого-либо из условий:

— достаточно малое значение целевой функции (p) ;

— очень малое приращение p p ;

— достигнуто максимальное количество итераций;

— итерационный процесс не является сходящимся (p + p) (p).

Представленный алгоритм оптимизации является методом Ньютона– Гаусса. В алгоритме Левенберга–Марквардта [84], позволяющем обеспечить большую скорость сходимости, шаг выбирается несколько иным образом:

(H + diag(H))1 p = b, где — дополнительный параметр, изменяющийся на каждой итерации, обеспечивающий увеличение шага p вдоль пологих участков и уменьше ние вдоль крутых спусков. Алгоритм Левенберга–Марквардта может быть описан следующим образом:

0. Начальное значение может выбираться произвольно: 103.

1. Рассчитать приближенное значение матрицы Гессе H и взвешенный вектор невязки b.

2. Рассчитать шаг p для имеющихся параметров:

p (H + diag(H))1 b.

3. Вычислить значение целевой функции (p + p) (3.4).

4. Если значение целевой функции увеличилось (p + p) (p), увеличить на порядок: 10. Перейти к шагу 2 и повторить вычисления для нового значения.

5. Если значение целевой функции уменьшилось, принять текущее значение p p + p и уменьшить значение : /10. Повторять с шага 1 до выполнения заданных условий прекращения итераций.

Матрицы J и H являются так называемыми разреженными матрицами, т. к. имеет большое число нулевых элементов (рисунок 3.3). Эффективная работа с такими матрицами реализована во множестве математических d d 0 1 0 1 K r t r t r t u u 02 d d u 0 1 0 1 K r t r t r t u K u d 11 d u r u u t r u u t r u u t a) б) Рисунок 3.3. Пример структуры матриц Якоби J (а) и Гессе H (б) применительно к задаче калибровке внутренних параметров камеры. Количество изображений калибро вочного объекта = 3, количество точек на калибровочном объекте = 4. Серым заполнены ненулевые элементы матриц. На пересечении строки 00 u и столбца K матрицы J находится частная производная 00 u/K. На пересечении строки K и столбца d матрицы H находится частная производная второго порядка 2 e/K d.

пакетов, например [85, 86].

Расчет частных производных На основе правила дифференцирования сложной функции были по лучены формулы для вычисления частных производных матрицы J (3.12).

Далее для краткости используется обозначение u = u = (, ). Кроме того, координаты точек последовательности преобразований (3.1) обозначены согласно рисунку 3.2: (,, ) — координаты точки на калибровочном объек те, (,, ) — координаты точки после поворота, (,, ) — перемещения, ( ) (, ) — проективного преобразования,, — учета дисторсии.

Частные производные по внутренним параметрам,, 0 и 0 вы числяются по формулам:

=, = 0, = 1, = 0;

0 =, = 0, = 0, = 1.

0 Расчет частных производных по коэффициентам радиальной дисторсии 1, 2, 3 производится согласно выражениям:

= 2, = 4, = 6 ;

1 2 = 2, = 4, = 6.

1 2 Частные производные по коэффициентам тангенциальной дисторсии 1, 2 определяются выражениями:

= 2, = (2 + 2 2 );

1 = (2 + 2 2 ), = 2.

2 Частные производные по компонентам вектора перемещения,, вычисляются по формулам:

( ( ) ( )) + + 21 + + 2 + 2, = ( (3.8) ( ( 2 ) )) = + + 1 + 2 + 22 + ;

при этом вспомогательные частная производные от 2 = 2 + 2 вычисля ется как = 2 + 2, а частная производная от = 1 2 + 2 4 + 3 6 вычисляется как 2 2 = 1 + 22 2 + 33 4.

Во все этих формулах подразумевается, что в качестве подставляется одна из частных производных по,,. При этом = 1/, = / 2 ;

= 0, = 1/, = / 2 ;

= 0, Расчет частных производных по компонентам вектора вращения, принимающего значения,,, выполняется по формулам:

( ( ) ( )) + + 21 + + 2 + 2, = ( ( 2 ) ( )) (3.9) + + 1 + 2 + 22 +.

= Вспомогательные частные производные от 2 и рассчитываются как = 2 + 2, 2 2 = 1 + 22 2 + 33 4.

Частные производные и определяются как ( ), = ( ) ;

= В свою очередь [R] [R] [R] = 11 + 12 + 13, [R]21 [R]22 [R] = + +, [R]31 [R]32 [R] = + +.

Наконец, производные матрицы вращения по компонентам вектора враще ния могут быть вычислены согласно [87] следующим образом:

R [n] sin [n] 1 cos = + + ( ( ) ( )) 1 cos sin + [n] cos + [n] sin 2, где = r — угол вращения вокруг оси n = r/;

— одна из компонент ( ) вектора n =,,, соответствующая компоненте ;

а символом [n] обозначена матрица 0.

[n] = 3.2 Калибровка системы из двух камер Внутренние параметры камеры могут быть определены по представ ленной в предыдущем разделе методике. Для формирования панорамного изображения необходимо также иметь внешние параметры для каждой камеры. Прежде чем приступить к описанию калибровки системы из про извольного числа камер, необходимо описать процедуру калибровки пары смежных камер видеосистемы кругового обзора.

Для калибровки внешних параметров системы из двух камер была раз работана методика, подобная методике калибровке внутренних параметров одной камеры, описанной в предыдущем разделе. Основное отличие опи сываемой методики заключается в том, что изображение калибровочного объекта должно наблюдаться обеими камерами одновременно. Следова тельно, применение плоского калибровочного объекта затруднено в виду невозможности одновременного наблюдения такого объекта двумя камера ми для многих конфигураций камер: например, при большом разнесении камер, и/или при малой области перекрытия полей зрения камер.

Для того чтобы калибровочный объект был виден обеим калибруемым камерам предлагается сформировать его из двух плоских калибровочных объектов с таким взаимным положением и ориентацией, чтобы обеспечить их возможную видимость для любой из пар камер (рисунок 3.4). Предполо жим, что такой калибровочный сформирован из двух одинаковых плоских ( ) объектов, координаты элементов которых обозначим как x =,, 0, где = 0, 1,..., ;

= 1;

— количество точек на калибровочном объекте. Взаимное положение двух плоских объектов описывается с по мощью векторов вращения и переноса, которые обозначим как r и t соответственно. Таким образом, координаты калибровочного объекта будут ] [ представлены набором точек x = x и x = R( r) t x, где R(r) — формула Родрига (2.32).


Методика проведения калибровки подобна калибровке параметров одной камеры. Калибровочный объект предъявляется тестируемой паре камер в различных положениях, которые обозначим индексом = 0, 1,..., ;

= 1;

— количество положений калибровочного объекта. Каждая из камер наблюдает свою часть калибровочного объекта: одна из камер видит точки объекта x, которые проецируются в координаты изображения u;

Рисунок 3.4. Схематическое изображение возможных положений калибровочных щитов при калибровке пары камер № 1 и № 2.

для другой камеры точки x переходят в координаты u на изображении.

Взаимные ориентацию и положение камер обозначим как r и t.

Ориентацию и положение калибровочного объекта для -го эксперимента обозначим соответственно как r и t. Таким образом, для обозначенных величин получаем следующие уравнения:

u = ( K, d, d, r, t, x), u = ( K, d, d, r, t, ( r, t, x)), где является функцией поворота и переноса в пространстве:

(r, t, x) = [ R(r) | t ]x.

На первом шаге алгоритма калибровки системы из двух камер про изводится формирование приближенных значений параметров r и t, а также r и t. Инициализация осуществляется по следующему алгоритму:

1. Для всех = 0, 1,..., необходимо найти положение камер относи тельно калибровочного объекта:

r, t = PnP( K, d, d, x, u), r, t = PnP( K, d, d, x, u), где PnP (англ. Perspective-n-Point) — операция, позволяющая оценить по ложение камеры по заданным внутренним параметрам камеры, и соот ветствиям трехмерных координатам точек и координат их проекций на изображение [88–90].

2. Для найденных r, t, r, t оценить взаимную ориентацию и расположение камер для -того эксперимента:

] [ ] [ ][ R t R t R t =.

0 1 0 1 0 Переход от матричного представления поворота R к вектору вращения r осуществляется с помощью обратного преобразования формулы Родрига:

R R sin [n] =, откуда находим r = n.

3. В качестве искомых r и t можно принять средние значения от полученных r, t. Для лучшей статистической устойчивость вместо арифметического среднего можно взять медиану:

( ) r = median r, ( ) t = median t.

4. В качестве начальных значений положения и ориентации калибро вочного объекта r, t принять найденные на первом шаге параметры r = r, t = t Следующим после инициализации шагом идет итеративная процедура уточнения найденных параметров, подобная описанной в предыдущем раз деле. В качестве оцениваемых параметров здесь выступает вектор p R, = 3 + 3 — количество калибруемых параметров:

( r, t, { r, t.

}) p= Вектор невязки e R, = 4 в случае калибровки системы из двух камер определяется следующим образом:

{ e, e = u u, u u.

} { } e(p) = (3.10) В качестве целевой функции также используется суммы квадратов разности репроецированных и исходных координат:

(p) = e(p)2 = 2 e2 = = e+ (3.11) =0 =0 =0 = 2 u u2.

u u + = =0 =0 =0 = Матрица Якоби J(p) = e(p)/p R в случае калибровки систе мы из двух камер определяется как:

00 u 00 u ··· 0 0 0 0 0 0 t 0 r........

........

........

0 u 0 u ··· 0 0 0 0 0 0 t 0 r 10 u 10 u ··· 0 0 0 0 0 0 t 0 r........

........

........

1 u 1 u ··· 0 0 0 0 0 0 t 0 r........

........

........

0 u u ··· 0 0 0 0 0 0 0 t 0 r........

........

........

u u ··· 0 0 0 0 0 0 0 t 0 r J = 00 u. (3.12) 00 u 00 u 00 u ··· 0 0 0 0 t t r 0 r........

........

........

0 u 0 u 0 u 0 u ··· 0 0 0 0 t t 0 r r 10 u 10 u 10 u u ··· 0 0 0 0 t t r 0 r........

........

........

1 u 1 u 1 u 1 u ··· 0 0 0 0 t t 0 r r........

........

........

0 u 0 u u u ··· 0 0 0 0 0 t t r 0 r........

........

........

u u u u ··· 0 0 0 0 0 t t r 0 r r t 0 r 0 t 1 r 1 t 2 r 2 t u u u r t 0 r 0 t 1 r 1 t 2 r 2 t u 20 u r 21 u t r u u t r u u t r u u t a) б) Рисунок 3.5. Пример структуры матриц Якоби J (а) и Гессе H (б) применительно к задаче калибровке внешних параметров системы из двух камер. Количество изображений калибровочного объекта = 3, количество точек на калибровочном объекте = 2.

Обозначения аналогично рисунку 3.3.

Матрицы Якоби K и Гессе H при калибровке системы из двух камер также имеют разреженную структуру (рисунок 3.5). Вычисление частных производных по r и t для u производится по формулам, анало гичным (3.8)–(3.9). Частные производных u по r, t и r, t рассчитываются цепному правилу дифференцирования сложной функции.

3.3 Калибровка системы из камер Калибровка системы из произвольного числа камер производится по следующем алгоритму [5]:

1. По методике из раздела 3.1 находятся внутренние параметры K и коэффициенты геометрических искажений d для каждой из камер;

= = 0, 1,..., 1;

— количество камер в системе;

2. По методике из раздела 3.2 оцениваются взаимные ориентация r и расположение t каждой из смежных пар камер, где = 0, 1,..., 1;

= 1, 2,..., 1, 0.

3. Осуществляется переход от относительных параметров расположе ния пар камер r, t к общей системе координат. Т. к. параметры r и t могут быть оценены с погрешностью, то переход к общей системе координат осуществляется по следующей схеме:

3.1. Камера с индексом = 0 располагается в начале координат и с нулевым вектором вращения 0 t = 0 r = 0.

3.2. Осуществляется обход имеющихся камер по порядку. Положе ние каждой последующей камеры в общей системе координат rпр и tпр оценивается на основе положения предыдущей камеры и имеющихся от носительных параметров r и t. Для индексов = 0, 1,..., 2 и = 1, 2,..., 1 рассчитываются [ ] [ ][ ] t R Rпр tпр R t =.

0 1 0 1 0 3.3. Осуществляется обход имеющихся камер в обратном порядке, в процессе которого также оцениваются положения камер в общей системе координат. Для индексов = 1, 2,..., 1 и = 0, 1, 2,..., получаем [ ] [ ] [ ] Rобр tобр R t R t =.

0 1 0 1 0 3.4. Находится среднее значение вектора поворота Для этого сначала необходимо осуществить переход к представлению вращений в виде ква тернионов qпр и qобр по формуле (2.35). Полученные значения можно усреднить по формуле q = ( qпр + qобр )/2, после чего перейти обратно к вектору вращения r по формуле, обратной (2.35).

3.5. Среднее значение вектора переноса также получается несколько опосредованно. Для начала находится положения камеры для прямого и об ратного обхода cпр и cобр с помощью формулы (2.4). Среднее положение находится как полусумма c = ( cпр + cобр )/2.

Переход от положения центра камеры к вектору переноса осуществляется по формуле (2.4 ).

4. Производится пересчет положений калибровочного объекта с це лью приведения их к общей системе координат. Пересчет производится по формуле: ]1 [ [ ] [ ] R t R t R t =, 0 1 0 1 0 где, — положения калибровочного относительно пары камер в r t том эксперименте;

r, t — эти же параметры относительно общей системы координат;

= 0, 1,..., 1;

— количество снимков калибровочного объекта при калибровке одной пары камер.

5. Инициализация закончена. Наступает фаза уточнения найденных параметров с помощью методов нелинейной оптимизации.

Оптимизируемые параметры объединяются в векторе p R, где = 6( + );

:

({ } { }) p= r, t, r, t.

Вектор невязки e R, где = 4 ;

— количество точек калибровочного объекта;

= 0, 1,..., 1;

определяется аналогично (3.10):

{ e, e.

} e(p) = Дальнейшие этапы нелинейной оптимизации не имеют принципиаль ного отличия от уже описанных выше.

3.4 Привязка к абсолютным значениям На заключительном этапе калибровки производится привязка получен ных параметров камер к координатам носителя. Эту задачу также можно разделить на два этапа: получение приближенного решения и уточнение его с помощью нелинейной оптимизации.

В качестве входных данных предлагается использовать координаты установки камер согласно конструкторским чертежам. Центры камер со гласно чертежам обозначим как, где = 0, 1,..., 1;

— количество c камер в системе. Оцененные на предыдущем этапе калибровки параметры расположения камер r и t позволяют получить координаты центров камер c по формуле (2.4). Задачей является найти такие параметры вра щения r, переноса t и масштаба, которые совместили бы эти параметры наилучшим образом.

Приближенное решение может быть получены с помощью нахождения матрицы R34, наилучшим образом в среднеквадратичном смысле удовлетворяющей выражению P c = для всех. Такая матрица может c быть найдены с помощью решения переопределенной системы линейных уравнений вида 0 0 1 12 0 0 1 13 0 0 1 14 1 1 1 21 1 1 22 = 1 1 1 23.

...

.

... 24.

...

21 22 1 23 Матрица обладает 12 степенями свободы, в то время как число оцениваемых параметров — 7 (масштаб, три степени свободы перемещения, три степени свободы вращения). Для того, чтобы сократить число степеней свободы, воспользуемся сингулярным разложением матрицы P:

([ ]) T U,, V = SVD p1 p2 p3, где p1, p2, p3 — столбцы матрицы P;

U R33 — ортогональная матрица;

R33 — диагональная матрица с неотрицательными вещественными числами на диагонали;

V R33 — ортогональная матрица.

Масштаб может быть оценен по формуле (с учетом того, что опреде литель матрицы равен произведению ее собственных чисел):

= [].

= Произведение двух ортогональных матриц также является ортогональным, поэтому R = UVT.

Переход от матрицы поворота R к вектору поворота r осуществим по известной формуле (2.32).

Наконец, значение вектора t может быть оценено по формуле:

1 ( R c.

) t= c = Найденные параметры r, t, подвергаются нелинейной оптимизации с целью уменьшения значения ошибки (r, t, c) 2, = c = где (r, t, x) = [ R | t ] — функция последовательного вращения и перено x са.


Принципы и идеи решения задачи оптимизации были представлены в разделе 3.1.

Выводы Калибровка системы камер, необходимая для разработанной модели формирования панорамного изображения, может быть выполнена в следу ющей последовательности:

— нахождение внутренних параметров каждой камеры;

— нахождение относительных параметров расположения для двух соседних камер;

— нахождение параметров расположения камер для всей системы в целом относительно одной из камер;

— привязка найденных относительных внешних параметров камеры к абсолютным значениям.

Калибровка внутренних параметров камеры может быть осуществлена с помощью известного метода калибровки при помощи плоского калибро вочного объекта, предъявляемого камере в различных положениях. При калибровке оцениваются внутренние параметры камер, а также положение и ориентация калибровочного щита относительно камеры. Алгоритм калиб ровки минимизирует ошибку репроекции: разность имеющихся координат калибровочного объекта, найденных на входных изображениях и координат калибровочного объекта, полученных согласно оцениваемым параметрам.

Для калибровки внешних параметров системы из двух камер был разработан метод, подобный методу калибровки внутренних параметров камеры. Чтобы калибровочный объект был виден обеими калибруемыми камерами предлагается сформировать его из двух плоских щитов с ко ординатами с взаимным расположением, обеспечивающим их возможную видимость для любой из пар камер. Калибровочный объект предъявляется тестируемой паре камер в различных положениях, и каждая из камер на блюдает свою часть калибровочного объекта. По полученным изображениям определяются начальные параметры взаимного расположения пары камер, которые затем уточняются с помощью методов нелинейной оптимизации.

Калибровка системы из произвольного числа камер также осуществ ляется по схеме инициализация–оптимизация. Переход от параметров рас положения каждой пары камер к общей системе координат осуществляется по двухпроходной схеме: параметры камер определяются сначала при пря мом обходе системы, затем при обратном, и затем определяется среднее из двух значений. Такой подход позволяет улучшить начальное приближение параметров за счет устранения накапливания ошибки.

Привязка полученных параметров камер к координатам носителя про изводится на заключительном этапе калибровки. Эта задача также решается разделением на два этапа: получение приближенного решения и уточнение его с помощью нелинейной оптимизации.

Экспериментальная проверка разработанной методики калибровки приведена в следующей главе.

4 Экспериментальное определение параметров системы кругового обзора В заключительном разделе рассматриваются вопросы эксперименталь ного и практического характера: представлен эксперимент, позволяющий определить влияние выбора калибровочного объекта и погрешностей из мерений на точность оценки положения камеры (раздел 4.1);

проведена экспериментальная проверка алгоритма калибровки системы камер (раз дел 4.2);

представлены результаты работы алгоритма формирования пано рамного изображения для синтезированных и реальных данных (раздел 4.3);

описан алгоритм построения и отображения траектории движения транс портного средства (раздел 4.4);

представлен метод аппроксимации функций геометрического преобразования изображений, снижающий требования к долговременной памяти системы и позволяющий эффективно распаковать данные (раздел 4.5).

4.1 Повышение точности калибровки внешних параметров камеры В разделе 3.2, на с. 84 использовалась операция PnP, также называе мая P3P (англ. Perspective-n-Point, Perspective-three-Point), позволяющая оценить положение камеры при известных внутренних параметрах камеры и заданным соответствиям трехмерных координатам точек и координат их проекций на изображение. Т. к. разработанный метод калибровки опира ется на процедуру PnP, актуальным вопросом является изучение влияния выбранной конфигурации тестового объекта, погрешностей измерения про странственных координат и соответствующих двумерных координат на точность оценки положения камеры [3].

Для того чтобы определить положение камеры в пространстве доста точно иметь набор соответствий между координатами точек в пространстве x = (,, ) и координатами точек на изображении p = (, ). Для определения положения камеры необходимо иметь как минимум три со ответствия точек в пространстве и точек на изображении. Такая задача популярна в области компьютерного зрения и может решаться различными методами, в основном отличающимися вычислительной сложностью [88–90].

В библиотеке OpenCV [91] также имеется реализация такой функции с именем cv::solvePnP или cvFindExtrinsicCameraParams2 в случае ста рого интерфейса [69, с. 395]. В качестве входных параметров в эту функцию поступают: массив трехмерных точек пространства (число точек не меньше четырех), соответствующий этим точкам массив двумерных точек на изоб ражении, внутренние параметры камеры (матрица камеры и коэффициенты дисторсии). Выходными параметры этой функции являются вектор перено са t = (,, ) и вектор поворота w = (,, ), описывающий поворот в пространстве на угол = w вокруг единичного вектора u = w/.

Матрица вращения R может быть получена из u и с помощью формулы Родрига (формула (2.32) на с. 66).

Положение камеры c = (,, ) при известных R и t находится по формуле:

c = RT t.

Ориентация камеры r = (,, ) (углы азимута, высоты и крена соответ ственно) находятся для известной матрицы поворота R = ( ) по следую щим формулам (2.31).

Задачей моделирования было выяснение того, как влияет выбор и погрешность измерения пространственных координат x и соответствующих двумерных координат p на точность оценки положения камеры. Модели ровалась камера с углом обзора по горизонтали = 68 и разрешением изображения = 704 576 пикселей. Внутренние параметры камеры соответственно были приняты следующими:

521, = = 2 tan(/2) = = 351, = = 288, Внешние параметры камеры определенны положением камеры в начале координат c0 = (0, 0, 0) и ориентацией r0 = (0, 0, 0) (направление оси Z камеры совпадает с направлением оси Y мировой системы координат):

10 0 [R t] = 0 0 1 0.

01 0 При известных внутренних K и внешних параметрах камеры [R t] связь между точкой в пространстве и ее проекций определяется как:

p = K[R t]x.

Исследовались следующие конфигурации (таблица 4.1):

1. Конфигурация из четырех точек, проекции которых разнесены друг от друга и расположены в угловых областях изображения.

2. Конфигурация из четырех точек, проекции которых не сильно раз несены друг от друга.

3. Конфигурация из восьми точек, полученная объединением 1-й и 2-й конфигурации.

4. Конфигурация из четырех точек, расположенных дальше от камеры, чем во второй конфигурации, проекции которых также расположены по углам изображения.

5. Конфигурация из четырех точек, составленная из 1-й и 4-й конфи гураций (из каждой взято по две точки).

Таблица 4.1. Конфигурации точек и их проекции.

x, м p, пикс. x, м p, пикс.

Конфигурация № 1 Конфигурация № Конфигурация № 1 90,6 26,6 0,5 2 1 0,5 221,0 157, 1 2 1 612,4 26,6 0,5 2 0,5 482,0 157, 1 1 90,6 548,4 0,5 2 0,5 221,0 418, 1 0,5 482,0 418, 1 2 612,4 548,4 0,5 Конфигурация № 4 Конфигурация № 2 90,6 26,6 4 2 4 2 90,6 26, 2 4 2 612,4 26,6 2 4 2 612,4 26, 2 2 90,6 548,4 1 4 2 90,6 548, 2 2 4 612,4 548,4 1 2 612,4 548, Моделировалась погрешность оценки пространственных координат ± = 1, 5 и 10 мм и погрешность определения координат на изображении ± = 1 пиксель. Для этого к каждой точке x добавлялась случайная ошибка x = x + ( ) с нормальным законом распределения и средне квадратичным отклонением = /2, что соответствует доверительному интервалу 95% для заданного. Полученные координаты x проецирова лись на изображение, после чего к проекциям добавлялся шум с = /2:

p = K[R t]x + ( ).

Для полученных таким образом соответствий p и x с помощью функции solvePnP библиотеки OpenCV определялись внешние параметры камеры, а затем находились положение c и ориентация r камеры, где = 0, 1,...,, = 1000 — число, достаточное для достоверной оценки погрешности.

Ошибка определения положения камеры для 95-процентного довери тельного интервала находилась как два среднеквадратичных отклонения x от x0 : (x x0 )2, c = (,, ) = 1 = аналогично определялась ошибка определения ориентации r = (,, ).

Рассчитанные таким образом погрешности приведены в таблице 4.2.

По результатам эксперимента можно сделать следующие рекомендации:

1. Для уменьшения погрешностей необходимо увеличивать угловое расстояние между проекциями точек (конфигурации №1 и №2) 2. Добавление дополнительных точек позволяет уменьшить погреш ность (конфигурации №1 и №3) 3. Отдаление точек в пространстве без изменения их угловых расстоя ний уменьшает погрешность определения ориентации камеры, но увеличи вает погрешность определения положения камеры (конфигурации №1 и №4) 4. Предпочтительно располагать точки в пространстве так, чтобы они имели различные дальностные координаты. В этом случае погрешно сти распределяются более равномерно для различных координат или осей поворота, и их суммарное значение в этом случае наименьшее (конфигура Таблица 4.2. Значения ошибки определения положения x и ориентации r камеры в зависимости от ошибки измерения пространственных координат для различных конфигураций, мм x, мм r Конфигурация № 0,13 0,13 0, 1 5,6 5,6 1, 0,34 0,33 0, 5 14,6 14,4 4, 0,62 0,65 0, 10 26,9 27,9 8, Конфигурация № 0,50 0,49 0, 1 18,8 18,3 3, 1,28 1,22 0, 5 47,8 45,2 8, 2,48 2,40 0, 10 91,6 88,6 15, Конфигурация № 0,11 0,11 0, 1 4,4 4,5 1, 0,30 0,30 0, 5 12,0 12,0 4, 0,59 0,58 0, 10 23,8 23,1 7, Конфигурация № 0,12 0,12 0, 1 10,3 10,2 2, 0,19 0,18 0, 5 16,5 16,0 5, 0,34 0,33 0, 10 29,2 28,1 9, Конфигурация № 0,08 0,07 0, 1 4,4 4,1 2, 0,14 0,16 0, 5 9,2 10,4 6, 0,26 0,29 0, 10 16,8 19,4 11, ции №1 и №5).

5. Предполагается достаточно точным определение положения и ори ентации камер с точностью измерения пространственных координат 10 мм, для конфигурации из четырех разноудаленных от камеры точек (конфигу рация №5).

4.2 Экспериментальная проверка алгоритма калибровки системы камер Для проверки работоспособности и анализа погрешностей методики калибровки системы камер было произведено несколько экспериментов. В виду того что, для реальной системы точные положения камер не извест ны, важным вопросом является выбор показателей, позволяющих оценить состоятельность методов и алгоритмов калибровки.

Основным таким показателем является вектор невязки e (p), пред ставляющий разность координат точек u, найденных на изображении калибровочного объекта, и координат точек u, полученных в результате проецирования точек калибровочного объекта на изображения согласно оцениваемым параметрам p. Другими словами, вектор невязки представ ляет собой ошибку репроекции на изображение координат калибровочного объекта:

e (p) = u u (p).

Ошибка репроекции e(p) является векторной величиной, поэтому за частую удобнее вместо ошибки репроекции использовать среднеквадратиче ское отклонение расстояний между точками u и u. Среднеквадратическое значение ошибки репроекции для числа точек вычисляется таким образом как:

e(p) 1 e (p)2 = u = (p) = u.

=1 =1 Результаты экспериментов по калибровке оценивались с помощью следующих показателей, основанных на ошибке репроекции:

— значение среднеквадратической ошибки репроекции (p) в зависи мости от текущей итерации алгоритма оптимизации;

— распределение ошибки репроекции — график, позволяющий судить о двумерной плотности вероятности ошибки репроекции;

— разброс оцениваемых параметров, полученный с помощью ковариа ционной матрицы;

— разброс оцениваемых параметров, полученный по серии экспери ментов.

Приближенное значение ковариационной матрицы может быть по лучено в результате инвертирования матрицы Гессе (3.7), которая исполь зовалась в итерационном алгоритме Левенберга-Марквардта (с. 78):

(p) = H(p)1.

С помощь ковариационной матрицы разброс оцениваемых параметров (p) может быть получен по формуле (p) = (p) diag (p).

Определение параметров системы камер В эксперименте производилась калибровки системы из четырех ви деокамер с разрешением 800 600 пикселей и величиной поля зрения по горизонтали около 50. Калибровка каждой пары камер осуществлялась по 20 парам изображений калибровочного объекта в виде шахматного поля размера 10 7 (таким образом, 2 20 4 = 160 изображений при калиб ровке всей системы, и в общей сложности 10 7 160 = 11 200 точек).

Области полей зрения камер не перекрывались, но разработанная методика позволяет найти параметры расположения камер и для этого случая.

В таблице 4.3 приведены значения ошибки репроекции и длины вектора приращения параметров в зависимости от номера итерации алгоритма оптимизации. Можно отметить, что уже первый шаг алгоритма значительно уменьшает ошибку репроекции. В дальнейшем зависимость ошибки репроекции меняется незначительно: начиная с седьмого шага изменения лежат за пределами десятого знака после запятой. Приращение также быстро уменьшается до девятой итерации, после чего остается неизменным.

Таблица 4.3. Зависимость среднеквадратической ошибки репроекции и величины приращения параметров от номера итерации алгоритма.

№ 0 21,5684919615 9,629252 · 1,0901192802 3,870104 · 0,9695917253 1,846070 · 0,9680479756 4,840143 · 0,9680199750 3,350018 · 0,9680196667 2,045671 · 0,9680195724 1,241763 · 0,9680195681 1,020587 · 0,9680195681 1,173146 · 0,9680195681 1,174802 · 10 0,9680195681 1,174802 · Распределение ошибки репроекции позволяет определить насколько удачно прошла процедура нелинейной оптимизации. После оптимизации ошибка репроекции должна распределяться вблизи нуля как на рисун ке 4.1 (б). Если после оптимизации наблюдаются выбросы подобные изоб раженным на рисунке 4.1 (а), то вероятно, что в результате оптимизации определился не глобальный минимум функции, а локальный. Такое возмож но при наличии выбросов в исходных данных или изменении параметров эксперимента (например, камеры могут переместиться друг относитель но друга в процессе калибровки). Вид распределения ошибки репроекции позволяет заметить такого рода ошибки.

а) б) Рисунок 4.1. Распределение ошибки репроекции при калибровке системы камер до процедуры оптимизации (а) и после (б). Среднеквадратическое отклонение составляет 21,5 и 0,97 пикселей соответственно.

В таблице 4.4 приведены параметры расположения камер и средне квадратическое отклонение этих параметров, вычисленное с помощью кова риационной матрицы. Параметры приведены для трех камер: одна из камер не участвует в калибровке, расположение других камер вычисляется отно сительно нее. Обозначения r и t соответствуют среднеквадратическому отклонению каждой из составляющей векторов r и t. Результаты проще ин терпретировать, если свести три измерения координат к одному и выразить погрешность измерения положения через относительную величину (столбцы 3r и 3t / t в таблице). Среднеквадратические отклонения приведены утроенными, что соответствует 99,7-процентному доверительному интер валу. Из приведенных данных следует, что погрешность определения угла не превышает 0,5, а относительная погрешность определения положения не превышает 3%. Следует отметить, что приведенные в таблице 4.4 значе ния среднеквадратических отклонений являются несколько заниженными.

Подобный эффект предположительно объясняется тем что, среднеквадра тичные отклонения получены в результате квадратичной аппроксимации целевой функции в области некоторого локального минимума функции, который из-за наличия шума в исходных данных может не совпадать с глобальным и иметь большую крутизну.

Таблица 4.4. Параметры расположения камер и их среднеквадратическое отклонение, вычисленные с помощью ковариационной матрицы.

№ r 3r 3r 0, 8,3 97, 1 9,9 0,2 0,2 0, 1,7 175,6 0,2 0,2 0,3 0,4 0, 1,1 74,2 0,3 0,2 0,2 0,2 0, 3t / t № t, мм 3t, мм 1 135,4 51,8 156,6 1,7 2,0 1,9 1,5% 36,2 10,4 130,9 2,8 2,5 1, 2 3,0% 152,6 12,5 71,5 1,3 1,9 1, 3 1,7% Для того чтобы оценка разброса значений параметров расположения камер была более объективной, было дополнительно произведено несколько экспериментов для одной и той же системы из четырех камер. Полученные данные усреднялись и рассчитывалось отклонение от среднего значения.

Результаты по серии из 17 экспериментов приведены в таблице 4.5. Мак симальная относительная погрешность определения положения камеры составила 8,6%, а максимальная погрешность определения угла ориентации камеры составила 0,6.

Взаимное расположение калибровочных щитов может быть определено с погрешностью. В связи с этим возникает вопрос о влиянии погрешности определения положения калибровочных щитов на погрешность определения Таблица 4.5. Параметры расположения камер и их среднеквадратическое отклонение, рассчитанные по серии экспериментов.

3t / t № r 3r t, мм 1 8,4 97,9 0,6 133,3 50,9 153, 9,8 6,5% 31,5 7,3 129, 2 1,5 175,3 0,3 0,4 8,6% 3 1,2 73,8 0,3 151,9 11,2 75, 0,4 4,8% расположения камер. Для выяснения этого вопроса был дополнительно произведены вычисления расположения камер при различных данных о расположении калибровочных щитов. Погрешности определения положения и ориентации щитов были определены в ходе эксперимента и составили 9,5% и 0,9 соответственно (для доверительной вероятности 99,7%). Резуль таты эксперимента приведены в таблице 4.6. Естественно, что погрешности определения положения и ориентации камер увеличились и составили 20,4% и 0,8 для наихудших случаев. Таким образом, неточность определения расположения калибровочных щитов в большей степени повлияла на по грешность определения пространственных координат камер, и в меньшей — на погрешность угловых координат.

Таблица 4.6. Параметры расположения камер и их среднеквадратическое отклонение, рассчитанные по серии экспериментов при неточном определении параметров располо жения калибровочных щитов.

3t / t № r 3r t, мм 1 8,5 97,9 10,0 0,8 133,6 51,5 153,1 20,4% 1,6 175,3 0,0 29,8 7,5 128, 2 0,8 15,0% 3 1,2 73,9 0,5 150,5 11,5 77, 0,5 8,5% Таким образом, предложенная методика калибровки системы видео камер позволяет получить точность около 0,6 градуса по углу ориентации камер и относительную погрешность около 10% по положению камеры для точно заданных параметров калибровочных щитов. На практике, положение щитов также может определяться с ошибкой. В этом случае погрешности определения параметров камер будут выше: погрешность определения угла составила 0,8, а относительная погрешность определения положения камер составила 21%.

4.3 Формирование панорамного изображения Основное назначение разрабатываемых алгоритмов — построение па норамного изображения. В настоящем разделе представлены результаты работы разработанных алгоритмов для синтезированных и реальных вход ных данных.

Синтезированные данные были получены с помощью редактора трех мерной графики Blender [92], позволяющего сформировать сцену, разме стить в ней камеры и задать им необходимые параметры. Окружающая сцена представлена плоскостью, размеченной в виде шахматного поля с шириной клетки в один метр, на которой расположен на различных рассто яниях объект в виде куба размером 2 2 2 метра. Расстояния до объекта составляют 25 и 50 метров. Параметры камер были заданы следующими:

разрешение = 704 576, угол обзора по горизонтали = 68. Камеры в количестве 6 штук расположены согласно таблице 4.7 с максимальным расстоянием между соседними камерами (№ 1 и № 6) 2,4 метра.



Pages:     | 1 || 3 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.