Заметка юзера Gol

Панорамки на Stereo Pi

панорама фото железки stereopi

Итак, проект StereoPi уже нехило так продвинулся, железо рабочее есть в достаточном количестве, можно всякие штуки под неё делать.

На этот раз, попробуем сделать сферическую панораму. Зря, что-ли, у нас две камеры на борту. Конечно, можно было две камеры подключить и к обычной малине, в режиме мультиплексирования (то одна камера работает, то другая, выбор нужной - через GPIO). Но тогда кадры будут сниматься последовательно, а при наличии движения это не очень гут. Правда, при "одновременной" съёмке с двух камер стереопишки тоже синхронизации нет никакой, тупо два raspistill одновременно запускаются. Но тут больше шансов что объекты на границе шибко не разбегутся. Ещё и видео можно одновременно двумя камерами снимать, а потом в сферическую видеопанораму сшить. Но это я потом как-нибудь попробую, для начала надо с фото-панорамами разобраться.

Картинка для отвлечения внимания

Полный размер


Собссно, панорама

Продолжение...



Итак, есть StereoPi, есть две камеры с фишай объективом (200 градусов). Вот такие камеры: RPi Camera (M) WaveShare

Располагаем две камеры жопка-к-жопке

Полный размер


Делаем фото с обеих камер. В идеале - одновременно, но можно и поочерёдно. raspistill нам в помощь. Получаем вот такие две картинки:

Файл 21.jpg

Полный размер Файл 21.jpg

Файл 22.jpg

Полный размер Файл 22.jpg



Далее встала проблема - как из этих двух фишайных картинок автоматически сделать картинку с эквидистантной проекцией, которую кушают практически все просмотрщики панорам. Преобразование хочется делать прям на борту стереопишки, без использования специального панорамного софта.

После долгих изысканий был найден проект 360-camera, откуда и были взяты за основу скрипты.

Но сначала нам таки придётся воспользоваться отдельной панорамной прогой, чтобы подготовить шаблон для преобразования. Прога называется Hugin, скачать можно вот тут http://hugin.sourceforge.net/download/.


1. Итак, скачали, установили, запустили.
2. Выбираем в меню "Интерфейс" вариант "Simple".

Полный размер


3. Жмём кнопку "Загрузить снимки..." и добавляем два наших файла (21.jpg и 21-2.jpg).

Полный размер


4. Задаём "Тип объектива" - "Круговой ВырвиГлаз". "Фокусное расстояние" 1,2mm и "Множитель фокусного расстояния" 7,6x. А во вкладке "Проекция" убеждаемся что стоит поле зрения 360х180 и "Эквидистантная". По дефолту так оно и должно быть.

Полный размер


5. Жмём кнопку "2. Выровнять...". Начнётся поиск контрольных точек, должно найтись где-то 10-13 точек. Панорамка уже начинает быть похожа на панорамку.

Полный размер


6. Теперь самое главное - сохранить проект, так как именно он нам потребуется для последующей автоматической склейки всех последующих панорам, снятых этими нашими двумя фишайными камерами. "Файл" -> "Сохранить как" -> имя файла stereopi-template.pto

8. Возвращаемся во вкладку "Ассистент" (если мы вдруг оттуда уходили) и жмём "Создать панораму..." Откроется дополнительное окно, там выбираем высоту 1944, ширина сама высчитается. LDR Формат (формат картинки на выходе) задаём JPEG. Качество - какое хотите, по дефолту - 90. Коррекции не трогаем пока. Жмём ОК. Задаём имя файла с результатом. И жмём "Сохранить".

Полный размер


9. Откроется ещё пара окон, в одном из которых будет отображаться лог процесса.

Полный размер


10. В итоге получится вот примерно такая картинка:

Полный размер


Это и есть необходимая нам эквидистантная проекция нашей сферической панорамы!

Но это фигня!

Мы-то хотим не париться с каждой фоткой, нам нужно сей процесс автоматизировать. Для этого и понадобится файл проекта, который мы сохранили на пункте 6. Берём наш файл проекта (у меня это stereopi-template.pto) и копируем на стереопишку.

Туда же копируем скрипт склейки stereopi-stich.sh Скрипту нужно два входных параметра - имена файлов фишайных фоток которые надо склеить в эквидистантную проекцию.

Но сначала надо установить на стереопишку весь необходимый софт. Просто скачиваем этот скрипт и на стеропишке запускаем. installer.sh

Теперь прогоняем скрипт склейки

# ./stereopi-stich.sh 21.jpg 21-2.jpg
Stiching files 21.jpg and 21-2.jpg
Generating pto file...
Reading /opt/Pano/test1/21-2.jpg...
Reading /opt/Pano/test1/21.jpg...

Assigned 1 lenses.

Written output to /opt/Pano/test1/tmp/project.pto

Written output to ./tmp/project.pto
number of cmdline args: 1
==================================
Stitching panorama
==================================
nona -z LZW -r ldr -m TIFF_m -o 21_21-2-pano -i 0 ./tmp/project.pto
nona -z LZW -r ldr -m TIFF_m -o 21_21-2-pano -i 1 ./tmp/project.pto
checkpto --generate-argfile= project.pto_21_21-2-pano.arg ./tmp/project.pto
enblend --compression=90 -w -f2688x1344 -o 21_21-2-pano.jpg -- 21_21-2-pano0000.tif 21_21-2-pano0001.tif
enblend: info: loading next image: 21_21-2-pano0000.tif 1/1
enblend: info: loading next image: 21_21-2-pano0001.tif 1/1
enblend: info: writing final output
Bogus input colorspace
exiftool -overwrite_original_in_place -TagsFromFile /opt/Pano/test1/21-2.jpg -WhitePoint -ColorSpace -@ /usr/share/hugin/data/hugin_exiftool_copy.arg -@ project.pto_21_21-2-pano.arg 21_21-2-pano.jpg
1 image files updated
==================================
Remove temporary files
==================================
rm project.pto_21_21-2-pano.arg 21_21-2-pano0000.tif 21_21-2-pano0001.tif



Процесс занимает около 50 секунд. Надо бы будет поискать возможности оптимизации, но пока и так неплохо.

В результате получится файл

Полный размер


Всё! Мы автоматически склеили два фишая в эквидистантку! И этим же скриптом можно склеивать и все последующие фотки, главное чтобы взаимное размещение наших камер шибко не менялось, а то склейка поедет.

Теперь нужно его впендюрить куда-нибудь на сайт. Для просмотра нашей панорамы на сайте нужен панорамный плеер.

Имхо, лучший встраиваемый плеер для панорам - KRPano. Могёт и фото, и видео. Да, платный. Я лицензию на него уже покупал лет пять назад, но тогда плеер был на флеше сделан и HTML5 не умел. А теперь умеет, но надо заново лицензию покупать.
https://krpano.com/

Можно скачать мой архивчик где внутри уже всё что нужно чтобы увидеть вот такое. Самый ништяг - литтл планет (выбор режима просмотра - клик правой кнопкой мыши).

Полный размер


Полезные ссылки:
Эквиректангулярная проекция
Много теории по фишаям и эквидистантной проекции
Софт для просмотра панорам
Большой мануал по автоматической склейке
BrianBock/360-camera
Gol      Среда, 12 Декабря, 2018 04:44       2


Добавить комментарий
 

Гость Вторник, 17 Марта, 2020 17:26 цитировать ссылка на коммент

Давно смотрю ваши работы. Круто! Вы молодец и команда крутая!

 

 

Gol Четверг, 19 Марта, 2020 01:05 цитировать ссылка на коммент

2 Гость:
Спасибо за добро слово!

 

Сколько букв в слове Гол?

Вы вошли как Гость      

Сейчас на сайте: 0
и 7 гостей






Страница сгенерирована за 0.0066611766815186 мкс

cached