Технические науки

DETERMINATION OF THE POSITION IN SPACE BASED ON THE COMPARISON OF THE IMAGE WITH A 3D DIGITAL MODEL OF THE SURFACE [ОПРЕДЕЛЕНИЕ ПОЛОЖЕНИЯ В КОСМОСЕ НА ОСНОВЕ СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЯ С 3D-ЦИФРОВОЙ МОДЕЛЬЮ ПОВЕРХНОСТИ]

Shahulov N.R. 

Shahulov Nikita Renarievich - Member Russian Space Society, American Geophysical Union, Specialist in geoinformation systems and geomarketing,

INNOVATIVE AND EDUCATIONAL CENTER FOR SPACE SERVICES

JSC "RPC "RECOD", VOLGOGRAD

Abstract: the development of an accurate assessment of the position of the onboard camera is one of the main tasks of satellite systems, and attempts to improve the accuracy of the position of the remote sensing camera never stop. The camera position can be restored by aligning the captured 2D image and the 3D digital surface model of the corresponding scene. This article proposes a new method for estimating the camera position from captured images using more well-known 3D real scene products to improve the accuracy of determining the position of a remote sensing camera. The purpose of this assessment is to determine the camera position solely from an image based on a known 3D model, where 3D products with very high spatial resolution are projected onto the image space by a virtual camera system with the initial parameters of the external orientation contained in the errors, and whether the camera position can be determined. exactly depends on the result of 2D–3D registration. The process consists of two stages: feature extraction and measurement, and similarity registration. In addition, the proposed method revises the rotation matrix and the displacement vector using a formulation based on the quaternion representation of rotation, respectively. I am evaluating the method on complex simulation data, and the results show that acceptable accuracy of the camera position can be achieved.

Keywords: satellite, physics, mathematics, astrophysics, 3D models, satellite images, quaternion, photogrammetry, computer vision, AR, VR.

Шахулов Н.Р. 

Шахулов Никита Ренарьевич - Член Русского Космического Общества, Американского геофизического союза, специалист по геоинформационным системам и геомаркетингу,

Инновационный-образовательный Центр космических услуг

ОАО «НПК «РЕКОД», г. Волгоград

Аннотация: разработка точной оценки положения бортовой камеры является одной из основных задач спутниковых систем, и попытки улучшить точность положения камеры дистанционного зондирования никогда не прекращаются. Положение камеры может быть восстановлено путем выравнивания захваченного 2D-изображения и 3D-цифровой модели поверхности соответствующей сцены. В этой статье предлагается новый метод оценки положения камеры по захваченным изображениям с использованием более известных 3D-продуктов real scene для повышения точности определения положения камеры дистанционного зондирования. Целью этой оценки является определение положения камеры исключительно по изображению, основанному на известной 3D-модели, где 3D-продукты с очень высоким пространственным разрешением проецируются на пространство изображения системой виртуальной камеры с содержащимися в ошибках начальными параметрами внешней ориентации, и можно ли определить положение камеры. точно зависит от результата 2D–3D регистрации. Процесс состоит из двух этапов: извлечение признаков и измерение, и регистрация сходства. Кроме того, предлагаемый способ пересматривает матрицу вращения и вектор перемещения, используя формулировку, основанную на кватернионном представлении вращения, соответственно. Я оцениваю метод на сложных данных моделирования, и результаты показывают, что может быть достигнута приемлемая точность положения камеры.

Ключевые слова: спутник, физика, математика, астрофизика, 3D-модели, спутниковые снимки, кватернион, фотограмметрия, компьютерное зрение, AR, VR.

Список литературы / References

1. Ли К., Ван К., Ли Х.: Изучение взаимосвязи между 2D / 3D сверткой для сверхразрешения гиперспектральных изображений. IEEE Trans. Геосци. Дистанционное зондирование. 59(10), 8693-8703 (2021).
2. Мегахед Ю., Шейкер А., Ян У.Ю.: Основанный на фазовой конгруэнтности подход к абстракции сцен для 2d-3d регистрации аэрофотоснимков и лидарных изображений. IEEE J. Sel. Верхний. Приложение. Земной шар. Дистанционный датчик 14, 964-981 (2021).
3. Фролих Р., Тамас Л., Като З.: Оценка абсолютной позы центральных камер с использованием плоских областей. IEEE Trans. Узор Анального секса. Мах. Интеллект. 43(2), 377-391 (2021).

4. Шугуров И., Павлов И., Захаров С. и др.: Уточнение позы объекта с несколькими видами с помощью дифференцируемого средства визуализации. Робот IEEE. Автом. Салат Латук. 6(2), 2579-2586 (2021).
5. Юнг Дж., Сон Г., Банг К. и др.: Сопоставление аэрофотоснимков с 3D-моделями зданий с использованием контекстно-ориентированного геометрического хеширования. Датчики 16(6), 932 (2016).
6. Куяма Т., Канемура А., Като С. и др.: Определение ориентации спутника и картографическая проекция на основе надежного сопоставления изображений. Дистанционный датчик 9(1), 90 (2017).
7. Фукс К., Гюльх Э., Ферстнер В.: Исследование OEEPE по 3D-моделям городов. Официальная публикация, Европейская организация экспериментальных фотограмметрических исследований. 9-124 (1998).
8. Лян Х., Ван Х., Лю Ю.Х. и др.: Стабилизация позы неголономных мобильных роботов с помощью действительно некалиброванной верхней камеры на основе чистого изображения. IEEE Trans. Робот. 36(3), 724-742 (2020).
9. Чжоу Ю., Ли Х., Кнейп Л.: Кэнни-во: Визуальная одометрия с камерами rgb-d на основе геометрического выравнивания краев 3-d-2-d. IEEE Trans. Робот. 35(1), 184-199 (2018).
10. Авбель Дж., Иващук Д., Стилла У.: Сопоставление 3D-моделей каркасных зданий с особенностями изображений из инфракрасных видеопоследовательностей, снятых вертолетами или беспилотниками. В V: III симпозиум Комиссии ISPRS по фотограмметрическому компьютерному зрению и анализу изображений. Париж, Франция, 1(3), стр. 149-154 (2010).
11. Авбель Дж., Иващук Д., Мюллер Р. и др.: Уточнение сорегистрации гиперспектральных изображений и DSM: объектно-ориентированный подход с использованием спектральной информации. ISPRS-J. Фотограмма. Дистанционный датчик 100, 23-34 (2015)
12. Лю Л., Стамос И.: Системный подход к регистрации 2D-изображений в 3D-диапазоне в городских условиях. Вычислить. Визави. Изображение под стр. 116(1), 25-37 (2012) Чанг и др. 11.
13. Cai X., Ye P.: Исследование спутникового датчика ориентации с использованием информации об изображениях дистанционного зондирования. Подбородок. Космическая наука. Технол. 25, 8–13 (2005).
14. Ян Б., Чен К.: Автоматическая регистрация последовательных изображений с БПЛА и данных лидара. ISPRS-J. Фотограмма. Дистанционный датчик 101, 262-274 (2015).
15. Кампосеко Ф., Коэн А., Поллефейс М. и др.: Оценка положения гибридной камеры. В: Труды Конференции IEEE по компьютерному зрению и распознаванию образов (CVPR), стр. 136-144. Солт-Лейк, Юта, США (2018).
16. Замир А.Р., Хаким А., Гул Л.В. и др.: Крупномасштабная визуальная геолокализация. Чам, Швейцария: Издательство Springer International Publishing (2016).
17. Зейсл Б., Саттлер Т., Поллефейс М.: Голосование за позу камеры для крупномасштабной локализации на основе изображений. В: Труды Международной конференции IEEE по компьютерному зрению (CVPR), стр. 2704-2712. Сантьяго, Чили (2015).
18. Саттлер Т., Лейбе Б., Коббелт Л.: Эффективное и эффективное согласование приоритетов для крупномасштабной локализации на основе изображений. IEEE Trans. Узор Анального секса. Мах. Интеллект. 39(9), 1744-1756 (2017).
19. Торий А., Тайра Х., Сивич Дж. и др.: Действительно ли крупномасштабные 3D-модели необходимы для точной визуальной локализации? IEEE Trans. Узор Анального секса. Мах. Интеллект. 43(3), 814-829 (2021).
20. Саттлер Т., Лейбе Б., Коббелт Л.: Быстрая локализация на основе изображений с использованием прямого сопоставления 2d и 3d. В: Труды Международной конференции IEEE Конференция по компьютерному зрению (ICCV), стр. 667-674. Барселона, Испания (2011).
21. Лю Л., Ли Х., Дай Ю. Эффективное глобальное сопоставление 2d и 3d для локализации камеры на крупномасштабной 3d-карте. В: Труды Международной конференции IEEE Конференция по компьютерному зрению (ICCV), стр. 2391-2400. Венеция, Италия (2017).
22. Чжао Ю., Ван Ю., Цай Ю.: регистрация 2d-изображения в 3d-диапазоне в городских условиях с помощью категоризации сцен и комбинации измерений сходства. В: Материалы Международной конференции IEEE по Робототехника и автоматизация (ICRA), стр. 1866-1872. Стокгольм, Швеция (2016).
23. Кромбез Н., Сеулин Р., Морель О. и др.: Мультимодальное преобразование 2D-изображения в 3D-модель посредством взаимного выравнивания разреженных и плотных визуальных объектов. В: Труды Международной конференции IEEE по робототехнике и автоматизации (ICRA), стр. 6316-6322. Брисбен, Квинсленд, Австралия (2018).
24. Ли Дж., Ян Б., Чен К. и др.: Автоматическая регистрация последовательности панорамных изображений и данных мобильного лазерного сканирования с использованием семантических признаков. ISPRS-J. Фотограмма. Дистанционный датчик 136, 41-57 (2017).
25. Liu, Y., Dong, Y., Song, Z. и др.: регистрация набора точек 2d-3d на основе поиск по глобальной ротации. IEEE Trans. Обработка изображений. 28(5), 2599-2613 (2019).
26. Кэмпбелл Д., Петерссон Л., Кнайп Л. и др.: Глобально-оптимальная максимизация набора входных данных для оценки положения камеры и соответствия. IEEE Транс. Узор Анального секса. Мах. Интеллект. 42(2), 328-342 (2018).
27. Кендалл А., Граймс М., Чиполла Р.: Posenet: Сверточная сеть для перемещения камеры с разрешением 6 кадров в секунду в реальном времени. В: Труды международной конференции IEEE по компьютерному зрению (ICCV), стр. 2938-2946. Сантьяго, Чили (2015).
28. Ву Дж., Ма Л., Ху Х.: Углубляясь в сверточные нейронные сети для перемещения камеры. В: Труды Международной конференции IEEE по робототехнике и автоматизации (ICRA). Стр. 5644-5651. Сингапур (2017).
29. Моу Ю., Хуан З., Лин Л. и др.: Сеть позирования с геометрическим контролем для точной оценки позы на полках магазинов. IEEE Trans. Инд. Сообщить. 17(4), 2357-2364 (2021).
30. Цзоу У., Ву Д., Тянь С. и др.: Сквозная оценка позы 6DoF по монокулярным изображениям RGB. IEEE Trans. Потребление. Электрон. 67(1), 87-96 (2021).
31. Кендалл А., Чиполла Р.: Функции геометрических потерь для позы камеры регрессия с глубоким обучением. В трудах конференции IEEE по компьютерному зрению и распознаванию образов (CVPR), стр. 6555-6564. Гонолулу, Калифорния, США (2017).
32. Виджаянарасимхан С., Рикко С., Шмид С. и др.: Sfm-net: Изучение структуры и движения по видео. Препринт arXiv arXiv: 1704.07804 (2017). [Электронный ресурс]. Режим доступа: https://scholar.google.com/scholar?cluster=13638061021599838030&hl=zh-CN&as_sdt=0,5/ (дата обращения: 31.08.2022).
33. Фатиан К., Рамирес-Паредес Дж.П., Дусетт Э.А. и др.: Quest: основанный на кватернионах подход к оценке движения камеры с минимальной характерные точки. Робот IEEE. Автом. Салат Латук. 3(2), 857-864 (2018)
34. Дин Ю., Ян Дж., Понс Дж. и др.: Оценка относительной позы в минимальном случае на основе гомографии с известным направлением силы тяжести. IEEE Trans. Узор Анального секса. Мах. Интеллект. 44(1), 196-210 (2022).
35. Саурер О., Вассер П., Бутто Р. и др.: Оценка эгомоции на основе гомографии с общим направлением. IEEE Trans. Узор Анального секса. Мах. Интеллект. 39(2), 327-341 (2017).
36. Домокос С., Немет Дж., Като З.: Нелинейная регистрация формы без соответствий. IEEE Trans. Узор Анального секса. Мах. Интеллект. 34(5), 943-958 (2012).
37. Ding Y., Yang J., Ponce J. и др.: Минимальные решения для оценки относительной позы с двух точек зрения, имеющих общее направление с неизвестным фокусным расстоянием. В: Материалы конференции IEEE/CVF по компьютерным Зрение и распознавание образов (CVPR), стр. 7043-7051. Сиэтл, Вашингтон, США (2020).
38. Суини К., Флинн Дж., Терк М.: Решение для относительной позы с частично известным вращением является квадратичной задачей на собственные значения. В: Труды Конференции IEEE по 3D-видению, стр. 483-490. Токио, Япония (2014).
39. Гейгер А., Ленц П., Уртасун Р.: Готовы ли мы к автономному вождению? Набор тестов kitti vision. В: Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR), стр. 3354-3361. Провиденс, Калифорния, США (2012).
40. Мэддерн У., Паско Г., Линегар С. и др.: 1 год, 1000 км: набор данных oxford robotcar. Инт. Дж. Робот. Резолюция 36(1), 3-15 (2017).
41. Мэддерн У., Паско Г., Гэдд М. и др.: Кинематическая достоверность в реальном времени для набора данных Oxford RobotCar. Препринт arXiv arXiv: 2002.10152 (2020). [Электронный ресурс]. Режим доступа: https://scholar.google.com/scholar?hl=zh-CN&as_sdt=0%2C5&q=Real‐time+kinematic+ground+truth+for+the+Oxford+RobotCar+dataset&btnG=/ (дата обращения: 31.08.20220).
42. Нистер Д.: Эффективное решение проблемы относительной позы из пяти пунктов. IEEE, пер. Узор, Анальный. Мах. Интеллект. 26(6), 756-770 (2004).
43. Стевениус Х., Энгельс К., Нистер Д.: Последние разработки в области прямой относительной ориентации. ISPRS-J. Фотограмма. Дистанционный датчик 60(4), 284-294 (2006).
44. Кукелова З., Буйнак М., Пайдла Т.: Полиномиальные решения на собственные значения для задач относительной постановки 5-pt и 6-pt. В: Труды британской Конференции по машинному зрению, стр. 565-574. Лондон: Британское машинное зрение Ассоциация (2008).
45. Сенсефлай. маленькая деревня. [Электронный ресурс]. Режим доступа: https://www.sensefly.com/education/datasets/ (дата обращения: 22.06.2022).
46. USGS. Исследователь Земли. [Электронный ресурс]. Режим доступа: https://earthexplorer.usgs.gov/ (дата обращения: 08.2016).
47. Чанг Х., Ву Г., Чианг Х.: Регистрация изображений дистанционного зондирования на основе модифицированного просеивания и группировки уклонов объектов. IEEE Geosci. Дистанционный датчик. Салат Латук. 16(9), 1363-1367 (2019).
48. Чен С., Чжун С., Сюэ Б. и др.: Итеративное масштабно-инвариантное преобразование признаков для регистрации изображений дистанционного зондирования. IEEE Trans. Геосци. Дистанционный датчик 59(4), 3244-3265 (2021).

Ссылка для цитирования данной статьи

		Тип лицензии на данную статью – CC BY 4.0. Это значит, что Вы можете свободно цитировать данную статью на любом носителе и в любом формате при указании авторства.
Ссылка для цитирования.Шахулов Н.Р.  ОПРЕДЕЛЕНИЕ ПОЛОЖЕНИЯ В КОСМОСЕ НА ОСНОВЕ СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЯ С 3D-ЦИФРОВОЙ МОДЕЛЬЮ ПОВЕРХНОСТИ [DETERMINATION OF THE POSITION IN SPACE BASED ON THE COMPARISON OF THE IMAGE WITH A 3D DIGITAL MODEL OF THE SURFACE]// LXXXVI International Scientific and Practical Conference «International Scientific Review of the Problems and Prospects of Modern Science and Education Свободное цитирование при указании авторства:https://scientific-conference.com/grafik.html (Boston, USA - 30 August, 2022). с. {см. сборник}

Поделитесь данной статьей, повысьте свой научный статус в социальных сетях