اعوجاج شدید هندسی و رادیومتری اغلب در تصاویر استریو نوری وجود دارد و برخی مناطق محلی می‌توانند شامل ناپیوستگی‌ها و انسدادهای سطحی باشند. محققان فتوگرامتری دیجیتال و بینایی کامپیوتر بر تطبیق خودکار چنین تصاویری تمرکز کرده اند.شبکه‌های عصبی کانولوشنال عمیق، که می‌توانند ویژگی‌های سطح بالا و همبستگی آن‌ها را بیان کنند، توجه فزاینده‌ای را برای کار تطبیق تصویر با خط پایه گسترده به خود جلب کرده‌اند و روش‌های مبتنی بر یادگیری این پتانسیل را دارند که از روش‌های مبتنی بر ویژگی‌های دست ساز پیشی بگیرند.بنابراین، ما بر مطالعه پویا تطابق تصویر با خط پایه گسترده تمرکز می کنیم و رویکردهای اصلی تشخیص ویژگی مبتنی بر یادگیری، توصیف و تطبیق تصویر انتها به انتها را بررسی می کنیم.علاوه بر این، ما تحقیقات فعلی را با استفاده از بازرسی و تشریح گام به گام خلاصه می‌کنیم. ما نتایج آزمایش‌های جامع را بر روی تصاویر استریو با خط پایه گسترده ارائه می‌کنیم، که از آنها برای تضاد و بحث در مورد مزایا و معایب چندین الگوریتم پیشرفته یادگیری عمیق استفاده می‌کنیم. در نهایت، ما با توصیف روش‌های پیشرفته و پیش‌بینی روندهای در حال توسعه با چالش‌های حل‌نشده نتیجه‌گیری می‌کنیم و راهنمایی برای کار آینده ارائه می‌کنیم.

معرفی
تطبیق تصویر با خط پایه گسترده فرآیند استخراج خودکار ویژگی های مربوطه از تصاویر استریو با تغییرات قابل توجه در دیدگاه است. این فناوری کلیدی برای بازسازی مدل‌های سه‌بعدی (3D) واقعی [1،2،3] بر اساس تصاویر دو بعدی (2D) است [4،5،6]. تصاویر استریو با خط پایه گسترده اطلاعات طیفی غنی، بافت واقعی، شکل و زمینه را برای بازسازی دقیق سه بعدی ارائه می دهند. علاوه بر این، آنها مزایایی با توجه به پیکربندی هندسی مکانی و دقت بازسازی سه بعدی دارند [7]. با این حال، به دلیل تغییر قابل توجه در دیدگاه تصویر، اعوجاج های پیچیده و محتوای گمشده بین اشیاء مربوطه از نظر مقیاس، آزیموت، روشنایی سطح و اطلاعات همسایگی وجود دارد که تطبیق تصویر را بسیار چالش برانگیز می‌کند [8]. از این رو، بسیاری از محققان در زمینه‌های فتوگرامتری دیجیتال و بینایی کامپیوتری مکانیسم درک ریشه‌دار [9] را برای تصاویر با خط پایه گسترده بررسی کرده‌اند و به‌طور متوالی بسیاری از الگوریتم‌های تطبیق تصویر کلاسیک را پیشنهاد کرده‌اند [10].

بر اساس مکانیسم تشخیص، روش های تطبیق تصویر با خط پایه گسترده را می توان به دو دسته تقسیم کرد: تطبیق دست ساز و تطبیق یادگیری عمیق.چندین محقق با الهام از دانش حرفه ای و تجربه شهودی، روش های تطبیق دست ساز را پیشنهاد کرده اند که می تواند توسط مدل های محاسباتی بصری و پارامترهای تجربی آنها مطابق با کار تطبیق تصویر پیاده سازی شود [14،15،16،17،18]. این دسته از روش ها همچنین به عنوان تطبیق سنتی نامیده می شود که نماینده کلاسیک آن الگوریتم تبدیل ویژگی ثابت مقیاس (SIFT) است [14]. تطبیق سنتی مشکلات زیادی دارد [15،16،17،18] مانند تکرار در ویژگی تصویر با خط پایه گسترده. استخراج یا قابلیت اطمینان توصیفگرهای ویژگی و معیارهای تطبیق.

با استفاده از معماری شبکه عصبی کانولوشن چند سطحی (CNN)، روش‌های مبتنی بر یادگیری، بهینه‌سازی تکراری را با پس انتشار و یادگیری پارامتر مدل از مقدار زیادی از داده‌های تطبیق حاشیه نویسی شده برای توسعه مدل CNN تطبیق تصویر آموزش‌دیده انجام می‌دهند [19].

یک نماینده مدل یادگیری عمیق در این دسته می تواند انتخاب شود، مانند MatchNet [20].
روش‌های زیر این دسته رویکرد متفاوتی را برای حل مشکل تطبیق تصویر با خط پایه گسترده ارائه می‌دهند، اما در حال حاضر به دلیل تعداد و وسعت نمونه‌های آموزشی محدود شده‌اند و یادگیری پارامترهای بهینه مدل که برای کاربردهای عملی مناسب هستند دشوار است. 21،22،23،24،25]. تطبیق تصویر مبتنی بر یادگیری اساساً روشی است که با دانش قبلی هدایت می شود. در سال‌های اخیر، با رشد مجموعه داده‌های آموزشی و معرفی یادگیری انتقالی [35]، تطبیق تصویر مبتنی بر یادگیری عمیق توانسته است اکثر وظایف تطبیق تصویر با خط پایه گسترده را انجام دهد [36] و عملکرد آن می‌تواند در برخی موارد، از الگوریتم های سنتی دست ساز پیشی می گیرند. با این حال، روش‌های موجود هنوز از نظر ساختار شبکه [37]، تابع ضرر [38]، متریک تطبیق [39] و توانایی تعمیم [40] به‌ویژه برای مشکلات تطبیق تصویر معمولی مانند تغییر دیدگاه زیاد به مطالعه بیشتر دارند. تغییرات [41]، ناپیوستگی های سطح [42]، انسداد زمین [43]، سایه ها [44] و الگوهای تکراری [45،46،47].بر اساس بررسی فرآیند تطبیق تصویر، ما به طور تدریجی ویژگی های روش های پیشنهادی را در تحقیقات موجود، از جمله ماهیت روش ها و همچنین مزایا و معایب آنها، سازماندهی، تجزیه و تحلیل و خلاصه می کنیم. سپس، مدل‌های یادگیری عمیق کلاسیک بر روی مجموعه داده‌های عمومی متعدد و تصاویر استریو با خط پایه گسترده آموزش داده می‌شوند و آزمایش می‌شوند. علاوه بر این، ما روش‌های پیشرفته را مقایسه و ارزیابی می‌کنیم و چالش‌های حل‌نشده آن‌ها را مشخص می‌کنیم. در نهایت، روندهای احتمالی آینده در تکنیک های کلیدی مورد بحث قرار می گیرد. ما امیدواریم که تحقیق در مورد تطبیق تصویر با خط مبنا گسترده توسط کار بررسی این مقاله بررسی شود.

مشارکت های اصلی این مقاله به شرح زیر خلاصه می شود. ابتدا، ما یک بررسی کامل برای روش‌های تطبیق مبتنی بر یادگیری، از تشخیص ویژگی گرفته تا تطبیق انتها به انتها، انجام می‌دهیم، که شامل ماهیت‌ها، محاسن و نقص‌های هر روش برای تصاویر با خط پایه گسترده است. دوم، ما روش‌های ترکیبی مختلفی را برای ارزیابی منصفانه و یکنواخت ماژول‌های نماینده با استفاده از آزمون‌های کمی و کیفی متعدد ایجاد می‌کنیم. سوم، ما علت اصلی تلاش برای تولید تطابق با کیفیت بالا در بین تصاویر استریو با خط پایه گسترده را آشکار می‌کنیم و راه‌حل‌های عملی برای کار آینده ارائه می‌کنیم.

در بخش 2، این مقاله محبوب‌ترین روش‌های تطبیق مبتنی بر یادگیری، از جمله تشخیص ویژگی، توصیف ویژگی، و استراتژی‌های انتها به انتها را مرور می‌کند. نتایج و بحث در بخش 3 ارائه شده است. خلاصه و چشم انداز زیر در بخش 4 ارائه شده است. در نهایت، بخش 5 نتایج این مقاله را ترسیم می کند.