انگیزه و چالش ها در پردازش تصاویر سنجش از دور
اکتبر 24, 2020LDAHash: Improved Matching with Smaller Descriptors
نوامبر 7, 2020Image Matching from Handcrafted to Deep Features: A Survey
چکیده
به عنوان یک کار اساسی و مهم در کاربردهای مختلف تصویری ، تطبیق تصویر می تواند ساختار
/محتوای یکسان یا مشابه را از دو تصویریا بیشتر با یکدیگر مطابقت دهد. در دهه های گذشته ، حجم و تنوع زیادی از روش های تطبیق تصویر ، به ویژه با توسعه تکنیک های یادگیری عمیق در سال های اخیر مطرح شده است. با این حال ، ممکن است چندین سوال بدون جواب در مورد اینکه کدام روش برای کاربرد های خاص با توجه به سناریوهای مختلف و نیازهای مورد نظر و نحوه طراحی بهتربرای روش های تطبیق تصویر با عملکرد برتر در دقت ، استحکام و کارایی ، انتخاب درستی هست باقی بماند.این ما را تشویق می کند تا یک بررسی و تجزیه و تحلیل جامع و سیستماتیک برای روش های کلاسیک و جدید انجام دهیم. به دنبال خط مش تطبیق تصویر مبتنی بر ویژگی ، ما ابتدا روشهای تشخیص ویژگی ، توصیف و تطبیق را از روشهای دستی به روشهای قابل آموزش معرفی می کنیم و تجزیه و تحلیل توسعه این روشها را در تئوری و عمل ارائه می دهیم. ثانیا ، ما برای درک جامع از اهمیت تطبیق تصویر ، چند کاربرد معمولی تطبیق تصویر را به طور خلاصه معرفی می کنیم. علاوه بر این ، ما همچنین مقایسه جامع و عینی این تکنیک های کلاسیک و جدید را از طریق آزمایش های گسترده روی مجموعه داده های نماینده ارائه می دهیم. سرانجام ، ما با وضعیت فعلی فناوری های تطبیق تصویر نتیجه می گیریم و بحث ها و چشم اندازهای روشنی برای کارهای آینده ارائه می دهیم. این خلاصه می تواند به عنوان مرجعی برای محققان و مهندسان در تطبیق تصویر و زمینه های مرتبط باشد.
Abstract
As a fundamental and critical task in various visual applications, image matching can identify then correspond the same or similar structure/content from two ormore images.Over the past decades, growing amount and diversity of methods have been proposed for image matching, particularly with the development of deep learning techniques over the recent years. However,it may leave several open questions about which method would be a suitable choice for specific applications with respect to different scenarios and task requirements and how to design better image matching methods with superior performance in accuracy, robustness and efficiency.This encourages us to conduct a comprehensive and systematic review and analysis for those classical and latest techniques. Following the feature-based image matching pipeline, we first introduce feature detection,description, and matching techniques from handcrafted methods to trainable ones and provide an analysis of the development of these methods in theory and practice. Secondly, we briefly introduce several typical image matching-based applications for a comprehensive understanding of the significance of image matching. In addition, we also provide a comprehensive and objective comparison of these classical and latest techniques through extensive experiments on representative datasets. Finally, we conclude with the current status of image matching technologies and deliver insightful discussions and prospects for future works. This survey can serve as a reference for (but not limited to) researchers and engineers in image matching and related fields.
معرفی
سیستم های مصنوعی مبتنی بر بینایی ، همانطور که به طور گسترده ای برای هدایت ماشین ها برای درک و مشاهده محیط اطراف برای تصمیم گیری بهتر استفاده می شود ، نقش مهمی در عصر اتوماسیون جهانی و هوش مصنوعی داشته اند. با این حال ، نحوه پردازش اطلاعات درک شده تحت شرایط خاص و درک تفاوت ها و / یا روابط بین اهداف بصری متعدد ، موضوعات مهم در زمینه های مختلف ، از جمله بینایی ماشین ، شناسایی الگو ، تجزیه و تحلیل تصویر ، امنیت و سنجش از دور است.به عنوان یک مسئله اساسی و حساس در این کارهای پیچیده ، مطابقت تصویر ، که به عنوان ثبت تصویر نیز شناخته می شود ، هدف آن شناسایی و سپس مطابقت ساختار/ محتوای یکسان یا مشابه از دو یا تعداد بیشترتصویر است. این روش برای بازیابی ساختار در ابعاد بالا و همچنین شناسایی و ادغام اطلاعات ، مانند بازسازی 3 بعدی ، محلی سازی و نقشه برداری همزمان بصری (VSLAM) ، موزاییک تصویر ، ادغام تصویر ، بازیابی تصویر ، شناسایی و ردیابی هدف و همچنین به عنوان تشخیص تغییر ، و غیره مورد استفاده قرار می گیرد.
تطبیق تصویر معنای غنی در جفت شدن دو شی دارد ، بنابراین بسیاری از کارهای خاص مانند تطبیق ویژگی های پراکنده ، تطبیق متراکم (مانند ثبت تصویر و تطبیق استریو) ، تطبیق پچ (بازیابی) ، ثبت مجموعه های نقطه ای 2بعدی و 3بعدی و تطبیق نمودار تطبیق تصویر به طور کلی از دو قسمت تشکیل شده است ، یعنی ماهیت ویژگی های تطبیق داده شده و استراتژی همسان سازی ، که به ترتیب نشان می دهد چه چیزی برای مطابقت و چگونگی مطابقت آنها استفاده می شود. هدف نهایی این است که تصویر دریافت شده را با وجود پیچیدگی هندسی به سیستم مختصات مکانی مشترک تصویر مرجع ومنطقه مشترک آنها را پیکسل به پیکسل (به عنوان مثال ، ثبت تصویر) تراز کرد. برای این منظور ، یک استراتژی مستقیم ، که به آن روش مبتنی بر ناحیه نیز گفته می شود ، دو تصویر را با استفاده از اندازه گیری شباهت روشنایی پیکسل تصویر اصلی یا اطلاعات پس از تبدیل دامنه پیکسل در پنجره های اسلایدی با اندازه از پیش تعریف شده یا حتی کل تصاویر بدون تلاش برای تشخیص ساختار برجسته تصویر تطبیق میدهد.
خط مش کلاسیک و گسترده دیگری به نام روش مبتنی بر ویژگی ،یعنی ، تشخیص و توصیف ویژگی ، تطبیق ویژگی ، براورد مدل تبدیل ، تبدیل و نمونه برداری تصویر ، در مقاله معتبر (Zitova و Flusser 2003) معرفی شده است که در زمینه های مختلف به کار گرفته شده است. تطبیق تصویر مبتنی بر ویژگی به دلیل انعطاف پذیری و استحکام و قابلیت استفاده درطیف گسترده ای از برنامه های کاربردی ، محبوب است.به طور خاص ، تشخیص (آشکار سازی) ویژگی می تواند ساختار متمایز از یک تصویر را استخراج کند ، و توصیف ویژگی ممکن است به عنوان یک روش بازنمایی تصویر در نظر گرفته شود که به طور گسترده ای در کدگذاری تصویر و اندازه گیری شباهت مانند طبقه بندی و بازیابی تصویر استفاده می شود. علاوه بر این ، به دلیل توانایی زیاد ویژگی های عمیق و حالت غیر خطی ، استفاده از تکنیک های یادگیری عمیق برای بازنمایی اطلاعات تصویر و یا اندازه گیری شباهت ، و همچنین پارامتر رگرسیون تبدیل جفت تصویر ، موضوعات داغ امروزی جامعه تطبیق تصویر هستند ، که برای دستیابی به عملکرد بهتر تطبیق و ارائه پتانسیل بیشتر در مقایسه با روش های سنتی ثابت شده اند.
در مجموعه های دنیای واقعی ، تصاویر برای تطبیق معمولاً از همان صحنه یا شی مشابه یا یکسان گرفته می شوند در حالی که در زمان های مختلف ، از دیدگاه های مختلف یا روش های تصویربرداری متفاوت گرفته شده اند. به طور خاص یک استراتژی تطبیق قوی و کارآمد برای ایجاد ارتباطات صحیح مورد نیاز است در نتیجه روش های مختلف برای دستیابی به کارایی ، استحکام و دقت بهتر به کار می گیرد .اگرچه در طول دهه ها تکنیک های متعددی ابداع شده است ، اما توسعه یک چارچوب واحد از نظر جنبه های زیر همچنان یک کار چالش برانگیز است:
روش های مبتنی بر منطقه که به طور مستقیم تصاویر را مطابقت میدهند، اغلب به اندازه گیری مشابهت پچ مناسب برای ایجاد تطابق در سطح پیکسل بین تصاویر بستگی دارد. آنها می توانند از نظر محاسباتی پرهزینه باشند و نسبت به اعوجاج تصویر ، تغییر شکل ظاهری توسط نویز ، نورپردازی متفاوت و حسگرهای مختلف تصویربرداری حساس هستند که می تواند تأثیر منفی بر اندازه گیری شباهت و جستجوی مطابقت داشته باشد. در نتیجه ، معمولاً این روشها فقط در چرخش کوچک ، تغییر مقیاس کم و تغییر شکل موضعی می توانند به خوبی کار کنند.
روشهای تطبیق مبتنی بر ویژگی اغلب کارآمدتر هستند و می توانند تغییر شکل هندسی را بهتر کنترل کنند. اما این روش ها براساس تشخیص و توصیف ویژگی های برجسته ، تطبیق ویژگی و تخمین مدل هندسی استوار هستند که می تواند چالش برانگیز باشد.از یک طرف ، در تطبیق تصویر مبتنی بر ویژگی ، به منظور اطمینان از قابلیت تطبیق ، تعریف و استخراج درصد بالا و تعداد زیادی از ویژگی ها که به همان موقعیت در فضای 3بعدی در دنیای واقعی تعلق دارند ، دشوار است. از طرف دیگر ، مطابقت N ویژگی با N ویژگی های تشخیص داده شده در تصویر دیگر ، باعث ایجاد مجموع N فاکتوریل تطبیق احتمالی شود ، معمولاً هزاران ویژگی را از تصاویر با وضوح بالا استخراج می کند ، و شامل حاشیه های معمول و نویز در این نقاط است ، که مشکلات زیادی را برای روش های تطبیق موجود ایجاد می کند.اگرچه توصیف کننده های محلی مختلفی برای ساده سازی روند تطبیق ارائه شده و با ویژگی های شناسایی شده ترکیب شده است ، اما استفاده از اطلاعات ظاهری محلی به طور حتم به ابهام و تعداد زیادی تطابق نادرست منجر خواهد شد ، به ویژه برای تصاویر کیفیت پایین ، محتوای تکراری و مواردی که تحت تغییر شکل شدید غیرصاف و تغییرزیاد در دیدگاه هستند.
معمولاً استفاده از مدل تبدیل از پیش تعریف شده برای نشان دادن رابطه هندسی بین دو تصویر یا مجموعه نقاط ضروری است. اما ممکن است در داده های مختلف متفاوت باشد و از قبل مشخص نیست ، بنابراین مدل سازی آن دشوار است.یک مدل پارامتری ساده اغلب برای جفت های تصویری که شامل تغییرات غیر سخت ناشی از نوسانات سطح زمین و تغییرات دیدگاه تصویر ، چند هدف با ویژگی های مختلف حرکت و همچنین اعوجاج های محلی است ، ناکافی است.
ظهور یادگیری عمیق راهی جدید را ایجاد کرده و پتانسیل زیادی را برای رفع مشکلات تطبیق تصویر نشان داده است. با این حال ، هنوز هم چندین چالش وجود دارد. گزینه یادگیری از تصاویر برای ثبت مستقیم یا تخمین مدل تبدیل ، هنگامی که برای استریوی تصویر پایه گسترده یا ثبت تحت تغییر شکل پیچیده و جدی اعمال می شود ، محدود است.استفاده از شبکه های عصبی کانولوشن (CNN) بر روی نقاط داده تنک برای تطبیق ، ثبت و تخمین مدل تبدیل نیز دشوار است ، زیرا نقاطی که به دلیل ماهیت نامنظم و تنک ساخته می شوند ، به عنوان داده های غیر ساختاری یا غیر اقلیدسی شناخته می شوند کار کردن و استخراج روابط مکانی بین دو یا چند نقطه (به عنوان مثال ، عناصر همسایه ، موقعیت های نسبی ، و اطلاعات طول و زاویه در بین چند نقطه) با استفاده از یک تکنیک کانولوشن عمیق دشوار است.
1 Introduction
Vision-based artificial systems, as widely used to guide machines to perceive and understand the surroundings for better decision making, have been playing a significant role in the age of global automation and artificial intelligence.However, how to process the perceived information under specific requirements and understand the differences and/or relationships among multiple visual targets are crucial topics in various fields, including computer vision, pattern recognition,image analysis, security, and remote sensing.As a critical and fundamental problem in these complicated tasks,image matching, also known as image registration or correspondence, aims to identify then correspond the same or similar structure/content from two ormore images. This technique is used for high-dimensional structure recovery as well as information identification and integration, such as 3-D reconstruction, visual simultaneous localization and mapping (VSLAM), image mosaic, image fusion, image retrieval,target recognition and tracking, as well as change detection,etc.
Image matching has rich meaning in pairing two objects, thus deriving many specific tasks, such as sparse feature matching, densematching (like image registration and stereo matching), patch matching (retrieval), 2-D and 3-D point set registration, and graph matching. Image matching in general consists of two parts, namely, the nature of the matched features and thematching strategy, which indicate what are used to match and how to match them, respectively. The ultimate goals are to geometrically warp the sensed image into the commonspatial coordinate system of the reference image and align their common area pixel-to-pixel (i.e., image registration). To this end, a direct strategy, also known as area-based method, registers two images by using the similarity measurement of the original image pixel intensity or information after pixel-domain transformation in the sliding windows of predefined size or even the entire images, without attempting to detect any salient image structure.
Another classic and widely adopted pipeline called featurebased method, i.e., feature detection and description, feature matching, transform model estimation, image resampling and transformation, has been introduced in the prestigious survey paper (Zitova and Flusser 2003) and applied in various fields. The feature-based image matching is popular due to its flexibility and robustness and the capability of wide range applications.In particular, feature detection can extract the distinctive structure from an image, and feature description may be regarded as an image representation method that is widely used in image coding and similarity measurements such as image classification and retrieval. In addition, due to the strong ability in deep feature acquisition and non-linear expression, applying deep learning techniques for image information representation and/or similarity measurement, as well as parameter regression of image pair transformation, are hot topics in nowadays image matching community,which have been proven to achieve bettermatching performance and present greater potential compared with traditional methods.
In real-world settings, images for matching are usually taken from the same or similar scene/object while captured at different times, from different viewpoints or imaging modalities. In particular, a robust and efficient matching strategy is desirable to establish correct correspondences, thus stimulating various methods for achieving better efficiency, robustness and accuracy.Although numerous techniques have been devised over the decades, developing a unified framework remains a challenging task in terms of the following aspects:
Area-based methods that directly match images often depend on an appropriate patch similarity measurement for creating pixel level matches between images. They can be computational expensive and are sensitive to image distortion, appearance changes by noise, varying illumination, and different imaging sensors, which can have negative impact on similarity measurement and match searching. As a result, usually these methods can only work well under small rotation, scaling, and local deformation.
Feature-based matching methods are often more efficient and can better handle geometrical deformation. But they are based on salient feature detection and description, feature matching, and geometrical model estimation which can also be challenging.On the one hand, in feature based image matching, it is difficult to define and extract a high percentage and a large number of features belonging to the same positions in 3-D space in the real world to ensure the matchability. On the other hand, matching N feature points to N feature points detected in another image would create a total of N! possible matchings, and thousands of features are usually extracted from highresolution images and dominated outliers and noise are typically included in the points sets, which lead to significant difficulties for existingmatching methods.Although various local descriptors have been proposed and coupled with detected features to ease the matching process, the use of local appearance information will unavoidably result in ambiguity and numerous false matches, especially for images with lowquality, repeated contents, and those undergoing serious nonrigid deformations and extreme viewpoint changes.
The emergence of deep learning has provided a new way and has shown great potential to address image matching problems. However, it still faces several challenges.The option of learning from images for direct registration or transformation model estimation is limited when applied to wide baseline image stereo or registration under complex and serious deformation.The application of convolutional neural networks (CNNs) onto sparse point data for matching, registration, and transformation model estimation is also difficult, because the points to be matched–known as unstructured or non-Euclidean data due to their disordered and dispersed nature–make it difficult to operate and extract the spatial relationships between two or more points (e.g., neighboring elements, relative positions, and length and angle information among multi-points) using a deep convolutional technique.
بررسی های موجود بر روی قسمت های مختلف کار تطبیق تصویر متمرکزشده و ادبیات دهه گذشته را پوشش نمی دهد. به عنوان مثال ، بررسی های اولیه (Zitova and Flusser 2003؛ Tuytelaars and Mikolajczyk 2008؛ Strecha et al. 2008؛ Aanæs et al. 2012؛ Heinly et al. 2012؛ Awrangjeb et al. 2012؛ Li et al. 2015) معمولاً روی روش های دستی تمرکز دارند وکه برای ارائه یک مرجع ارزشمند برای بررسی روش های مبتنی بر CNN کافی نیستند.بررسی های اخیر با تکنیک های قابل آموزش سر و کار دارد ، اما آنها فقط بخش کوچکی از جامعه تطبیق تصویر را شامل می شوند ، یا بر روی آشکارسازها تمرکز دارند (Huang et al. 2018؛ Lenc and Vedaldi 2014) یاتوصیفگرها (Balntas et al. 2017؛ Shonberger و همکاران 2017) یا کارهای تطبیق خاص (Ferrante and Paragios، 2017؛ Haskins et al.، 2020؛ Yan et al.، 2016b؛ Maiseli et al.، 2017).هاسکینز و همکاران سال 2020 یان و همکاران 2016b ؛ Maiseli و همکاران 2017) ، و بسیاری دیگر توجه بیشتری به برنامه های مرتبط دارند (Fan et al. 2019؛ Guo et al. 2016؛ Zheng et al. 2018؛ Piasco et al. 2018). در این نظرسنجی ، هدف ما ارائه یک خلاصه و ارزیابی به روز و جامع از روشهای موجود تطبیق تصویر ، به ویژه برای روشهای مبتنی بر یادگیری است که اخیراً معرفی شده است. از همه مهمتر ، ما یک ارزیابی و تجزیه و تحلیل دقیق برای روشهای اصلی موجود در ادبیات موجود ارائه داده ایم. این نظرسنجی عمدتاً بر روی تطبیق مبتنی بر ویژگی متمرکز است ، اگرچه تطبیق پچ ، ثبت مجموعه نقاط و سایر کارهای تطبیق مرتبط نیز بررسی می شوند. سازمان کلی در شکل 1 ارائه شده است. فرقه ها 2 و 3 به ترتیب از روش های دستی به روش های قابل آموزش ، تکنیک های تشخیص و توصیف ویژگی ها را توصیف می کنند. تطبیق پچ به عنوان یک دامنه توصیف ویژگی طبقه بندی می شود ، و ویژگی های مجموعه 3-D نقطه نیز بررسی می شود.در بخش. 4 ، ما روش های تطبیق مختلفی را ارائه می دهیم ، از جمله تطبیق تصویر مبتنی بر منطقه ، ثبت مجموعه ای از نقطه خالص ، تطبیق شباهت توصیفگر تصویر و حذف عدم تطابق ، تطبیق نمودار و روش های مبتنی بر یادگیری. بخش 5 و 6 به ترتیب برنامه های دیداری مبتنی بر تطبیق تصویر و معیارهای ارزیابی ، از جمله مقایسه عملکرد را معرفی می کنند. در بخش. 7 ، ما نتیجه گیری و بحث در مورد توسعه های احتمالی آینده است.
Existing surveys are focused on different parts of image matching tasks and fail to cover the literature from the last decade. For instance, the early reviews (Zitova and Flusser 2003; Tuytelaars and Mikolajczyk 2008; Strecha et al. 2008; Aanæs et al. 2012; Heinly et al. 2012; Awrangjeb et al. 2012; Li et al. 2015) typically focus on handcrafted methods, which are not sufficient to provide a valuable reference for investigating CNN-based methods.Most recent reviews involve trainable techniques, but they merely cover a single part of image matching community, either focus on detectors (Huang et al. 2018; Lenc and Vedaldi 2014) or descriptors (Balntas et al. 2017; Schonberger et al. 2017) or specific matching tasks (Ferrante and Paragios 2017; Haskins et al. 2020; Yan et al. 2016b;Maiseli et al. 2017), This survey mainly focuses on feature-based matching, although patch matching, point set registration, and other related matching tasks are also reviewed.
The overall organization is presented in Fig. 1; Sects. 2 and 3 describe the feature detection and description techniques respectively, from handcrafted methods to trainable ones. Patch matching is classified as a feature description domain, and 3-D point set features are also reviewed.In Sect. 4, we present different matching methods, including area-based image matching, pure point set registration, image descriptor similarity matching and mismatch removal, graph matching, and learning-based methods. Sections 5 and 6 respectively introduce the image matching-based visual applications and evaluation metrics, including the performance comparison. In Sect. 7, we conclude and discuss possible future developments.
آشکار ساز ویژگی
اوایل ویژگی های تصویر به صورت دستی حاشیه نویسی می شدند ، که هنوز هم در برخی موارد تطبیق تصویر با کیفیت پایین استفاده می شود.اما با توسعه بینایی رایانه و نیاز به رویکردهای تطبیق خودکار ، بسیاری از روش های تشخیص ویژگی برای استخراج ویژگی های پایدار و مجزا از تصاویر ارائه شده است.ویژگی های آشکار شده ساختارهای معنایی خاصی را در یک تصویر یا دنیای واقعی نشان می دهند و می توانند به ویژگی های گوشه ای تقسیم شوند (موراوک 1977 ؛ هریس و همکاران 1988 ؛ اسمیت و بردی 1997 ؛ روستن و دراموند 2006 ؛ روبلی و همکاران 2011) ، ویژگی های حباب یا دایره ای ( Lowe 2004 ؛ Bay و همکاران 2006 ؛ Agrawal و همکاران 2008 ؛ Yi و همکاران 2016) ، خط / لبه (هریس و همکاران 1988 ؛ اسمیت و بردی 1997 ؛ کنی 1987 ؛ پرونا و مالک 1990) و ویژگی مورفولوژیکی (Matas و همکاران 2004 ؛ Mikolajczyk و همکاران 2005). با این حال ، محبوب ترین ویژگی هایی که برای تطبیق استفاده می شود ، نقاط هستند (یا همان نقاط کلیدی یا نقاط مورد علاقه). استخراج و تعریف نقاط با سهولت در مقایسه با ویژگی های خط و منطقه آسان است ، که می توان آنها را تقریباً به گوشه و حباب طبقه بندی کرد .
یافتن یک نقطه مورد علاقه باید آسان باشد و به طور ایده آل به سرعت محاسبه شود ، زیرا نقطه مورد نظر در یک مکان خوب برای توصیف عملکرد بیشتر و مطابقت آن ضروری است. به منظور بهبود (i) تطبیق ، (ii) توانایی استفاده در برنامه های بعدی و (3) کارایی تطبیق و کاهش نیازهای ذخیره سازی ، بسیاری از ویژگی های مورد نیاز برای استخراج قابل اعتماد ویژگی ارائه شده است (Zitova and Flusser 2003؛ Tuytelaars and Mikolajczyk 2008) ، از جمله تکرارپذیری ، عدم تغییر ، استحکام و کارایی.
Early image features are annotated manually, which are still used in some low-quality image matching. With the development of computer vision and the requirement for auto-matching approaches, many feature detection methods have been introduced to extract stable and distinct features from images.
Detected features represent specific semantic structures in an image or the real world and can be divided into corner feature (Moravec 1977; Harris et al. 1988; Smith and Brady 1997; Rosten and Drummond 2006; Rublee et al. 2011), blob feature (Lowe 2004; Bay et al. 2006; Agrawal et al. 2008; Yi et al. 2016), line/edge (Harris et al. 1988; Smith and Brady 1997; Canny 1987; Perona and Malik 1990), and morphological region feature (Matas et al. 2004; Mikolajczyk et al.2005). However, the most popular features that are used for matching are the points (a.k.a. keypoints or interest points).The points are easy to extract and define with a simplified form compared with the line and region features, which can be roughly classified into corner and blob.
A good interest point must be easy to find and ideally fast to compute, as an interest point at a good location is crucial for further feature description and matching. To promote (i) matchability, (ii) the capability for subsequent applications, and (iii) matching efficiency and reduction of storage requirements, many required properties have been proposed for reliable feature extraction (Zitova and Flusser 2003; Tuytelaars and Mikolajczyk 2008), including repeatability, invariance, robustness and efficiency.
