شکل 1. سمت چپ: LoFTR [39] تطابق خوبی بین تصاویر تحت تغییرات نور و تغییرات کم دیدگاه پیدا می کند، اما عملکرد به طور کامل تحت تغییرات چرخش زیاد بدتر می شود. راست: مدل ما SE2-LoFTR-4⋆، که با ایجاد معادل چرخش ستون فقرات LoFTR CNN به دست می‌آید، هم در موقعیت‌هایی که LoFTR اصلی انجام می‌دهد و هم تحت تغییرات چرخش بزرگ، عملکرد خوبی دارد. جفت های تصویر از دو توالی روشنایی HPatches هستند، سه جفت پایینی به ترتیب با چرخش های درون صفحه ای 45 درجه، 20 درجه و 45 درجه به دست می آیند د. تطبیق ها با خطای نگاشت زیر 10 پیکسل سبز و بقیه قرمز هستند.

هدف این مقاله نشان دادن این است که تطبیق ویژگی پیشرفته (LoFTR) را می توان با جایگزین کردن ستون فقرات CNN با یک CNN قابل هدایت که معادل تبدیل ها و چرخش های تصویر است، در برابر چرخش مستحکم تر کرد. به طور تجربی نشان داده شده است که این بهبود بدون کاهش عملکرد تطبیق در روشنایی معمولی و تغییر دیدگاه به دست می آید.

1. مقدمه
   یافتن نقاط متناظر در میان تصاویر یک بلوک اساسی در بسیاری از وظایف بینایی کامپیوتری از جمله ساختار از حرکت، تخمین حرکت و مکان‌یابی بصری است [20، 41]. روش‌های دست ساز برای مدت طولانی در این زمینه تسلط داشته‌اند، اما اکنون شاهد پیشرفت‌های عمده با روش‌های مبتنی بر یادگیری هستیم که باعث می‌شود تطبیق تصویر علی‌رغم تغییرات شدید روشنایی عمل کند.

توصیفگرهای کلاسیک معمولاً نسبت به چرخش مقاوم هستند. در عصر یادگیری عمیق، توصیفگرهای ماومچرخش مورد تحقیق قرار گرفته‌اند، اما استخراج‌کننده‌های ویژگی‌های پیشرفته معمولاً برای توصیف نقطه کلیدی (یا متراکم) به CNN‌های معمولی متکی هستند، که به این معنی است که توصیف‌گرهای به‌دست‌آمده مقاوم نسبت به چرخش نیستند. در این مقاله نشان می‌دهیم که ویژگی‌های مقاوم نسبت به چرخش را می‌توان به راحتی با استفاده از CNN‌های قابل هدایت برای استخراج ویژگی به دست آورد و نتایج تجربی ما نشان می‌دهد که در حالی که این منجر به تطبیق بهتر تصاویر چرخانده می‌شود، تطابق تصاویر غیر چرخانده را بدتر نمی‌کند.

ما از LoFTR به عنوان معماری پایه استفاده می کنیم و تطبیق گسترده ای را روی HPatches و نسخه های هندسی تغییر یافته HPatches انجام می دهیم. سه جایگزین مختلف معادل توسعه یافته و به صورت تجربی با خط پایه مقایسه می‌شوند.