سلام
در مورد شباهت autoencoder ها و الگوریتم pca (در حالت ساده و معمولی که استفاده میشه)، یه قضیه ساده هست که خودتون هم اگه روابطشون رو بنویسید می بینید اینه که اگه شما یه autoencoder یک لایه داشته باشید که تابع فعال سازی هم linear باشه و به علاوه از تابع هزینه mean squared استفاده کنید و این شبکه رو آموزش بدید، به جواب pca می رسید
البته این نکته رو توجه داشته باشید که ماتریسی که از الگوریتم pca بدست میارید با ماتریسی که از لایه مخفی این autoencoder یک لایه بدست میارید ممکنه متفاوت باشه، اما فضایی که دو تا ماتریس مشخص میکنن (spanned space) یکیه
به عبارت دیگه autoencoder ها در یک حالت خاص تبدیل به pca میشن. برای یه بحث کوچیک و اشاره به مراجع دیگه، قسمت
Relationship between PCA and Autoencoders رو از توی این مقاله ببینید:
http://tylermd.com/pdf/pca_ae.pdf
فقط این نکته رو توجه داشته باشید که ما انواع الگوریتم های pca رو داریم از جمله kernel pca که می تونید یه کاهش بعد غیرخطی داشته باشید، که در این حالت هم میشه رابطه ای بین autoencoderهای غیرخطی و نوعهای دیگه pca از جمله kernel pca پیدا کرد اما مثل حالت خطی، سرراست نیستن