سلام
خیلی ربطی به کاربردی که می خواید داشته باشید نداره اما اگه بخواید از روش backprop استفاده نکنید تا جایی که من می دونم الگوریتم های derivative free optimization اولین چیزیه که به ذهن میاد که انواع الگوریتم ها توی این دسته هستن
مثل الگوریتم های فرا ابتکاری یا meta-heuristic ها، چیزی مثل الگوریتم های simulated annealing یا الگوریتم های تکاملی مثل ژنتیک یا PSO ها
این الگوریتم ها برای فضا هایی که ابعاد پایینه، می تونه نتیجه خوبی بده. اما در ابعاد خیلی بالا (مثل همین شبکه عصبی که از چند هزار تا چند صد میلیون یا حتی چند میلیارد وزن داشته باشه)، معمولا نتایج خیلی بدی می دن و نکته بدتر اینکه خیلی هم کند هستن
برای مطالعه بیشتر در مورد dfo ها این review خوبیه:
http://thales.cheme.cmu.edu/dfo/papers/dfo.pdf
روش بعدی که میشه استفاده کرد، روش های bayesian هست. که نیازی به backprop ندارند و الگوریتم های فوق العاده قدرتمندی هستن. فقط مشکلی که هست اینه که حل کردنشون زمان خیلی زیادی می بره و معمولا هم به طور دقیق قابل حل نیستن و باید از تقریب استفاده کرد. اگه یه زمانی بشه به طور کامل شبکه های bayesian داشت و یادگیری هم در فضای bayesian انجام بشه، به نظر من که یکی از انقلاب های ریاضی رخ داده :) که البته در این زمینه تحقیقات خیلی زیادی در حال انجامه. مثلا می تونید ورکشاپ امسال nips در زمینه bayesian deep learning رو دنبال کنید
http://bayesiandeeplearning.org
یا توی کنفرانس AISTATS و NIPS هم بگردید چیزای خوبی پیدا می کنید. اما واقعا مساله هنوز خیلی بازه.
برای اینکه اطلاعات بیشتری در این زمینه کسب کنید، این اسلایدها خوبه
https://www.cs.cmu.edu/afs/cs/academic/class/15782-f06/slides/bayesian.pdf
این پیاده سازی ساده هم از شبکه هایی با prior های ساده مثل گوسی هست:
http://edwardlib.org/tutorials/bayesian-neural-network
اما نکته خیلی خیلی مهمی که هست اینه که چرا می خواید از backprop استفاده نکنید. از نظر زمانی الگوریتم backprop از O(W) هست، که W تعداد پارامترهای شبکس. یعنی این الگوریتم به صورت خطی با تعداد پارامترها رشد می کنه که خیلی خوبه. از طرف دیگه، حداقل تا جایی که من می دونم، ما هنوز الگوریتم خیلی خوبی نداریم که بتونه توی ابعاد بهینه های خوبی پیدا بکنه، به خصوص توی دسته الگوریتم های فراابتکاری. یعنی توصیه می کنم مگر اینکه می خواید به طور جدی کلا الگوریتم های دسته اول رو پیشرفت بدید، خیلی وقتتون رو در این زمینه تلف نکنید.
بحث روشهای bayesian جداست و من خودم هم یکی از علاقمندان این موضوع هستم، اما هنوزم با حل شدن کاملش فاصله داریم. هم از نظر پایه ریاضیاتی و مباحث الگوریتمی، هم از لحاظ توان محاسباتی
نتیجتا اگه فقط می خواید مسالتون حل بشه که اینجا تشخیص مرد و زن هست، اگه وارد این وادی ها بشید وقت زیادی از دست می دید