کار توابع تنسورفلو

Question

به نام خدا
با عرض سلام
عذرخواهی می کنم امکان دارد کار تابع ذیل را در تنسورفلو به بنده بگویید.
tf.nn.relu

Answer 1

سلام
این تابع که معمولا به عنوان activation هر نورون در نظر گرفته میشه،یعنی بعد از اینکه هر ورودی در وزن خودش ضرب میشه و همه با هم جمع میشن (به علاوه بایاس) ، این حاصل به این تابع داده میشه تا خروجی نورون حساب بشه
قبلا خیلی از sigmoid استفاده میشده، اما الان تا جایی که امکان داشته باشه بیشتر از خانواده relu استفاده میشه چون گرادیان خوش فرمی دارن و مثل sigmoid در دو طرف طیف صفر نمیشن( به دلیل اشباع sigmoid)
تعریفش هم به این صورته :

relu(x) = max(0,x)

![تابع ReLu][1]
[1]: http://cs231n.github.io/assets/nn1/relu.jpeg

برای دیدن انواع مختلف این تابع مثل noisy relu یا leaky relu ، این صفحه ویکیپدیا رو ببینید

https://en.wikipedia.org/wiki/Rectifier_(neural_networks)

Comments

این نکته رو هم بد نیست بدونید که این تابع فقط اینطوری نبوده که چون بهتر از sigmoid هستش استفاده بشه
و در بعضی از شبکه‌ها پایه تئوری داره و در حقیقت تقریب اینه که شما بی نهایت سیگموید رو با شیفت‌های مختلف در فضا با هم جمع کنید که اگه اشتباه نکنم در حالت حدی به تابع softplus می رسید که تابع مشتق پذیر کامل همین ReLu هستش