سگمنت بندی در DNN

Question

عملیات سگمنت بندی در چه مرحله ای از شبکه عصبی عمیق انجام میشه؟
نمیدونم چیزی که میگم درسته یا نه؟ چیزی که من از DNN فهمیدم اینه:
تو مراحل Conv و Pooling در واقع عملیات استخراج ویژگی انجام میشه و تو مرحله آخر Fully Connected در واقع داره کلاسیفایر انجام میشه. حالا سوال من اینه عملیات سگمنت بندی کجا انجام میشه؟ آیا کل پروسه سگمنت بندی محسوب میشه یا نه مثلا تو softmax داره اینکار انجام میشه؟!
من توی مقاله اصلیم و تمام رفرنس هام جایی چیزی راجع به این عملیات پیدا نمیکنم و نمیتونم بفهمم سگمنت بندی کجا انجام میشه؟

Answer 1

اکثر معماری های معروف برای classification معمولا یک مسیر contracting path دارن که همونطور که گفتین از یک سری لایه کانولوشن و غیره تشکیل شدن. ولی برای segmentation باید یک مسیر expanding path هم اضافه بشه که مهمترین لایه در این مسیر deconvolution هست. برای اینکه دقیق ببینین چطور کار میکنه پیشنهاد میکنم این دو مقاله رو ببینین
U-Net: Convolutional Networks for Biomedical Image Segmentation
Fully Convolutional Networks for Semantic Segmentation

Answer 2

در عمل segmentation چالش اصلی رسیدن از لایه کلاسبندی dense به لایه پیکسل soft‌هستش که با روش های مختلفی انجام میشه مانند.
updampling که در FCN استفاده شده
deconvolutionوunpooling که در
Noh, Hyeonwoo, Seunghoon Hong, and Bohyung Han. "Learning deconvolution network for semantic segmentation." Proceedings of the IEEE International Conference on Computer Vision. 2015.
و یا استفاده از ‫‪atros-convolution‬‬ که در مقاله زیر آورده شده
Chen, Liang-Chieh, et al. "Rethinking Atrous Convolution for Semantic Image Segmentation." arXiv preprint arXiv:1706.05587 (2017).