image segmentation

Question

سلام. در مورد semantic segmentation and instance segmentation کسی میتونه یه توضیح مختصر بده؟ ورودی خروجی های شبکه برای زمانی که چندتا جسم داریم چیه؟ توتوریال خوب برای کراس و تنسورفلو هم اگه معرفی کنید ممنون میشم. سورس مناسبی پیدا نکردم

Comments

آیا مثل object detection پکیج های ترین شده مثل yolo هست یا خیر؟

Answer 1

سلام
به طور خلاصه اینطوری میشه:

برای Semantic Segmentation ما می خوایم برای هر پیکسل یه برچسب بزنیم که این پیکسل مربوط به کدوم کلاس (مثلا سگ، گربه و ...) هست. نکته مهم اینجا اینطوری که فرض کنید یه گله گوسفند خیلی فشرده کنار هم وایسادن، توی این حالت مثلا کل پیکسل های اون قسمت رو به عنوان گوسفند برچسب میزنیم و فرقی بین خوده گوسفندا نیست

اما توی Instance Segmentation که قبلا بهش Simultaneously Segmentation and Detection می گفتن، مساله سخت تر میشه و باید بین خوده اشیا مختلف هم تفاوت قائل شد. توی مثال گله گوسفند، اینجا نه تنها باید مثل Semantic Segmentation هر پیکسل رو برچسب بزنید که از کدوم کلاسه، بلکه باید بین خوده گوسفندهای مختلف هم تفاوت قائل بشید
یه جوری Instance Segmentation ترکیب Object Detection و Semantic Segmentation ه

توی تصویر پایین تفاوت Semantic Segmentation با Instance Segmentation نشون داده شده

ورودی خروجی هم بسته به ساختارتون می تونه متفاوت باشه اما توی مدلهای FCN مثلا، ورودی تصویره و خروجی هم تصویر سگمنت شده است. که توی این حالت برای هر پیکسل یه softmax (که به تعداد کلاسها خروجی داره) می ذاریم
برای Instance Segmentation بحث متفاوته و گسترده تره(معمولا شبکه چندتا خروجی داره) و بهتره که یکی از مقالات رو بخونید

تا جایی که من اطلاع دارم فعلا یکی از بهترین مدلهای فعلی در زمینه Instance Segmentation، مدل Mask RCNN ه که در حقیقت یه فریم ورک اومدن معرفی کردن. حتما توصیه می کنم مقالش رو بخونید. لینک سورس کدها رو هم در ادامه گذاشتم

https://arxiv.org/abs/1703.06870

برای خوده Semantic Segmentation خالص هم می تونید این مقالات رو برای شروع ببینید:

FCN
> https://arxiv.org/abs/1605.06211

SegNet (ایده Bayesian SegNet هم جالبه)
> https://arxiv.org/abs/1511.00561

ِDeepLab
> https://arxiv.org/abs/1606.00915

CRF as RNN
> https://arxiv.org/pdf/1502.03240.pdf

اینا ایده های به نسبت پرطرفدار تقریبا یکی دو سال اخیر هستن، اما کلی ایده ترکیبی مثلا با Adversial Netها، یا روشهای NCE یا با attention و این چیزا هم ارائه شده که دیگه اگه دنبال کنید کارا رو به اونها هم بر می خورید

کدهای خیلی زیادی هم برای این مدلها توی tensorflow (و طبیعتا Keras) هست:

https://github.com/aurora95/Keras-FCN

https://github.com/imlab-uiip/keras-segnet

https://github.com/CharlesShang/FastMaskRCNN

....