حل مشکل imbalanced بودن دیتا ست

Question

سلام
دوستان دیتا ستی که من استفاده میکنم Imbalanced هست به این صورت که فراوانی بعضی کلاس ها زیاد و بعضی دیگر خیلی کم مثلا 5 هست؟ ساده ترین راه برای حل این مشکل چیه که دقت کار کلاس بندی پایین نیاد؟

Answer 1

سلام.
روشهای مختلفی یرای رفع imbalanced بودن داده ها پیشنهاد میشه. یکی از روشهای معروفی که معمولا استفاده میشه augmentation هست. که بسایر سادست و اون کلاسی که داده هاش کم هست رو با چرخاندن نویز انداختن و ...روی داده های آن کلاس، داده های جدید به وجود می اورند و تعدادش رو بالا میبرند. لینک زیر رو یه نگاه بندازید.
https://medium.com/towards-data-science/image-augmentation-for-deep-learning-histogram-equalization-a71387f609b2

https://arxiv.org/pdf/1707.09725.pdf#page=94

https://github.com/aleju/imgaug

augmentation techniques such as rotating, flipping and adding different kinds of noise to the data
samples
یه روش هم که من میشناسم پنالتی هست. یعنی به کلاسی که تعداد داده هایش کمتر هست، اگر شبکه آن را اشتباه تشخیص دهد مقدار تابع هزینه را با یک پنالتی جریمه میکنند.
لینک زیر هم چند تا روش گفته که میتونه مقید باشه:
https://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/