پیش پردازش دیتا ست

Question

سلام
دوستان، کسی از lable-encoder ها در پایتون استفاده کرده و میتونه یک توضیح مختصر در این باره بده
دیتا ست من شامل چند ستون غیر عددی هست و بقیه ستون ها عدد هست ایا با lable-encoder میتونم تمام ان ستون از ویژگی ها را به صورت کد شده در بیارم؟

Answer 1

با سلام
بله با این تابع می تونید البته باید توجه کنید که :
روش های متعددی جهت encodکردن مقادیر ویژگی های از نوع categorical وجود داره. که بسته به نوع داده و الگوریتم یادگیریتون داره.
روش های زیر میشه معرفی کرد:
۱- one-hot encoding اگر ویژگی های غیر عددیتون high cardinality دارن این روش چندان توصیه نمیشه مگر اینکه کاهش ابعاد بدید.همچنین اگر دامنه ی مقادیر ویژگی هاتون هم با مرور زمان زیاد و کم بشه مدیریت ابعاد ویژگی ها سخت خواهد بود. ولی اگر تو محیط آزمایشگاهی کار میکنین این مشکل ساز نیست و البته اینم بگم که روش هایی برای حل این مسائل وجود داره.
2- label encoding به دلیل نداشتن توزیع آماری داده ها ممکنه نتایج یادگیریتون رو تحت تاثیر بذاره
4- transforming function این روش ها از توزیع داده ی آموزشیتون استفاده میکنن بنابراین اگر نیاز به update مدل دارید و داده هاتون stream هستن کمی مشکل زا خواهد بود.
اگر از tensorflowلستفاده می کنید روش های زیر پیشنهاد میشه :
۱- embedding layer
2- hashing code

موفق باشید...

Comments

منظور از cardinality دامنه ی ویژگی های غیر عددیتونه... به عنوان مثال ویژگی جنسیت درجه اش ۲ (زن و مرد) ببینید اگر درجه ی ویژگی هاتون زیاد نیست(مثلا ۲ یا ۳ ) بهترین گزینه one-hotهستش چون جمعا ۹ ویژگی به مجموعه ۴۱ ویژگیتون اضافه میشه،  اما اگر بیشتر از اینه و همچنین اگر از  tensorflow استفاده میکنید  از hashing استفاده کنید و یا مکانیزم  embedding ...
البته چو شما کار اولیه دارید انجام میدید، استفاده از transformation هم مناسبه ... مسئله رو پیچیده نکنید.
با توجه به نوع مسئله تون الگوریتم یادگیری انتخاب میشه چون من دیدی از مسئله تون ندارم نمی تونم نظری بدم در این باره

---

ممنونم از راهنمایی تون

---

https://github.com/siddharth-agrawal/Stacked-Autoencoder
https://github.com/cmgreen۲۱۰/TensorFlowDeepAutoencoder
این دو لینک میتونه بهتون کمک کنه .
خواهش میکنم موفق باشید....