پیش پردازش دیتا ست

Question

سلام
دوستان، کسی از lable-encoder ها در پایتون استفاده کرده و میتونه یک توضیح مختصر در این باره بده
دیتا ست من شامل چند ستون غیر عددی هست و بقیه ستون ها عدد هست ایا با lable-encoder میتونم تمام ان ستون از ویژگی ها را به صورت کد شده در بیارم؟

Answer 1

با سلام
بله با این تابع می تونید البته باید توجه کنید که :
روش های متعددی جهت encodکردن مقادیر ویژگی های از نوع categorical وجود داره. که بسته به نوع داده و الگوریتم یادگیریتون داره.
روش های زیر میشه معرفی کرد:
۱- one-hot encoding اگر ویژگی های غیر عددیتون high cardinality دارن این روش چندان توصیه نمیشه مگر اینکه کاهش ابعاد بدید.همچنین اگر دامنه ی مقادیر ویژگی هاتون هم با مرور زمان زیاد و کم بشه مدیریت ابعاد ویژگی ها سخت خواهد بود. ولی اگر تو محیط آزمایشگاهی کار میکنین این مشکل ساز نیست و البته اینم بگم که روش هایی برای حل این مسائل وجود داره.
2- label encoding به دلیل نداشتن توزیع آماری داده ها ممکنه نتایج یادگیریتون رو تحت تاثیر بذاره
4- transforming function این روش ها از توزیع داده ی آموزشیتون استفاده میکنن بنابراین اگر نیاز به update مدل دارید و داده هاتون stream هستن کمی مشکل زا خواهد بود.
اگر از tensorflowلستفاده می کنید روش های زیر پیشنهاد میشه :
۱- embedding layer
2- hashing code

موفق باشید...

Comments

ممنون از توضیحتون
دیتا ست من 25192 رکورد و 41 ویژگی داره، که همه عددی هستند و سه ویژگی غیر عددی هست
من transforming function استفاده کردم و همه ی داده هام به صورت عدد در امده
از SAE برای انتخاب ویژگی و کاهش ویژگی میخوام استفاده کنم
ایا این روش برای کد کردن مناسب هست؟(عذر خواهی میکنم اگر سوالات مبتدی هست، چون من پایتون و یادگیری عمیق رو تازه شروع کردم و اطلاعات زیادی در این زمینه ندارم)
ممنون

---

سلام
خواهش میکنم
بستگی به۱- cadrinality ویژگی های غیر عددیتون داره، و۲-  الگوریتم یادگیری که استفاده میکنید. اگر این دو رو پاسخ بدید بهتر می تونم راهنمایی کنم...

---

منظور از cadrinality چی هست؟هنوز الگوریتم یادگیری رو انتخاب نکردم
من  میخوام ، برای شروع کار یک نمونه شبیه سازی انجام بدم و با SAE اشنا بشم فرقی هم نمیکنه از چه الگوریتم یاد گیری استفاده کنم
پیشنهاد شما چی هست؟

---

منظور از cardinality دامنه ی ویژگی های غیر عددیتونه... به عنوان مثال ویژگی جنسیت درجه اش ۲ (زن و مرد) ببینید اگر درجه ی ویژگی هاتون زیاد نیست(مثلا ۲ یا ۳ ) بهترین گزینه one-hotهستش چون جمعا ۹ ویژگی به مجموعه ۴۱ ویژگیتون اضافه میشه،  اما اگر بیشتر از اینه و همچنین اگر از  tensorflow استفاده میکنید  از hashing استفاده کنید و یا مکانیزم  embedding ...
البته چو شما کار اولیه دارید انجام میدید، استفاده از transformation هم مناسبه ... مسئله رو پیچیده نکنید.
با توجه به نوع مسئله تون الگوریتم یادگیری انتخاب میشه چون من دیدی از مسئله تون ندارم نمی تونم نظری بدم در این باره

---

ممنونم از راهنمایی تون

---

https://github.com/siddharth-agrawal/Stacked-Autoencoder
https://github.com/cmgreen۲۱۰/TensorFlowDeepAutoencoder
این دو لینک میتونه بهتون کمک کنه .
خواهش میکنم موفق باشید....