طراحی یک مدل برای پیش بینی و کلاسه بندی

Question

اگر ما مجموعه داده ای داشته باشیم شامل یکسری خصوصیت مثلا:

 time /CO /NO2 /SO2 /O3 /PM10 /PM25 /dayweek /month /day /holiday /AQI
 /pClass /time_24 /.../.../AQI_24 /pClass_24/.../...time_72 /CO_72 /
 AQI_72 /pClass_72

و برداشت هر نمونه در هر ساعت بوده یعنی 24 نمونه برای یک روز
در صورتی که این خصوصیات را سه قسمت فرض کنیم شامل داده های مربوط به امروز داده های مربوط به 24 ساعت بعد و داده های مربوط به 72 ساعت اینده.
مدلی که با lstm برای پیش بینی یا طبقه بندی مربوط به کیفیت هوا AQI یا نوع کلاس اون روز PClass طراحی میکنیم چطوری باید باشه؟

چندلایه بهتره باشه و به عنوان ورودی چه خصوصیاتی را باید به شبکه داد لایه های بعدی چندتایی باشن و برخی پارامترهای کلیدی این مدل ؟
لطفا اگرامکانداره مدل گرافیکی یا نمونه ای معرفی کنید.

Answer 1

تعداد لایه ها و نورون های یک مساله جواب دقیقی ندارد و باید با پارامتر های مختلف تست شود تا بهترین نتیجه بدست آید.
چند نکته کلی:
هر چقدر تعداد پارامتر ها بیشتر باشد نیاز به داده های بیشتری برای آموزش است. مثلا مدلی که 1000 پارامتر برای آموزش (وزن) دارد نمی تواند انتظار داشت با 50 داده آموزش ببیند.
عامل دیگر پیچیدگی مساله است. شبکه های عمیق و شبکه با پارامتر های زیاد برای کشف ویژگی های مناسب و تصویر این ویژگی ها به فضای جواب استفاده میشوند. هدفم از بیان این مطلب این بود: هنگامی که ما ویژگی هایی را ( مانند مثال شما) به صورت دستی استخراج کردیم بخشی از کار را انجام دادیم. در نتیجه شبکه ای بزرگ با قابلیت استخراج ویژگی احتیاج نداریم.
من اگر می خواستم مساله شما را حل کنم ابتدا با شبکه بسیار کوچکی کار را شروع میکردم. یک لایه lstm و شاید 10 یا 20 نورون. دقت کنید این مقادیر لزوما و شاید قطعا بهترین جواب را نمیدهد و باید پارامتر های مختلفی را آزمایش کنید.
پیشنهاد دیگری که دارم استفاده از یک لایه fully connected پیش از لایه lstm است. این لایه امکان تفسیر داده های شما و ساخت ترکیبی از ورودی ها که شاید برای شبکه مناسب تر باشد را میدهد. باز هم عرض میکنم. ممکن است پیشنهاد من اشتباه باشد و وجود این لایه نتایج را بدتر کند.

Comments

ممنون از راهنماییتون

---

آیا قاعده سر انگشتی در رابطه با تعداد داده های آموزش و تعداد بهینه پارامتر های قابل آموزش در LSTM وجود دارد؟

---

خیر.  تنها نکته رعایت قانون Occam's razor است. از ساده ترین مدل شروع کنید و با استفاده از validation مدل مناسب را پیدا کنید.