به بخش پرسش و پاسخ یادگیری عمیق خوش آمدید,
این نسخه آزمایشی سایت است.
لطفا به نکات زیر توجه کنید:
  • برای ارتباط با مدیران میتوانید از صفحه مدیران اقدام کنید.
  • سوال و جواب ها باید به زبان فارسی باشند. استفاده از زبان انگلیسی یا فینگلیش برای پاسخ دادن مجاز نیست.
  • لطفا بعد از پرسش سوال لینک سوال خود را در گرو تلگرام (Iran Deep Learning Group) معرفی کنید تا سریعتر به جواب برسید. برای دسترسی به آخرین لینک از منابع یادگیری استفاده کنید
  • لطفا بجای عکس از متن استفاده کنید. اگر متون طولانی هستند از سایت pastebin.com برای اپلود استفاده کرده و لینک حاصل را در سوال خود قرار دهید. برای قرار دادن تصویر ، از بخش ارسال تصویر ادیتور سایت استفاده کنید.
  • بعد از دریافت پاسخ، بهترین پاسخ را از طریق کلیک بر روی علامت تیک انتخاب کنید
  • اگر با خطا و یا مشکلی مواجه شدید از بخش تماس با ما در انتهای صفحه و یا ایمیل Coderx7@gmail.com موضوع را اطلاع دهید.

با تشکر

دسته بندی ها

+1 امتیاز

با سلام
یک مقاله ای هست که بنده باید پیاده سازی کنم، الان درمرحله Feature selection اون در یک مبحثی به مشکل برخوردم، کاری که در مقاله انجام شده استفاده از یک test measurement مبتنی بر hypothesis testing برای رتبه دهی به featureها استفاده میکنه، تا درنهایت ویژگی هایی که اهمیت کمتری دارند را تشخیص داده و سپس با حذف آن ها، بُعد مساله (تعداد ویژگی ها) را کاهش دهد(مثلا 16هزار تا ویژگی به 5 هزارتا ویژگی مهم، کاهش پیدا کنه).
اومدن گفتند که null hypothsis and alternative را به صورت زیر جهت رتبه دهی featureها طبق محاسبه p-value فرموله کردیم:
enter image description here
حالا اینا اومدن گفتن که از روش mann-whitney rank sum test برای اینکار استفاده کردن. برای این کار داده ها را در قالب جدول زیر تولید میکنند:
enter image description here
که البته منم این داده ها رو تولید کردم و یه عکس ابتدای این داده ها رو قرار میدم:
enter image description here
enter image description here
برای هر فیچر یک Cnv و Cv تشکیل دادند، و بیان کردند که p-value مبتنی بر wilcoxon testبرای هر feature از روی Cnv,Cv محاسبه میشود.
.................................................................
جایی که بنده گیج شدم درمورد همین بخش تولید p-value و اماره و اینکه درنهایت چجوری اون فیچرهای باارزش رو تشخیص میدن و کم ارزشتر رو حذف میکنن
لینک مرتبط با صفحه مقاله:
http://upload.ustmb.ir/uploads/25_171493131653671.zip
enter image description here
.....................................................................
ممنون میشم منو راهنمایی کنید،

توسط (112 امتیاز)
سلام و وقتتون بخیر. می شه لطف کنید و  اصل مقاله یا لینک دانلودش رو بذارید.
متشکرم

1 پاسخ

+1 امتیاز
 
بهترین پاسخ

بسم الله الرحمن الرحیم
به لطف خدا
راهنمایی برخی از دوستان سایت یادگیری ژرف مثل آقا محمد(متاسفانه فایمیلی شونو نمیدونم) و مطالعه سایت های مختلف و ... با احتمال بالای 80% گمون میکنم که نتایجی که الان گرفتم با احتمال بالایی درسته.
مقایسه میانگین یک ویژگی بین دو یا چند گروه به ما کمک میکنه که تفاوت دو جامعه رو تشخیص بدیم، و تشخیص تفاوت دوجامعه از طریق شاخص های اماریشون(مثل میانگین به عنوان شاخص تمرکز ، یا شاخصی های پرداکندگی مثل واریانس ) امکان پذیر هستش، و دست به آزمون بزنیم و تشخیص بدیم دوجامعه متفاوت هستند یا نه.
اگر از میانگین به عنوان شاخص تمرکز برای مقایسه دو جامعه استفاده بکنیم، یه راه حل میتونه این باشه که من از طریق سرشماری، جامعه اماری رو بررسی بکنم، وسپس بعد از انجام بررسی، شاخص های تمرکز یا پراکندگی دوجامعه رو برای تشخیص تفاوتشون مقایسه بکنم، پس توی مرحله ای که ما با استفاده از جامعه آماری و سرشماری کارو انجام میدیم، احتیاجی به آزمون آماری نیست، بلکه فقط شاخصی های تمرکز و پراکندگی تفاوت دوجامعه را به ما نشان میدهد. اما هنگامی که دسترسی به همه جامعه اماری وجود نداره، مجبور به نمونه گیری هستیم، و اگر تشخیص رو فقط باید از روی این نمونه ها انجام بدیم، حتما باید از آزمون های آماری استفاده کنیم،
آزمون آماری شامل آزمون فرض هست، hypothesis test
فرض آماری: حدسی درمورد پارامتر یا پارامترهای جامعه یا حتی توزیع و شکل جامعه است
آزمون اماری انجام استنباط در مورد فرض های آماری هست.
این آزمون شامل دو فرض با دو توصیف مختلف از خصوصیت جامعه اماری هست. فرض h0 و فرضh1
که معمولا در این آزمون ما قصد داریم که فرض h0 رو رد کنیم.
بدین جهت ابتدا باید شاخص های اماری که در اینجا Uوp-valueو Z-scoreو ... هست رو محاسبه کنیم که در زیر تصاویری از توضیخات و محاسبات رو گذاشتم.
ابتدا باید نمونه هایتونو مرتب کنید و رتبه دهی کنید (تو این مثال برای محاسبه رتبه من tie رو هم در نظر گرفتم،tie: مثلا از یک مشاهده بیش از یک عدد داریم، که تو عکس میبینین که مثلا مشاهده 0 در دو نمونه کلا 9 بار تکرار شده، در اینصورت میانگین رو براشون درنظر میگیرم)
سپس مجموع رتبه ها وسپس U رو محاسبه کنید، که تو تصاویر زیر بازم مشخص هست(فرمولش تو ویکی پدیا هست :
en.wikipedia.org/wiki/Mann–Whitney_U_test
پس از اینکه U رو حساب کردید، الان دوتا کار میتونید بکنید، برای اینکه متوجه بشید که فرضh0(در اینجا یعنی مشابه بودن میانگین دو جامعه مطابق با دونمونه) رد میشه یا نه باید، برید سراغ جدول، همونطور که میبنید، Uبرابر 35 محاسبه شده، میریم سراغ جدول(توجه کنید که بستگی داره که دقتی که مورد نظرتون هست چفدر باشه، ما اینجا دقت 0.05 یا همون 95% رو در نظر میگیریم، بنابراین باید مقدار 35 کمتر مساوی مقدار متناظر در جدول باشه تا h0 رد بشه)
n1=15
n2=12
(فرقی نداره از ابتدا کدوم رو n1یا n2 در نظر بگیرین)
enter image description here
میبنیم که مقدار متناظر برابر با 49 هستش، درنتیجه فرض h0 رد میشه و درنتیجه دوجامعه باهم مشابه نیستند، و تفاوت دارند.
راه دومی هم که مورد استفاده قرار میگیره محاسبه z-scoreبرای n>10 هست، در اینصورت میتونیم از فرمول زیر استفاده کینم:
Normal_approximation_and_tie_correction
و بعد از محاسبه z-score اینو با جدول زیر مقایسه میکنیم، که میبینیم که Z-scoreّبرابر با -2.6837 شد، که نزدیک به 2.7 توی جدول هستش، و تقریبی دستی بخوایم بگیم p-valueش یه چیزی بین 0.0030 تا 0.0036 میشه که این مقدار رو باید *2 کرد(جون تو مثال این مقاله از فرض two tailed test استفاده کردیم) بنابراین p-value two tail testما میشه یه چیزی بین 0.0060 تا 0.0072 ، حلا اباید این مقدار رو با درصد اطمینان که همون 0.05 بود مقایسه کنیم، 0.0072<0.05 هست در نتیجه فرض h0 رد میشه و دو نمونه باهم متفاوت هستند یعنی فرض h1 تایید میشه.
enter image description here
enter image description here
enter image description here
enter image description here
enter image description here

جدول :
hypothesistest
لینک آموزش(همین نسخه تریال قسمت اول رو هم ببینید کافیه از سایت فرادرس از آموزش های دکتر ری بد، من خودم نخریدم این آموزشو و فقط همین نسخه تریالشو دیدم)
دانلود

این پی دی اف رو هم تونستین بخونین ، چون راهنمایی وم ثال خوبی داره و میتونه کمکتون کنه:

The Wilcoxon Rank-Sum Test

این لینک رو حتما حتما ببینین:

Mann-Whitney Test for Independent Samples

http://cursa.ihmc.us/rid=1KZ272GND-16S8CF7-351C/Hypothesis%20testing.cmap

..........................................................
من اینجا به صورت کلی توضیح دادم، بهتره هم ویدیو های فوق رو ببینین و هم این سایت ویکی پدیا رو بخونین و هم این مثال رو خودتون انجام بدین.
اینم یکی دوتا سایت انلاین که راهنمایی خوبی دارن، شما داده به عنوان نمونه میدین و اونا جواب رو بهتون برمیگردونن(البته جواباشون یکمی متفاوت هست اون مبخاطر این هست که یکی tie رو هندل نمیکنه)
www.socscistatistics.com
astatsa.com
$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
منابع تکمیلی:critical_values
mann-whitney-test-advanced
AP_Statistics_Curriculum_2007_NonParam_2MedianIndep#Calculations

توسط (112 امتیاز)
ویرایش شده توسط

سلام و وقتتون بخیر. می شه لطف کنید و اصل مقاله یا لینک دانلودش رو بذارید.
متشکرم

...