استخراج ویژگی از دیتاست در فریم ورک کراس

Question

سلام
من یک دیتا بزرگ دارم به صورت سطری هست 1x12,000,000 ، حالا من میخوام که یه برنامه با استفاده از Keras یا tensorflow بنویسم ;که این بیاد این دیتا رو به 120 تا دسته تقسیم بندی کنه، مثلا 120 تا دسته 100,000 تایی، و یک تعداد feature مثل mean, kertosis, std, skewness,.. رو برای هر دسته حساب کنه.

لطف میکنید اگر راهنمایی کنید که چیکار باید انجام بدم
ممنونم

Comments

ممکنه یک نفر یک راهنمایی اولیه بهم بده
ممنونم

---

سلام
شما یک میلیون و دویست هزار سطر دارید که میخوایید 120 دسته از اون جدا کنید.
منظور شما اینه که یک روش unsupervised برای اینکار میخوایید یا اینکه نه همینطوری بصورت رندوم 100 هزار تا جدا بشه تحت عنوان یک دسته و 100 هزارتا سطر بعدی بعنوان دسته دوم و همینطور الی آخر؟

---

بله داده ها به صورت رندوم انتخاب بشن، ببخشید در مورد این روش unsupervised که گفتید یه کم اشاره میکنید که منظورتون در مورد این دیتاها به چه صورت میشه؟؟
ممنونم

---

سلام . خب این کاری نداره! فقط یک حلقه میخواد که هر 100 هزار ایتم رو جدا کنه و یک شماره به هر کدوم اختصاص بده بعنوان یک کلاس و بعد هم در یک فایل وارد کنه . من در بخش اموزش ساخت دیتاست برای کفی یک اسکریپت انتهای اموزش نوشتم اونو ببینید تا ایده بگیرید .
روش unsupervised هم مثل روشهای supervised یکی از شاخه های یادگیری ماشین هستن. الگوریتم های مختلفی هم دارن که لازمه اش دونستن روشهاس. باید تحقیق کنید تا بدونید با چی قرار کار کنید من همینطور یک روش بگم کار پیش نمیره .

---

ببخشید لطف میکنید اگر چند خط از برنامه ای که می فرماین رو اینجا بزارین،

---

سلام . کد اینجاست انتهای اموزش :
http://deeplearning.ir/آموزش-نحوه-تبدیل-یا-ایجاد-یک-دیتاست-ازت/

---

سلام
ببخشید من الان در مرحله اول فقط میخوام که این دیتای (یک ماتریس که یک سطر و 12000000 ستون) من رو به 120 تا کلاس 100000تایی تقسیم کنه و بعد از هرکدام fft بگیره، من اون مطلبی هم که شما فرمودید خوندم ولی سوال من فرق داره، خواهش میکنم اگر چند خط از همین برنامه رو همینجا بزارید .
سپاسگزارم

---

اگر ممکنه یک پیج معرفی کنید که سوالم رو اونجا بپرسم

ممنونم

---

سلام
ببخشید من این چند روزه سرم بشدت شلوغ شده و زیاد وقت نمیتونم بزارم (درگیر مقاله و پروژه ام هستم)
برای سوالها میتونید تو گروه تلگرام بپرسید کسی تو حوزه ای که نیاز به کمک دارید کا رکرده یا نه اگر اره راهنماییتون کنن (بصورت خصوصی)‌
در مورد سوال اولتون والله خیلی گنگه اطلاعات. رو چه حسابی ۱۲۰ کلاس باید جدا بشه همینطور الله بختکی؟‌ اون ستونها چی هستن اصلا ؟ من اون سوال شما در مورد FFT‌گرفتن از دیتا در کراس و... رو دیدم .
منظور شما از FFT همون Fast fourier transform‌هست ؟‌ این تابع اش تو متلب هم هست. تو پایتون هم هست . تو تنسورفلو هم هست که از هرکدوم بخوایید میشه استفاده کرد .
مثلا تو تنسورفلو اینجا رو ببینید :‌https://www.tensorflow.org/api_docs/python/tf/fft

---

اسم لینک تلگرام چی هست؟

---

از بخش منابع یادگیری سایت میتونید لینک گروه تلگرام رو پیدا کنید و عضو بشید

---

لینکی که هست فقط اخبار مربوط به دیپ لرنینگ منتشر میشه، به صورت پرسش و پاسخ نیست

---

تو همون چنل ما اخرین لینک عضویت گروه رو بروز میکنیم! یکم با دقت ببینید لینک عضویت گروه رو میبنیید.

---

ببخشید گروه تلگرام بعید میدونم جواب بدن، همینجا یکبار دیگه اون چیزی رو که میخوام یکبار دیگه میگم:
داده های ماتریس من time series هست یعنی طی یک بازه زمانی مشخص یک سری دیتا گرفته شده و حالا من میخوام این ماتریس رو به تصویر تبدیل کنم چون خیلی ماتریس خیلی بزرگ هست میخوام این رو batch بندی کنم و بعد هر batch، رو به تصویر تبدیل کنم(با fft گرفتن از هر batch). من الان همون قسمت اول که دسته بندی کردن دیتا هست مشکل دارم، این قسمت رو راهنمایی بفرمایید ممنون میشم