مضرب صحیح نبودن تعداد رکوردهای آموزش از تعداد رکوردهای minibatch

Question

با سلام،
در دیتابیس mnist تعداد رکوردهای آموزش ۶۰۰۰۰ تاست و اندازه بچ آموزش ۶۴، که حاصل تقسیم شون عدد صحیح نیست. گمان می کنم در هنگام اجرای net.forward یا net.forward_prefilled یا solver.step(n) ٬ وقتی ما به پایان دیتا برسیم خودش دوباره از ابتدای اون شروع میکنه به خوندن به میزان لازم، درسته؟

Comments

سلام .
لطفا از عناوین فارسی و کاملا مشخص برای سوال استفاده کنید و اگر لازم هست معادل انگلیسی رو در پرانتز بیارید.

---

حتما. ممنون از تذکر.

---

عنوان رو لطفا ویرایش کنید.

Answer 1

سلام
این پروسه پشت سر هم تکرار میشه . یعنی تا هرجایی تصاویر از دیتاست خونده شدن در تکرار بعد، تصاویر بعدی خونده میشن. الزاما اینطور نیست که چون دیتاست 60000 تصویر هست و ما بچ 64 داریم دقیقا در بچ اخر فقط تصاویر باقی مونده که تا بحال به شبکه ارائه نشده ، داخل بچ قرار بگیره و به شبکه ارائه بشه. خیر اینطور نیست . در بچ اخر تصاویری که تا بحال به شبکه داده نشده هست + هرچی فضا باقی مونده با تصاویر جدید پر میشه و همه دوباره به شبکه ارائه میشن.
بعبارت دیگه شما در این حالت ایپاک دقیق ندارید.
البته این قضیه در حالت کلی هیچ مساله ای برای آموزش ایجاد نمیکنه . کار کردن با ایپاک بشما کمک میکنه آمار و اطلاعات بهتری از فرآیند آموزش و میزان تاثیر پارامترهایی که مشخص کردید رو بشما بده و کنترل بیشتر و بهتری روی این فرآیند داشته باشید.

از طرفی در مورد تست این قضیه خیلی مهمه و دقیقا باید بچ با test_iter شما همخونی داشته باشه و ضرب این دوعدد اندازه تست ست شما رو بده .

Comments

بچ آخر مثلا از رکورد ۵۹۹۶۹ شروع میشه اما ۶۴ تا بعدش میشه ۶۰۰۳۲ که بیشتر از تعداد رکوردهای ماست. منظور من این بود که در این حالت کفی ۳۲ تا رو می خونه تا برسه به آخر، و برای پر شدن بچ میره دوباره از اول شروع می کنه و ۳۲ تا می خونه. درسته؟

---

تصاویر اگر shuffle نشن و همه به ترتیب باشن بله. اما در حالت نرمال تصاویر shuffle میشن و دیگه اینطور نیست که الزاما اول تصویر 1 بیاد بعد 2 بیاد بعد n بیاد. ممکنه اول تصویر 12369ام بیاد بعد 59326ام بعد 1 بعد 60000 بعد 2 و الی آخر.