چندتا سوال درباره flag های ترین در تنسورفلو

Question

سلام وقت بخیر
دوستان بنظرتون این فلگ ها چی هستند کجا کاربرد دارند رابطه مستقیمی با سیستم دارند . سیستم من core i3 و 1080 و رم 16 . بنظرتون بهترین گزینه برای انتخاب اینها چی میتونه باشه ؟ اینها بنظرم ربطی به پیش پردازش دیتا داره و اینکه شاید input pipeline اینجا رعایت شده باشد .

tf.app.flags.DEFINE_integer('num_clones', 1, 'Number of model clones to deploy.') 
tf.app.flags.DEFINE_boolean('clone_on_cpu', False, 'Use CPUs to deploy clones.')       
tf.app.flags.DEFINE_integer('worker_replicas', 1, 'Number of worker replicas.')    
tf.app.flags.DEFINE_integer('num_readers', 4, 'The number of parallel readers that read data from the dataset.')
tf.app.flags.DEFINE_integer('num_preprocessing_threads', 4, 'The number of threads used to create the batches.')

بعدش میاد مثلا از num_clones اینجوری استفاده میکنه .

batch_queue = slim.prefetch_queue.prefetch_queue(
          [images, labels], capacity=2 * deploy_config.num_clones)

و یا اینکه از num_readers به این صورت :

   with tf.device(deploy_config.inputs_device()):
      provider = slim.dataset_data_provider.DatasetDataProvider(
          dataset,
          num_readers=FLAGS.num_readers,
          common_queue_capacity=20 * FLAGS.batch_size,
          common_queue_min=10 * FLAGS.batch_size)

این common_queue_capacity و common_queue_min چی میتونه باشه ؟

Answer 1

سلام
این فلگ ها برای تنظیمات صف اطلاعات ورودی به مدل هستن که چطوری خونده بشن و چندتا داده توی مموری(صف) نگه داریم و ....
یا مثلا اون num_thread می گه چندتا thread داده ها رو بخونن (مثلا از روی هارد یا هرجای دیگه مثل hdfs)
راسیتش این تنظیمات معمولا برای داده‌های خیلی بزرگ یا کارهای streaming کاربرد داره و برای کاربردهای شخصی و روی یه سیستم، تنظیمات پایه (مثلا num_thread حتی یک باشه تا به تعداد coreهای cpu خوبه) به طور معمول کاربرد خوبی داره و bottleneck تهش به پردازش روی gpu یا انتقال داده محدود میشه
اما توی کاربردهای بزرگ که کلی حجم پردازشی داریم، می خوایم مطمئن بشیم که با تمام حجم ممکنه و سرعت، داده آماده داریم که fed بشه به gpu یا tpu یا هرچی که داریم

در مورد اون دو تا flag آخر در مورد صف (capacity و min)، اولی حجم صف رو نشون میده (مثلا میگیم 3000 تا داده توی هر صف نگه دار) و دومی هم حداقل داده های موجود توی هر صف رو نشون میده (مثلا 500) که می گه از این کمتر توی صف نداشته باشیم و اگه از این کمتر بشه، معمولا پردازش sync میشه تا صف دوباره به یه حداقلی برسه و پردازش ادامه پیدا کنه

این بحثها رو اگه توی distributed tf دنبال کنید خیلی اطلاعات بیشتری بدست میارید، چون توی کارهای بزرگ، این چیزا تاثیر زیادی توی هزینه زمانی و به طبعش انرژی و هزینه مالی و .... داره

Comments

ممنون از شما
ببخشید منظور از صف يا queueچیه ؟
و اینکه میشه یکم در مورد thread بیشتر توضیح دهیدو چه فرقی باcore داره؟