طراحی مدل برای کار با ورودی از جنس تصویر با بیش از سه باند

Question

سلام
میخواستم به شبکه عصبی مثلا segnet که ورودی ان میتواند یه تصویر RGB باشد یه ورودی با شش باند بدهم یعنی RGBHSI
آیا این کار امکان پذیر است؟ چگونه میتوان این کار را کرد؟ ایده ای که به ذهنم رسیده قطعه کد زیر است که به فرض صحیح بودن ورودی میشود تصاویری با عمق 6
غیر از این راهی وجوددارد تا در همان ابتدا پایگاه داده LMDB را با توجه به چیزی که بیان کردم درست کرد شامل تصاویری با عمق 6? چگونه؟

layer {  name: "RGB"
 type: "Data"
  top: "data1"
  include {
phase: TRAIN  }
   data_param {source: "G:/RGB_train_lmdb"
batch_size: 64
backend: LMDB  }
layer {
  name: "HSI"
  type: "Data"
  top: "data2"
 include {
phase: TRAIN  }
  data_param {
source: "G:/HSI_train_lmdb"
batch_size: 64
backend: LMDB
  }layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data1"
  bottom: "data2"
  top: "conv1"
  param {
lr_mult: 1

}
  param {
lr_mult: 2

  }
  convolution_param {
num_output: 20

kernel_size: 5

stride: 1

weight_filler {

  type: "xavier"}
bias_filler {

  type: "constant"    }  }}

Answer 1

سلام

اگه درست خاطرم مونده باشه نباید مشکلی با تبدیل عکس به Lmdb داشته باشید .
ورودی شما میتونه هرچندتا کانال بخواد داشته باشه مشکلی نیست و مثل معمول میتونید شبکه رو پیکربندی کنید و ترین و اموزش بدید.
ولی میتونید از کانولوشن 3 بعدی هم استفاده کنید ولی اون سربار بسیار زیادی داره و شاید ذدر نتیجه نهایی هم تفاوت خیلی زیادی نکنه

آپدیت :
اگه تعداد تصاویر شما یکسان هست میتونید دوتا Lmdb جداگانه بسازید بعد در لایه اول یه concat بزارید و ورودی ها رو با هم merge کنید و بدید به ادامه شبکه :

layer {
  name: "concat"
  bottom: "data1"
  bottom: "data2"
  top: "HSI_RGB"
  type: "Concat"
  concat_param {
    axis: 1
  }
}

Comments

سلام
ممنون بابت توضیحتون... عکسهای با سه کانال رو میتونم به LMDB تبدیل کنم و مثالش هست اما نمیدونم چه طور دو تصویر RGB و HSI رو روی هم بگذارم و بشه یه ماتریس به عمق 6 و اونوقت از اون LMDB رو ساخت؟
واسه همین به یه شکل دیگه به مساله نگاه کردم یعنی یه LMDB از تصاویر RGB ساختم و یه LMDB از تصاویر HSI و خواستم مثل کدی که ارائه دادم اونها رو به ورودی شبکه اعمال کنم.کار درستی انجام دادم؟

---

سلام . توضیح دادم . از لایه concat در ابتدای شبکه استفاده کنید(بعد از لایه های data و قبل از هر لایه دیگه ای مثل conv و...) وبعد  HSI_RGB یا هر اسمی خودتون روش میزارید رو بدید به بقیه شبکه.

---

خیلی خیلی ممنونم پاسخ بسیار ارزشمندی بود

---

سلام. خواهش میکنم.