سلام 
همه چیز که سر راست هست برای اجرا هم گام های زیر رو باید انجام بدید : 
اجرای fetch_data/fetch_caffe_mex_windows_vs2013_cuda65.m
اجرای faster_rcnn_build.m
و در نهایت اجرای startup.m
برای تست هم فایلهای زیر رو به ترتیب اجرا کنید 
fetch_data/fetch_faster_rcnn_final_model.m
و بعد 
experiments/script_faster_rcnn_demo.m
ضمنا به نیازمندی های سخت افزاری هم که اومده توجه کنید : 
GPU: Titan, Titan Black, Titan X, K20, K40, K80.
Region Proposal Network (RPN)
2GB GPU memory for ZF net
5GB GPU memory for VGG-16 net
Object Detection Network (Fast R-CNN)
3GB GPU memory for ZF net
8GB GPU memory for VGG-16 net
برای نکته آخر هم پیشنهاد من SSD هست که هم جدیدتره و هم دقیقتر.