کلنل مک گرگر در سفرنامه خود تحت عنوان سفری به ایالت خراسان از قول دکتر فوربز نیز آورده است:
تاریخ ساخت این قلعه در کتاب دیوان لامع، نوشته محمد رفیع بن عبدالکریم در میانی، سال ۱۱۲۵ هجری شمسی ذکر شده است. وصف این قلعه و موقعیت آن در برخی کتب تاریخی و سفرنامهها مضبوط است، از جمله ریاضی هروی در کتاب عین الوقایع مینویسد:
اسناد و مدارک غیر مکتوب در ارتباط با وقایع مربوط به زمان ساخت یا حوادث تاریخی و طبیعی به وقوع پیوسته در این مجموعه محدود بوده و نیاز به حفاری و بررسیهای بیشتری دارد. تنها کتیبه موجود که بر سطح ساروجی آبانبار قلعه حک شده است، تاریخ ۱۱۸۱ هجری شمسی را نشان میدهد و حاکی از آن است که تعمیراتی توسط استادی به نام ابوسعید جزیکی در اوایل دوره قاجار، در بنا صورت گرفته است. بررسیهای تاریخ محلی منطقه نیز تا حد زیادی با این تاریخها همخوانی دارد و حاکمیت میرزا بقاخان و پس از وی فرزندان و اولادش به ویژه میرزا رفیعخان دوم و میرزا رفیعخان سوم مطالب فوق را تایید میکند.
در بخش شرقی قلعه که ورودی، برجهای نگهبانی، آبانبار و فضاهای دیگر را شامل میشود. به دلیل درصد بالای تخریب در آنها امکان تشخیص دقیق نوع کاربریشان وجود ندارد. به دلیل وجود آثاری از برج و بارو در حد فاصل این بخش با بخش اول، این احتمال وجود دارد که مرحله دوم دفاعی قلعه بوده تا بدین وسیله لایههای دفاعی بخش اصلی قلعه یعنی کهندژ تکمیلتر شود. در گوشه شمال شرقی این قسمت برجی خشتی وجود دارد، با تزیینات چلیپایی یا طرح لوزی که در میان مردم روستا به برج کبوتر خانه شهرت دارد.
قلعه باعظمت و کمنظیر فورگ یا قلعه میرزا رفیعخان که خوشبختانه تا حدود زیادی از گزند حوادث مخرب طبیعی و مصنوعی و دست تطاول زمانه در امان مانده است، همچون نگینی شاهوار در میان آثار تاریخی و مکان های دیدنی استان خراسان جنوبی میدرخشد. این بنا در در زمره ۱۰ قلعه تاریخی مهم کشور و از آثار مهم و قابل توجه ایران است که علاوه بر جایگاه ملی، ظرفیت ثبت در فهرست میراث جهانی یونسکو را دارا است. این اثر تاریخی به شماره ۳۴۵۰ در تاریخ ۱۲/۲۸/ ۱۳۷۹ در فهرست آثار ملی به ثبت رسیده است.