No inscription existed here at the time of the discovery of the Navratna temple, so there is no accurate information about its construction period. However, according to legends, the temple was built around 1664 by a local zamindar named Ramnath Bhaduri. However, some believe that even later, the temple was built sometime between 1704 and 1728 during the period of Murshid Quli Khan, the Nawab of Bengal. [2] কিংবদন্তি অনুসারে, রামনাথ ভাদুরী দিনাজপুরের তৎকালীন রাজা প্রাণনাথের বন্ধু ছিলেন। ভাদুরী তার বন্ধুকে তার রাজ্যের রাজস্ব পরিশোধে একবার সাহায্য করেছিলেন। তারই ফলস্বরূপ প্রাণনাথ দিনাজপুরের কান্তনগর মন্দিরের অদলে সিরাজগঞ্জে এই মন্দিরটি নির্মাণ করে দেন। আবার কেউ কেউ মনে করেন ভাদুরী তার নিজস্ব অর্থ ব্যয় করেই এই মন্দির নির্মাণ করেছিলেন।[৩]