প্রায় চারশ বছর আগে জমিদার মুরারিদেব ঘোষাল ভট্টাচার্য লালমনিরহাট জেলার কালীগঞ্জে তুষভান্ডার জমিদারবাড়ি প্রতিষ্ঠা করেন। কথিত আছে 1634 খ্রিস্টাব্দে মহারাজা প্রাণ নারায়ণের রাজত্বকালে মুরারিদেব ঘোষাল ভট্টাচার্য চব্বিশ পরগনা জেলা থেকে রসিক রায় বিগ্রহ নামে একটি ধর্মীয় বিষয় নিয়ে কোচবিহারে আসেন। সেকালে ধর্মীয় উদ্দেশ্যে জমি দান করা হতো। মহারাজা প্রাণ নারায়ণ ঘোষাল মূর্তি পূজার জন্য ভট্টাচার্যকে 9টি মৌজা দান করেছিলেন। কিন্তু ঘোষাল ভট্টাচার্য একজন ব্রাহ্মণ ছিলেন তাই তিনি মহারাজার দানের ব্যাপারে আপত্তি জানান এবং তিনি রাজার কাছে সেই সম্পত্তির খাজনা নেওয়ার প্রস্তাব করেন। কিন্তু রাজা চাঁদা হিসেবে ধানের তুষ নেওয়ার দাবি জানান। ফলে সমগ্র জমিদারি এলাকা থেকে ধানের তুষ সংগ্রহ করে কোচবিহারের রাজাকে দেওয়ার জন্য জমিদার বাড়ির পূর্ব দিকে রাখা হয়। এ ঘটনা থেকে এই জমিদার বাড়িটি তুষভান্ডার জমিদার বাড়ি নামে পরিচিতি পায়।
এই জমিদার বংশের আরেক জমিদার কালী প্রসাদ রায় চৌধুরীর নামে কালীগঞ্জ উপজেলার নামকরণ করা হয়েছে। 1935 সালে প্রতিষ্ঠিত হওয়ার প্রায় চারশ বছর পর, জমিদার গিরীন্দ্র মোহন রায় চৌধুরীর মৃত্যুর মাধ্যমে তুষভান্ডার জমিদার বাড়ির ঐতিহাসিক রাজত্বের অবসান ঘটে।
CholoZai