পর্তুগীজদের আগমনের পরে এক পর্যায়ে ১৭৬৩ খ্রীস্টাব্দে রাজা বল্লভ সেনের আমলে পাদ্রীশিবপুর অঞ্চলে ৪ জন পর্তুগীজ বনিক আগমন করেন। তাদের নিয়ে আসা হয়েছিল মূলত একটি  মুল্লুকের কর আদায় করার জন্যে। তাদের দেখাশুনা ও আধ্যাত্মিক পরিচর্যাসহ সার্বিক পরিচালনার জন্যই একজন ফাদারকে ১৭৬৪ খ্রীস্টাব্দেপাদ্রীশিবপুরে প্রেরণ করা হয়। তাঁর নাম ফাদার রাফায়েল দ্য আনঞ্জোস। উল্লেখ করা যেতে পারে যে, তখনকার সময় ফাদারগণ পাদ্রী নামেই অধিক পরিচিত ছিলেন। ১৭৬৪ খ্রীস্টাব্দে এই পাদ্রীর আগমন ও এই এলাকার দায়িত্ব তাঁর উপরে ন্যস্ত হবার পরেই এলাকাটির নাম হয় পাদ্রীশিবপুর বা পাদ্রীয়ান তাল্লুক (জমিদারী)। এই সময় থেকেই পাদ্রীগণ পাাদ্রীয়ান তাল্লুকের জমিদারের দায়িত্ব পালন করেন। পাদ্রীদের পক্ষে একাকী জমিদারী চালানো সহজ ছিলনা। তাই স্থাানীয় জনসাধারণের কাছ থেকে তাদের বিশেষ সহযোগিতার আবশ্যকতা ছিল। ফলে অত্র এলাকার অনেকেই প্রত্যক্ষ বা পরোক্ষভাবে পাদ্রীয়ান তাল্লুকের কাজের সাথে সম্পৃক্ত ছিলেন। তার প্রতিফলন দেখা যায় বিভিন্ন বাড়ির নামকরণে যেমন; নায়েব বাড়ি, মোক্তার বাড়ি,পঞ্চায়েত বাড়ি, পন্ডিত বাড়ি, চাপরাশি বাড়ি,পোষ্টমাষ্টার বাড়ি, শিকদার বাড়ি, ইত্যাদি। আবার কিছু কিছু বাড়ির নামকরণ মানুষের পেশা অনুসারেই হয়েছে যেমন; জোলাবাড়ি, ভক্ত বাড়ি, পাঙ্খাওয়ালাবাড়ি, দোকানদার বাড়ি, বার্বুচি বাড়ি, ইত্যাদি ।