在這棟建於1929年的三層樓巴洛克式豪宅裡，是當時的大地主劉員外家族所居，在那個年代，有錢人家裡請上幾個傭人是很稀鬆平常的事情。據傳就是因為員外喜歡上了家中的婢女，日久生情後有了肌膚之親，不幸被女主人發現，只要找到機會就會趁機虐待這位婢女，最後在受不了精神與體膚的折磨下，在屋前投井自盡。自此之後，這個家族就不得安寧，每晚睡覺時，婢女的冤魂總是跑到員外與女主人的床前，在不得已的情況下，劉員外舉家遷居，最後只剩下空屋於此。在往後的歲月裡，每每有人半夜來訪，總是會聽到悽厲的鬼嚎聲，只要靠近過水井的人，在離開劉家古宅後，不是在路上被車撞死，就是發生意外猝死，最輕的也會生場大病，於是民雄鬼屋的名號不脛而走。
不過後來有人考證，認為事實上並不是如此，乃因家族經商緣故，後來搬遷至鬧區，才讓古宅在此荒廢，當國民政府撤退來台後，有國軍暫居此處，因思鄉心切而在此上吊自殺，後來才以訛傳訛，有了鬼屋之說。近年還有生意人動腦筋動到了孤魂野鬼上，在鬼屋旁搭起咖啡廳，讓來此參觀的民眾方便停車，也有地方坐下來休息聊天。
雖然現今劉家古宅的牆壁上被參觀的遊客噴上”南無阿彌陀佛”的字樣，也有小情侶用石頭刻上到此一遊的痕跡，整棟建築也幾乎被大樹所包覆，但主體由紅磚所搭建的外觀還算完整，美麗的陽台與窗戶依舊，只是內裝的樓層都已坍塌，內牆也已幾乎斑剝，不過也因為如此，更顯得歷史建築的淒美。
