越過衙府即到達寨城公園八景之一的南門懷古。「九龍寨城」於一八四七年建成，為加強防禦，城牆上築有六個瞭望台；而另一道宛如萬里長城的副城牆，則沿北面山丘向上伸延。但「固若金湯」的石牆，在日治期間被日軍拆毀，石塊供擴建啟德機場之用。

戰後，寨城因缺乏政府監管而淪為罪惡溫床。香港政府在一九九四年四月花了整整一個月，用大鐵鎚的推土方式，清拆寨城內缺乏監管和無穩妥地基的樓宇。當時在南門原址，發掘了分別刻有「南門」及「九龍寨城」的花崗岩石額。此外，城牆殘存的牆基、一條沿內牆建造的排水溝及旁邊的石板街亦先後出土。

昔日南門遺址，今天已列為法定古蹟，遊人除可緬懷過去，亦可從當年遺下的樓宇鋼筋水泥，窺見在「三不管」年代，寨城內三萬多低下階層人士的居住環境。