孫中山紀念館的館址「甘棠第」於1914年建成，原為香港殷商何東胞弟何甘棠的住宅，樓高四層。整座大樓的建築屬英皇愛德華時期的古典風格，弧形陽台有希臘式巨柱承托。內部裝修瑰麗堂皇，色彩斑斕的玻璃窗、陽台牆身的瓷磚，以及柚木樓梯的欄杆至今依然保存良好，是香港現存有數的二十世紀初建築物。

甘棠第不單在外觀上美輪美奐，亦是香港其中一座最早以鋼筋構建，並有供電線路舖設的私人住宅，堪稱香港建築史上的里程碑。