20世紀(jì)初期，楊以德在今南開區(qū)二緯路和二馬路購(gòu)地二十余畝，修建了一所四合院和一座具有中國(guó)古建筑風(fēng)格的園林別墅，園林別墅被人稱之為“楊家花園”。1921年，楊以德將南開二緯路原四合院建筑拆除，重建了一座中西合璧的帶地下室的三層樓房（今南開區(qū)二緯路41號(hào)），花園原地蓋成了戲樓。整所樓房占地1019.6平方米，建筑面積為1575.6平方米。磚木結(jié)構(gòu)，歐式高坡屋頂，紅磚綠頂，有仿古突出的外檐，正門兩側(cè)有愛奧尼克式柱，中間高臺(tái)階，南立面為兩層外柱廊。底層是客廳、餐廳，書房等；二層是臥室及貯藏室；三樓有房屋21間，有寬闊的平臺(tái)。地下室供傭人居住。宅院另有數(shù)間平房及汽車庫(kù)。

解放后，楊以德舊居由北京軍區(qū)廊坊軍分區(qū)接收，原花園部分已改建為居民住宅。該舊居在1976年地震中受損，1983年北京軍區(qū)曾進(jìn)行維修，整個(gè)建筑除地下室在維修時(shí)被隔成13間房屋，作宿舍和辦公用外，其余房屋均保持原有風(fēng)貌。