1867年——1871年 余荫山房建成；

1871年——1950年 邬氏家族私家园林；

1950年——1981年 番禺第五区公所、南村乡政府、南村公社管理委员会、南村公社革命委员会、南村镇政府办公用地。其中1950——1952年善言邬公祠用作贲南中学、番禺二中校址；

1982——2000年 由番禺县旅游公司管理；

1982年7月13日 市文管会举行恢复活动后第一次全会，讨论了包括余荫山房在内的第二批市级文物保护单位名单；

1983年8月13日 市政府公布余荫山房为广州市第二批文物保护单位（包括善言邬公祠和瑜园）；

1985年2月28日 余荫山房重修竣工开放；

1989年6月29日 省政府公布余荫山房为省文物保护单位；

1990年 国家建设部、国家文物局、中国建筑学会核定公布余荫山房为全国近代优秀建筑单位；

1999年6月 番禺市宣传部、番禺教育局定余荫山房为青少年德育教育基地；

2001年6月25日 国务院公布余荫山房为全国重点文物保护单位；

2001年6月 由番禺旅游局接管；

2004年7月 余荫山房维修保护工程竣工；

2004年12月 文昌苑奠基；

2005年5月 被广州市委、市政府评为广州市爱国主义教育基地；

2006年10月1日 文昌苑落成对外开放。