鹹丰五年（1855），是时海内多故，起义军四起。诏访文武才兼、胆识出众之士。御史宗稷辰将其与湖南左宗棠，浙江姚承舆，江苏周腾虎、管晏等，因才识过人、关心时务，一同被推荐于朝廷，命各督、抚访察,送京引见。中年建别墅名雁山别墅，筑于桂林南四十里之良丰镇寓所，附设藏书楼为“涵通楼”、“十万卷楼”，藏书多达10万卷，雄称西粤。藏书印有“十万卷楼”、“雁山名里”、“唐氏鉴藏所见”等。