他有名目繁多的家规，如规定每个早上必须早起，统一着军装，扎腰带，由一名副官带队出操。杨森妻妾众多，仅明媒正娶的就有十二位，七妾曾桂枝如花似玉，在舞场上与男同学步入爱河，杨森用绳子把他俩人捆绑在一起，沉入渠河，九妾蔡文娜也因红杏出墙，被乱枪打死在床上，已近九十岁的杨森，依然春情勃发，纳了十几岁的姑娘，作为十二妾。
《红楼梦》是中国古典四大名著之首。“金陵十二钗”是《红楼梦》里太虚幻境“薄命司”里记录的十二个最优秀的女子，分别是林黛玉、薛宝钗、贾元春、贾探春、史湘云、妙玉、贾迎春、贾惜春、王熙凤、贾巧、李纨、秦可卿。
《红楼梦十二金钗图》册，清，费丹旭绘，绢本，设色，每开纵20.3cm，横27.7cm，北京故宫藏。 款署：“辛丑春日为兰汀大兄大人属，晓楼弟费丹旭。”钤“子苕”、“丹旭”等印。鉴藏印钤“苍尗过眼”、“笙鱼秘玩”、“宝琅之华”等。后幅有清袁松等人跋2段。
