他和一位李姓的姑娘相识并同居，还生下了一个孩子，但是，他与李氏的私自结合，于当时的礼法不合，或许是考虑到两人日后的生活和前途，也是因为当时的政治环境，李氏决定，自己带着孩子，以学道为名，回到故乡桐城，而张孝祥，又另娶了别人。
张孝祥二十三岁，状元及第，三十八岁，便选择退休，随后，溘然长逝。关于张孝祥的死，据《齐东野语》记载，退休之后，张孝祥回到安徽芜湖，这一年的夏天，同年、好友虞允文前来拜访，二人泛舟芜湖，结果，中暑而亡，如此英年早逝，以致于宋孝宗有“用才不尽”之叹。
在宋代，有些科考年份的录取榜单，名家荟萃，被人们称为名榜。比如北宋天圣五年（1027年）的录取人员中，出了好几位宰相级的名臣，例如韩琦、文彦博、王尧臣、吴育、赵概、包拯等，因而本榜被人们称为“宰执榜”。
必须要说的是，张孝祥的词从文字中流露出气势美，人格美和意境美，词品与人品紧密结合，成为佳话。可以说，张孝祥的诗词是时代的声音，具备时代精神，与投降派做斗争，尖锐又不惧锋芒，反映出广大人民群众的心声，极具振奋人心的作用，同时又抒发对伟大祖国的热爱之情。
张孝祥(1132－1169)，字安国，号于湖居士，历阳乌江（今安徽和县）人。南宋著名词人，擅书法。著有《于湖集》。《柴溝帖》纸本，纵33.5厘米，横38.9厘米。上海博物馆藏此帖凡七行，三十八字，其中第二行行首三字已大部残缺。
一部《宋史》，一本《宣城张氏信谱传》，再加上《清波杂志》《齐东野语》《宋会要辑稿》和《建炎以来系年要录》，这六部文献基本上可以帮我们还原他所在时代的轮廓，还原他为官十余年的风雨历程，并凸显他在中国古代诗词发展史上的地位。
江山自雄丽，风露与高寒。寄声月姊，借我玉鉴此中看。幽壑鱼龙悲啸，倒影星辰摇动，海气夜漫漫。入夜时分，他登临山寺，俯瞰波澜壮阔的长江，星河璀璨，尤为壮观，不由得诗兴大发，随手写下这首《水调歌头·金山观月》。
