他的先祖因为辅佐大禹治水有功,被封到吕地,所以他们以"吕"为氏。姜子牙故而也叫"吕尚"。但发展到他这一代,家里早就不如往昔了。《战国策·秦五》记载:"太公望,齐之逐夫, 朝歌之废屠"。这话的意思大概就是,姜子牙最初入赘到妻子家中,但因为一直都不会种田、捕鱼等谋生手段,他最终被妻子