霍光是霍去病同父异母的弟弟，霍去病得宠时，霍光就在皇宫之中担任郎官，最后一路做到侍中、光禄大夫。《汉书 霍光金日磾传》:去病死后，光为奉车都尉、光禄大夫，出则奉车，入侍左右，出入禁闼二十余年，小心谨慎，未尝有过，甚见亲信。
霍去病的弟弟霍光，其实他也是卫子夫的嫁妆霍光是霍去病同父异母的弟弟。都说卫子夫的陪嫁是天下最最贵重的陪嫁，没有之一。这个时候，大家说的嫁妆是卫子夫的哥哥卫青和卫子夫的外甥霍去病。霍去病称呼卫子夫为小姨妈。
霍光是霍去病的弟弟，父亲是霍仲孺前141年在平阳侯家里服役，和当时同在平阳侯家里服役的侍女发生关系，生下了霍去病，后来服役结束了，回家又娶妻生下了霍光，直到前121年霍去病打了胜仗，把父亲和霍光接到了长安生活，很是照顾，在汉武帝身边任郎官，郎官为站岗的士兵，很快得到汉武帝提拔，侍中，都尉等要职。
