袁天罡年少家贫，其父袁守懿，曾是隋末起义军中，王世充的部下。其中最为普遍的一种是:袁天罡本是隋文帝杨坚的儿子，母亲是药王孙思邈的师妹，来到皇宫后，因独孤皇后十分强势，杨坚又是有名的“妻管严”，所以，不久，袁天罡的母亲就被独孤害死了，幸亏孙思邈出手援救，袁天罡才逃过一劫。
唐代最著名的相师，中国相术大师。杨氏又唤出武则天的姐姐让袁天罡相，袁天罡称“此女贵而不利夫！”最后由保姆抱出穿着男孩衣裳打扮的武则天，袁天罡一见襁褓中的武则天大为震惊，说她“龙瞳凤颈，极贵验也！”但又遗憾地说：“可惜是个男子，若是女子，当为天下主!历史进程已被他提前言中，袁天罡之
在盛唐时期就曾出现过这样一位道学大师，他不仅精通道学相术，而且对天文、地理、算数、气象都十分精通，堪称“一代妖人”。这位有着传奇人生经历，不啻为中国古代百科全书式的牛人就是袁天罡。出身贫贱，天资聪颖。”艰难困苦，玉汝于成“这句话也是袁天罡早年的人生写照。
