袁天罡年少家贫，其父袁守懿，曾是隋末起义军中，王世充的部下。其中最为普遍的一种是:袁天罡本是隋文帝杨坚的儿子，母亲是药王孙思邈的师妹，来到皇宫后，因独孤皇后十分强势，杨坚又是有名的“妻管严”，所以，不久，袁天罡的母亲就被独孤害死了，幸亏孙思邈出手援救，袁天罡才逃过一劫。
