袁天罡年少家贫，其父袁守懿，曾是隋末起义军中，王世充的部下。其中最为普遍的一种是:袁天罡本是隋文帝杨坚的儿子，母亲是药王孙思邈的师妹，来到皇宫后，因独孤皇后十分强势，杨坚又是有名的“妻管严”，所以，不久，袁天罡的母亲就被独孤害死了，幸亏孙思邈出手援救，袁天罡才逃过一劫。
关于李淳风和袁天罡谁更厉害一些，是古往今来的一个疑题，传说有一次袁天罡和李淳风跟随唐太宗一起外出游玩，来到了河边，正巧看到两匹马在水边嬉戏，其中一匹马是红色的，另一匹马则是黑色的，看到这个场景，唐太宗就让两位占卜的大师卜一卦，看这两匹马到底谁先下水，袁天罡与李淳风各显身手，袁天罡卜了一挂为离卦。
