此外，在《方舆胜览》中还介绍了这则小故事源自“杨祐甫十事”，十件事情中有两件与李白有着密切的关系，那就是“四曰宝砚磨针二溪，五曰太白书台，有石刻太白留题，云:‘夜来月下卧醒，花影零乱，满人襟袖，疑如濯魄于冰壶也。’。”这些文字说明在南宋时已经有了关于李白刻苦学习的民间故事，虽然李白在其《上安州裴长史书》中的确提到过年轻时的学习历程:“五岁诵六甲，十岁观百家。轩辕以来，颇得闻矣。常横经籍书，制作不倦，迄于今三十春矣”，但象耳山、磨针溪等都位于四川省眉山市彭山区，距离李白少年时生活的四川绵阳的江油市还是有一点距离的，如果民间传说都能当真的话，那江油人民应该更是有一堆关于李白的民间故事了。
李白对自己的家世讳莫如深，只提远祖，讳言近亲，闪烁其辞，肯定有难言之隐，因出身的“政治问题”不能参加科举，对于自比管仲的李白，大鹏之志，而又不能入仕，这是李白内心矛盾和痛苦之源，李白的仕途如《蜀道难》“蜀道之难，难于上青天!”
世人盛赞李白“绣口一吐，就是半个盛唐”，但对于自己的身世，李白却一直讳莫如深。关于李白的祖族和家世问题，学界说法颇多，但根据《新唐书》中的相关史料记载，李白极有可能是兴圣皇帝李暠的九世孙，与李唐诸王同宗，但又与李唐皇室这一支有着不可调和的矛盾，故而李白祖上被迫流亡西域，在异国他乡隐姓埋名。
李白给唐太宗的曾孙吴王李祗写过三首诗，名为《寄上吴王三首》，自称“小子忝枝叶，亦攀丹桂丛”，意思他也是老李家大树上的枝杈。在与李唐王室中的一些不太重要的人物交往时，理直气壮地称他们为族叔、族兄、族弟、族侄等等。
