虽然史书上并没有明确记载隋炀帝杨广的女儿究竟有多少个，不过从各处零散的史料可以得知，杨广唯一明确有封号的女儿是长女南阳公主，而在杨广被弑后跟随嫡母萧皇后去了突厥的至少有3个女儿，杨广下江都前留在长安的又有数女，其中一位因为唐太宗生育了皇子得以在史书中留下记载。
而唐太宗李世民后宫中的这位杨妃，史书中对其的记载只有一句话：“恪母，隋炀帝女也。”可见杨妃虽然名义上为隋炀帝女，看似出身高贵，然而连生母为谁、排行第几、封号为何都不知晓。杨妃没有公主封号，说明没有受过正式册封——隋炀帝登基后便去了洛阳，即使是册立太子也不过是下诏遣使回长安，更不用说还会特意记得要去册封一个留在长安的公主了。也由此可知杨妃的生母身份较低，且并不得宠，只是一名普通后宫。
而且根据岑仲勉先生的统计，杨广在位的14年里，累计下来在长安待的时间不足一年，绝大部分时间不是在巡幸的路上就是在准备巡幸，所以想来杨公主若是受宠的话，理应同其长姐南阳公主一样，陪伴在隋炀帝身侧远离长安才是。可事实却恰恰相反，依据李恪生于武德二年的情况来看，杨公主应当是武德元年便入了宫。换言之，李渊在长安甫一登基，杨公主便就此成了唐太宗后院的一员，很显然这位杨公主说起来也是隋炀帝的女儿，却根本得不到父亲的重视和宠爱，所以才会被遗忘在长安，被新建立的李唐王朝顺手接收。
更何况李渊与杨广的母亲都是独孤氏，还是亲姐妹，独孤皇后曾对李渊颇为照拂；李渊建立的唐朝至少在名义上是从隋恭帝手上禅让过来的，结果李渊就这样将他表弟遗忘在长安的女儿丢给了自己的儿子做妾。李渊若还算看重这位与自己多少有点血缘关系的前朝公主的话，怎么说也要将其嫁做正妻而不是小妾——无论是嫁给皇子还是大臣。而且就算是做妾，也该塞给李建成，而不是塞给当时看起来与皇位无缘的李世民。毕竟人家李建成好歹在武德八年前还是储君的身份，若无意外的话，这位杨公主就是给李建成做妾，以后怎么说也能混个正二品的皇帝嫔妃当当，而给亲王做妾，日后最多也只不过是个正五品的孺人。
而且根据杨广死于义宁二年三月（618年），李恪却在李唐武德二年（619年）就出生了的情况来看，杨公主很明显是在守孝期间怀的孕，竟然连为亲生父亲守满27个月的孝都做不到。由此可见这位所谓的“隋炀帝女”在李唐王朝的眼中究竟是个什么样的存在了，更别说还能得到怎样的礼遇了，若杨公主的身份还算尊贵，又怎会如此被人随意地打发，甚至连为父亲守个孝的机会都没有呢？
再看她在后宫中的封号。唐朝贞观年间的四夫人封号以贵淑德贤为序，韦贵妃的封号是非常明确的。另有一位生育了十三皇子李福的杨贵妃，贵妃的封号应该是死后追封，可见其生前也是正一品的妃位，很有可能封号便是淑妃。而燕德妃是由贤妃升为德妃的，原因是阴德妃之子李佑谋反被诛，阴德妃也由此被降为了嫔。还有一位郑贤妃，应当是燕贤妃升为德妃后随之晋位的。所以虽然可以肯定杨妃是正一品的妃位，但由于其生卒年不详，也无从推断出这位杨妃确切的封号了。所以更有可能的是，这位杨妃早在武德末年或贞观初年便过世了，而“妃”的称号是死后追封。这样一来，杨妃的具体封号不详、墓葬不明的情况也便很好解释了。
杨妃于武德二年生吴王李恪，武德八年生蜀王李愔——武德年间的皇子皇孙都是按例一岁时册封，而武德8年时，李世民的儿子中只有第五子李祐受封，所以第六子李愔最早也是武德8年才出生。杨妃没有女儿，因为唐太宗21位公主中只要生母身份较高的，史书或墓志铭均有记载，只有15位公主因生母出身卑微而不见载。
而杨妃两子李恪与李愔，在唐太宗14个儿子中的待遇堪称是最差的。李恪最晚贞观7年就之藩了，是唐太宗诸子中最早之藩的一位。贞观11年的时候，李恪不过是因为打猎时踩坏了庄稼，就由都督降为刺史，还被削户300（当时亲王实封只有800户）。后来李恪又因为和乳母的儿子赌博，再次被罢官加削户300，自此一直到贞观23年共12年的时间里，李恪再也没有官复原职过。这样的待遇除了李恪，也就只有他那个被唐太宗斥为“不如禽兽铁石”的胞弟李愔同样享有了，而其他犯过远比踩庄稼更严重错误的皇子们，却从来没有遭受过如此严厉的惩罚。
至于李愔，虽然贞观10年就之藩了，但是直到贞观13年，李愔才得到了亲王应有的800户食邑，比其他一同之藩的皇子整整迟了3年。又因为李愔在封地上屡屡胡作非为，唐太宗曾十分厌恶地说：“就算是禽兽，只要好好驯服还能让其听命于人；就算是铁石，只要好好炼制也能做成可用之物，只有像李愔这样的人，连禽兽和铁石都不如！”当即便削去了李愔一半的封地食邑和蜀王府中的官员，又将他贬为虢州刺史。
所以别的皇子都是都督，唯独李恪、李愔两人是刺史；别的皇子都是实封800户，唯独李恪与李愔一个被削户300一个被削户400，可见李恪、李愔兄弟二人在唐太宗所有的儿子中待遇就是垫底的。