高阳公主的身平，《新唐书》有“合浦（始封高阳）公主传”，但是记载颇位简略，没有载明生母，可能是到宋时，资料已经散失故。但，上载：“下嫁房玄龄子遗爱，主，帝所爱，故礼异他婿。主负所爱而骄。”另《旧唐书》房遗爱传：“初，主有宠于太宗，故遗爱特承恩遇，与诸主婿礼秩绝异。”从太宗对女儿们的礼遇来看，有五个公主太宗最重视最宠爱，一是襄城公主，非常贤德，太宗命所有公主作为表率学习，死后高宗也十分悲痛，可能她在公主中年纪最长，但是没有载明生母。二是长乐公主，长孙皇后生。三是晋阳公主，也是长孙皇后生。四是新城公主，长孙皇后生。五就是高阳公主了。很可能，高阳公主也是太宗最宠爱的妃子所生，所以和以上公主一样，倍受宠爱，而且往往在礼遇上要超越一般制度。
高阳公主骄横而且品性很不好，在房家，她一直怂恿遗爱和哥哥遗直相争，以至遗直宁愿放弃自己的爵禄让给遗爱，但是太宗没有应允，并且责备了高阳公主，有所疏远。公主与遗爱去打猎，来到了辨机之处，公主很喜欢辨机，于是“具帐其庐，与之乱”。并且赐给了辨机金宝神枕呵大量银钱，又拿两个女子给遗爱享用。后来御史劾盗，发现了辨机的神枕，辨机被杀，公主怨望日增，太宗死了，公主也不伤心。
公主又和和尚智勖、惠弘，道士李晃私通。后来公主诬告房遗直有罪，高宗命长孙无忌查案，结果发现了高阳公主和遗爱的谋反证据（有可能是因为对宫内施用巫蛊之术），结果遗爱被诛，高阳公主赐自尽。高阳公主谋反的时候辨机已经死了，吴王恪似乎不是因为参与谋反而被杀的。
《新唐书・郁林王恪传》上说，李恪有文武才，母亲是隋炀帝的女儿，“地亲位高，中外所向。”太宗立李治为太子，但是李治懦弱，又想立李恪，长孙无忌因为李治是自己的外甥，因而极力反对立恪，太宗也就放弃了。然而长孙无忌却因此相当的敌视李恪。高阳公主谋反，极可能在长孙无忌的授意下，高宗一并诛杀了李恪，原因很明显：“以绝天下望”，然而“海内冤之”。李恪临刑时大呼：“社稷有灵，无忌且族灭！”可见李恪是因为他太得人心而被杀的，并非参与谋反。史书在提及高阳公主谋反事时，从来不提吴王恪。所以到了六年后的显庆五年，高宗又追封他为郁林王，并且立庙。
唐太宗的后宫，有立传的就是文德皇后长孙氏，贤妃徐惠，但是，能够找到的，隋朝公主杨妃肯定是有的，就是吴王恪的生母，按吴王与高阳公主相牵连，很有可能，高阳公主也是这个隋裔杨妃所生。还有一个赵王李福的母亲也称“杨妃”，不知是谁。另有李元吉的王妃杨氏本是太宗的弟媳，被太宗所夺来，十分宠爱，差点立为皇后，后生下曹王李明。很奇怪的是，太宗把李元吉的杨妃所生的李明，作为元吉爵位的继承人，“以曹王明嗣”。同时，也让赵王李福去为李建成嗣，难道李福的母亲杨氏是建成之妻？其他的还有阴妃、王氏、燕妃、韦贵妃，皆无传。至于《大唐情史》里面太宗娶嫂嫂玳姬并生女实在与史无征了。
