唐朝建立后，李建成和李世民在争夺太子的位置上进行了你死我活的斗争。而当时，有一个非常奇怪的现象：李渊的四个儿子中，李元吉似乎比李建成更着急想杀掉李世民。李元吉是太子党元老中的元老，同时也是李建成的铁杆粉丝。此外，李渊和窦氏共育有四个儿子，除了李建成和李世民之外，还有李元霸和李元吉。
常言道，儿不嫌母丑，反过来也是一样的，母不嫌儿丑。可这条定律在李元吉这里失灵了，李元吉长的太丑了，据说比庞统还要丑几倍，结果亲生母亲也不愿意搭理他。父母虽不愿意爱他，但李元吉自己活的还是比较开心的，因为他有个大自己十四岁的大哥。
在李建成那里，李元吉找到了真正的快乐，不仅有了玩伴，而且还能到真正的关爱。大家可以想想一下，二哥李世民天天想着打仗，三哥李元霸死的又早，只有李建成有大把的时间。正在这样的背景下，李元吉和李建成走到了一起。
上面是原因之一，还有一个重要原因：两人的兄弟之情是经历过生与死的考验的。隋大业十三年(公元617年)五月，李渊在晋阳正式起兵，此时跟随他身边的只有李世民一人，李建成和李元吉都远在河东。为了确保两个儿子的安全，李渊送信李建成，让他带着李元吉逃离河东回晋阳。
李渊起兵的消息传到河东地区，隋朝官员立即派人抓捕两人，李建成只能带着李元吉选择走偏僻的小道回晋阳。要知道河东去晋阳路途遥远，一路上两人翻山越岭，饿了吃野果，渴了冰冷泉水，吃尽了苦头。两人历经磨难之后，终于回到了晋阳，这年李元吉仅15岁。
有了这一段刻骨铭心的经历，李建成在李元吉心中的地位越发崇高，通俗来说就是五个字，“患难见真情”。当李世民声名日盛时，李元吉越发担心起自己的大哥来，“秦王功业日隆，为上所爱，殿下虽为太子，位不安，不早计，还踵受祸矣，请为殿下杀之。太子不忍，元吉数讽不已，许之。于是邀结宫掖，厚赂中书令封德彝，使为游说，帝遂疏秦王，爱太子。”
眼看这三个儿子斗得你死我活，李渊想到了一个“妙计”，让三人居住之地近点，李建成住在东宫，李世民住在西宫的承乾殿，李元吉则住在武德殿的后院。三人的空间距离是近了很多，可心理上的距离越来越大了，最终酿成了“玄武门之变”。