可惜的是，半个时辰后，李世民非但没有得到任何好消息，反倒是告急之信频频传来。首先是西门的罗士信，他拍马飞奔到秦王跟前，向他禀报攻城受阻的坏消息，紧接着就是南门的段志玄，最后连齐王李元吉也坚持不住，遣部将宇文宝前往东门求救。这样一来，李世民的所有期望都统统落空，他清楚当前的形势，除非自己能率军攻破东门，否则就无取胜的可能。于是，他猛地一举马槊，准备率军再次冲击城门。
正在这时，秦叔宝、程知节、尉迟敬德和侯君集策马朝李世民飞奔过来，劝阻秦王不可进兵。李世民看见秦叔宝面部受了伤，气就不打一处来，恨不得一槊将王世充挑落马下，剁了他的大脑袋。因此，他不顾众将的劝谏，执意要催兵再战。好在这时，一直呆在李世民身边的杜如晦开口了，他直言不讳地告诉秦王再强攻下去只会遭受更为惨重的损失，决不会取得他想要的结果，为今之计，就是撤军。这一席话真是振聋发聩，把一时执迷的秦王唤醒。默然片刻，他终于接受了杜如晦和秦叔宝等人的建议，决定撤兵。接着，他又令罗士信、段志玄、宇文宝传分别前往各门传令撤军。
命令一下，唐军将士便纷纷掉转头往五里之外的营地撤退。城上的段达、张绩瞧见李世民引兵撤走，得意得仰面哈哈大笑，接着又令士卒齐声辱骂唐军。李世民听了，胸中不由腾地生出股怒火，他勒住马，举槊指向城门，厉声说句段达、张绩你等休得张狂，到时本王一定要斩了你们的狗头，取下东都，哼！说完，他猛力一抽坐骑，带领部队朝唐营奔驰而去。
这一仗可谓是李世民戎马生涯中的一大败笔，不仅没有损伤敌军的一根毫毛，反倒折了自己近万人马。对此，李世民十分懊恼，但没有动摇他继续强攻的策略。休整两天后，他又率军攻城。可惜的是，结果并没有得到任何改变，如同前番一样，自己损兵折将，洛阳城门依然紧闭，牢不可破。这使李世民感到十分愤怒，他一时间失去了理智，根本不听杜如晦和屈突通等将佐的劝谏，继续命令军队攻城。一连强攻了好几次，也未能取得任何进展，反倒是令军中死亡越来越严重，同时军心也有所动荡。这不，士兵因久攻不下而变得垂头丧气，沮丧万分，他们慢慢地生出了厌战的情绪。更可怕的是，原刘武周部将寻相等人大多叛逃，还反戈一击杀了百余唐兵，使得人心惶惶，难以安宁。
李元吉因比武一事而对尉迟敬德耿耿于怀，此时他听说寻相叛唐，眼珠子骨碌一转，计上心头。当下，他命手下宇文宝将尉迟敬德骗到自己帐内，然后命手持利刃的将士们将他绑了。尉迟敬德感到莫名其妙，就挺立在帐中，大声质问齐王为何设套擒拿自己。李元吉狡黠一笑，慢条斯理地回答尉迟敬德，说他与寻相同为刘武周部下，且关系甚好，所以怕他也跟着寻相斩杀唐兵而叛唐。为防范于未然，故而先下手把他抓了。
尉迟敬德听李元吉这么一说，即刻感觉到自己被对方狠狠地掴了记耳光，因为他觉得这是在否定自己的忠义，是在羞辱自己的人格和尊严。为此，他不由得愤怒了。他怒目圆睁，对着歪斜着身子靠在椅背上的齐王大声表白，说自己以忠义名闻天下，怎么会做出背叛大唐的事呢。口气格外坚定，根本不容别人置疑。然而，李元吉压根就不信，只冷冷地说了句，你既然可背叛刘武周降唐，为何又不能再背叛大唐呢。你……尉迟敬德气得两眼冒火，一时竟说不出话。李元吉见状，得意地哈哈一笑，指着尉迟敬德说，尉迟敬德你心里有鬼，所以无话可说了。来人，把尉迟敬德押出去，囚禁在军中，好生看管。尉迟敬德憋了半天，终于忿忿地说了句，在下之心日月可鉴，永世不叛大唐！说着，他就不作反抗地让人押出了营帐。
不多时，尉迟敬德被李元吉囚禁的消息传到了李世民的耳朵里。他一时半会控制不住自己的情绪，当着众人面大骂起自己的弟弟来，忿然道：
“胡闹，简直是胡闹，怎么可以随随便便把右一府统军抓去囚禁！哼，这李元吉胆子也够大的，竟然敢不禀报本王，就抓走我身边的人！”
“是呀，秦王，这齐王的确是有些目中无人了！”杜如晦若有所思地说，“就算尉迟敬德有什么不是的地方，他也先得禀告秦王才对呀！”
“在这事上，齐王是有些欠妥。”屈突通思忖着说，“然齐王这样做，也是为大唐好呀！今寻相等人叛逃，秦王大怒，难免会引起尉迟将军的猜忌与担忧。尉迟将军可能怕殃及自身而与秦王不辞而别，齐王为防范于未然，故而急着把他囚禁军中。在下以为齐王当无傲慢之意，请秦王息怒！”
“尉迟将军原为定杨大将，且对刘武周十分忠心，向日归附秦王，只是迫于形势罢了。”殷开山附和道，“今见我军困于洛阳城下，又得知旧部寻相等人已叛逃他处，尉迟将军也难免不生异心哪！秦王，在下以为齐王此时把尉迟将军囚禁于军，也没什么大错。”
“敬德乃天下忠义之士，诚心归顺我大唐，又怎会做出背叛之事？”李世民坚信不疑地说道，“再说，敬德若真怀有反逆之心，又岂会在寻相之后，他当在刘武周入突厥之时就逃走了。由此可见，敬德是真心归附我大唐，你等勿须多疑！”
“秦王说的对！”杜如晦肯定地说，“尉迟将军自归我大唐以来，紧随秦王前后，每遇战事都挺身而出，舍命厮杀。如此忠勇之人，岂会有异心！”
“也许秦王和杜大人没有看错尉迟将军，可军中诸将都怀疑尉迟将军会叛离，故而心中甚是不安哪！”默然稍许，屈突通对李世民说了句。
“是呀，秦王，寻相叛逃之事已令将士有杯弓蛇影之心哪！”殷开山面色凝重地说，“且今正处攻城艰难之际，若军心生变，那该如何是好呀！”
“二位将军，本王也知道你们这么说是为了团结一致共破东都。”李世民想了想，语气坚定地答道，“然本王可以向你们保证，向全体将士保证，尉迟将军一定不会背叛我李世民，不会背叛我大唐。因此，本王请各位万勿猜疑，尽管放心便是！”
说时，李世民目光威严地扫视了圈在座众将。
众将听李世民这么一说，心中的疑虑也消除了不少，也就不再交头接耳地议论此事。屈突通动了动嘴唇，却忍着没说，只把眼睛转向一旁的殷开山。此时，殷开山心里头还是有些儿不踏实，他低头考虑了好半天，然后抬眼直视着李世民进言道：
“秦王，常言道知人知面不知心，还是提防点好。再说，今尉迟将军已被齐王囚于军中，他必会因此事而心生怨恨，留着恐怕也是祸患，不如索性把他按图谋叛乱之罪斩了吧！这样，既可永绝后患，又能稳定军心。请秦王三思！”
“敬德无罪，岂可肆意枉杀！”李世民脸色一沉，怒道，“今齐王无故囚禁敬德已是大错，本王岂能以莫须有的罪名枉杀忠臣良将，哼！”
“秦王英明！”杜如晦连忙说道，“在下请秦王下令，立即放掉尉迟将军，并多加抚慰。如此，方可不负尉迟将军的一片忠心！”
“克明言之有理！”李世民点头赞同道，“有如此之事，此乃本王治军不严。本王当亲自前往齐王处为敬德解缚，聊表歉意！”
说完，李世民就不顾殷开山、屈突通等将佐的劝阻，独身转身走出营帐。接着，他从随从手中牵过自己心爱的战马什伐赤，一脚踩着马蹬，翻身上马。
不一会儿，李世民带着秦叔宝来到了齐王营帐中。这会儿，李元吉正在跟宇文宝等部将戏耍取乐。李世民见了，忍不住气地喝斥李元吉：
“元吉，你身为齐王，怎么还像小孩一样玩这种可笑的游戏，难道你还没长大吗？这……这简直是胡闹！”
“二哥，今日无战事，我特意招来宇文宝他们陪我玩玩，以缓解一下紧张的情绪，这又有什么错吗？”李元吉立在帐中，一脸不高兴地反问句。
“怎么没错，你的错的大着哪！”李世民板着脸高声说，“本王问你，你为何要把尉迟将军抓起来关了？”
“尉迟敬德欲随同寻相等人图谋不轨，所以我才把抓起来关了。”李元吉被二哥这么一问，先是一怔，紧接着又理直气壮地回答道。
“胡说八道！”李世民生气地责问句，“谁说尉迟将军要反叛朝廷？齐王，你说尉迟敬德欲图谋不轨，那证据呢，证据在哪里？你快给我拿出来！”