李玄霸进宫之后，杨广召见了裴蕴，大多数人都比较聪明，听说李玄霸是独自进宫的，便选择继续保持安静。也有些人年纪大了，脑袋有些糊涂，高估了李玄霸的胆魄，认为陛下已经知道逆贼之事，便贸然进宫，参了裴蕴一本。
纳言苏威乃是两朝元老，在杨广登基后的前几年，一直深得杨广信任，虽被贬过几次，但最终还是官复原职，后来更是身兼数职，并被任命开府仪同三司，一时权贵，无人可比，不少官员都依附于他。
当时，他与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为“五贵”。
不过，去年杨广回到东都后，曾询问天下逆贼之事，满朝文武皆不敢言，杨广便逐一询问，连宇文述都声称天下逆贼渐少，不敢道出实情。
杨广问到苏威时，苏武犹豫了一会，答道：“臣不知天下逆贼有多少，但知道他们已经越来越近。”杨广细问之下，苏威又答道：“盗贼以前占据长白山，现在近在荥陽、汜水一带。”杨广闻言，虽然没有多说什么，脸色却极为难看。
苏威知道自己已然得罪杨广，不过为了朝政，依然没有退缩，献上一部《尚书》，规劝杨广，惹的杨广更加不高兴。但杨广明白苏威忠于自己，并没有疏远他。
直到后来，杨广以征伐高句丽之事询问苏威，苏威说赦免群盗，让他们去讨伐高句丽，杨广恼怒之下，渐渐疏远了苏威。
苏威上了奏折，杨广并不理会，反而消除了他心中对裴蕴的怀疑。
几日之后，裴蕴利用陛下不喜苏威，让白衣张行本告苏威往日在高阳主持选举时，滥授别人官职，又说他害怕突厥，请求回到京师。
杨广下令调查这些事，有裴蕴从中作梗，自然坐实了苏威的罪名，杨广没有给苏威任何解释的机会，直接除去苏威所有官职，让他成了普通百姓。
李玄霸听到这件事时，只觉得心中甚寒，对于杨广的认识，更多了一些，同时，也意识到了裴蕴在杨广心中的地位。
裴蕴用了几天时间，便让苏威被罢了官职，这件事也让其他朝臣变得胆寒起来，除了裴蕴主动提起逆贼之事，再也没人敢上奏了。
但是事情远远没有结束，以前那些依附苏威的官员，一个个都被裴蕴抓住了把柄，最终还能留在朝堂上的人，已经屈指可数。
唐国公府中，李玄霸跟着魏征学习了半个多月，对于朝廷官制、天下郡县有了大致的了解。听闻朝中的大臣一个个被免职，李玄霸叹了口气，说道：“是我让局面变成现在的样子，没想到我不仅没有帮到陛下，反倒害了不少忠臣。”
魏征安慰几句，说道：“苏大人尽心尽责，竟落得这样的下场，确实有些让人寒心。不过陛下还念一些旧情，没有伤害苏大人，公子也不必太过自责。”
经历过苏威一事，魏征对李玄霸的感激更深了。如果当初李玄霸不阻拦他，而是带着他进宫面圣，只怕他已经变成一缕亡魂了。
“以前，很多人说，陛下宠爱我，那时候我一无所知，并不相信。后来，又有许多人说，陛下脾气不好，我又不信，现在我什么都信了，可惜有些迟了。”李玄霸落寞的说道：“陛下这么久没有召见我，想必心中对我已经有了怀疑了。”
杨广曾打算让李玄霸到军中学一些东西，不过苏威出事之后，杨广再也没有提及此事，甚至都没有召见过他。
“有萧皇后和公主在，公子无需担心。”魏征说道：“只是，一个多月前，翟松柏在灵丘起兵，众达数万人，侵扰附近各县，已渐渐形成一股势力。这样大的事，已经没人敢告诉陛下了。”