他变得更加圆滑老练，说话、做事处处迎合杨广的心意，特别受到隋炀帝的信任喜爱，朝中大臣无人能及。而他的众多朝政党羽、亲朋好友都凭借他的权势，卖官放狱，公开标价，贿赂公门，贪赃枉法；其家门庭若市，一派内阁景象，甚是兴旺；朝野上下对虞世基都极为怨恨，但碍于他是杨广的宠臣，都敢怒不敢言。

这也表明，在隋朝已经分崩离析，没落到如此地步的时候，皇帝还是拥有足够的权威，真是让人赞叹隋朝的根基是多么的深厚和稳固，假如杨广能够稍微收敛一点，恐怕都不至于亡国。

内史舍人封德彝很善于投机，看到虞世基得势后，便多方巴结依附于虞世基，正好虞世基不熟悉为官的要务，还不懂得在官场游刃有余的诀窍，很需要一个高参来出谋划策，两人一拍即合。

封德彝开始在背后为虞世基算计筹划各种事务，包括：如何发布实施皇帝的诏命，如何迎合顺从炀帝的心意，如何欺上瞒下，如何打击异己等等。

虞世基言听计从，于是群臣的奏章有违背皇帝意愿的，都压下不报；审理案件、实施刑律法，大多引用严峻苛刻的条文，刻意诋毁；凡是论功行赏之事，则极力抑制贬低。

由于善于揣摩杨广的心意，虞世基日益得到炀帝的宠信，而隋朝的政治更加弛废*，而他和封德彝难辞其咎。

自此，虞世基已经难以回头了。

而其弟虞世南则历来清素、不好权势，两人在不同的人生之路上背道而驰，越走越远。

后虞世南归顺大唐，被唐太宗列入“凌烟阁二十四功臣”。