计，派另一位宰相吕颐浩到镇江督兵。两相分任内外，有利于中兴，这样他便专理内务，成为独自掌握朝权的执政宰相了。

    在此情况下，秦桧却犯了个错误，过急地要把权力集中起来，把主战派从重要岗位上拿掉，以至引起众多人的警觉。吕颐浩也醒悟到自己上当，专程从镇江赶回，谋划驱逐秦桧，并很快地抓到了把柄。

    宋室南迁，很多人包括百姓都逃往江南，致使河北境内人丁稀少。金室把归还河北人口作为和议的重要条件，秦桧附和金廷，提出“北人归北，南人归南”以利于和谈。吕颐浩组织人公开弹劾秦桧阻止恢复、培植私党。又使人密奏秦桧要把所有北方人送往金国，秦桧自己是南人，其意不测。

    事情危及高宗，因此高宗不悦，说：“桧言南人归南，北人归北，朕北人，将安归?”（《续资治通鉴·宋纪一百十一》）即降旨罢免秦桧，以观文殿学士衔提举江州太平观(安排高职官员管理庙宇的闲差)，并申明以后“终不复用”。

    秦桧这一跌，跌得很重。在秦桧被黜的五年多时间里，主战派抬头，高宗也曾受到鼓舞，亲征进至长江南岸。然而在有志无谋的张浚主持下，错置对方，寸土不曾恢复，又失落了关陕和河南的疆域，死亡和消耗，为主和派的重起提供了依据和口实。

    以个人的素质和计谋论，秦桧确有其独有的长处。他没有像主战派那样脆弱和负气，一经挫辱便慷慨流涕，短叹长吁。他以坚忍的耐力重新取得众多人的好感，仍目标坚定地窥取相位。他为自己创造的外在形象竟使主战派的首领张浚、赵鼎都给以信任，愿与共事。高宗不知不觉地放弃了永不任用的御笔判决，从无所事事的闲职改为绍兴知府、侍读，行宫留守，权赴尚书、枢密院参决庶事，最后受张浚荐引任为枢密使(掌军国机要，从一品)。秦桧以不懈的努力和坚忍的韬晦之计又重归相位。