安后，留侯张良也跟随刘邦进入了关中。天下已经安定，虽然也有零星的反叛之事发生，但那些事有陈平及其他一些文武大臣帮助刘邦，令刘邦对付起这些叛将来也并不怎么费力。

    此时，由于吕后的专权，刘邦非常厌烦吕后，对吕后所生的儿子太子刘盈也很看不惯。刘盈生性懦弱，没有阳刚之气，全不像在乱世中历练出来的人。刘邦认为他禁不起大事。相反，赵王如意（戚夫人所生）却非常聪明伶俐，长相及一举一动和刘邦都颇有几分神似，深得刘邦喜欢。于是刘邦便产生了废立之意，打算废掉太子刘盈，改立赵王如意为太子。

    然而，刘邦此议一出，立即招来了众多文武大臣的一致反对。一则因为自周朝以来，嫡长子继位已是法定的惯例。一些大臣甚至引经据典，说当年晋国之所以会引起大乱，就是因为废长立幼；秦朝之所以二世而亡，同样是因为废长立幼。尤其是那位给汉朝制定礼仪的叔孙通，更是不惜以死相谏。二则因为刘邦的汉王朝从很大程度上讲是夫妻店。吕后经常参与军国大事，文武大臣都和她很熟。尤其是跟随刘邦从沛县起兵的那帮文臣武将，他们都很尊重吕后(樊哙还是她的妹夫)。吕后自从在沛县嫁给刘邦后，一直待刘邦的这群难兄难弟不薄，所以他们普遍都支持和同情吕后。但吕后还是不能放心。她早知留侯张良擅长奇谋，皇上对他非常信任，每到关键时刻总是会找他拿主意。于是，她赶紧派建成侯吕泽去求张良帮忙。

    已经习惯于不问世事的张良当然不愿管这些事。他不愿意卷入党派之争，拒绝了吕泽的请求。因为他认为废立太子一事完全是皇上根据自身的偏爱而定的事情，立谁都是立他的儿子；这是至亲骨肉之间的事，外人是不好去插手这种事情的。