钱谦益赴阙之后，出任礼部右侍郎。但他万万没有想到，任职仅三个月，厄运又一次降临到他的头上。这年十一月，值会推阁员，他也在被推之列，但遭到礼部尚书温体仁的激烈反对。温诬陷钱谦益在辛酉年（1621）典试浙中时有越轨行为，故不宜入阁。崇祯皇帝在文华殿召对廷臣，钱虽极力辩解，仍无济于事，结果遭削籍南还。这件事对他来说，实在打击太大了，使他万分沮丧。在组诗《十一月初六日召对文华殿，旋奉严旨革职待罪，感恩述事，凡二十首》中，曾有详尽的记述。第一首这样写道：
秘殿风高白日阴，天阶云物昼沉沉。裂麻未是廷臣意，枚卜空烦圣主心。宸翰星回官烛影，禁庭雷殷属车音。孤臣却立彤墀内，咫尺君门泪满襟。
诗从眼前景物写起。放眼望去，秘殿阴风惨惨，一片昏天黑地的景象，天阶风物白日犹如黑夜一般沉寂阴森。诗中将宫殿的氛围描写得如此阴暗无光，实是注入作者主观感情的结果。王国维在《人间词话》中原有一段话：“昔人论诗词，有景语、情语之别。不知一切景语皆情语也。”“一切景语皆情语”，也许说得太绝对化，不很确切，所以作者在发表时将这段话删掉了。但我们必须承认，在一些优秀的作品中，“景语”和“情语”有时往往难以分辨，所谓情景交融、寓情于景就是这个意思。因此，与其说这里是写景，不如说是抒情更为贴切。情与景已混然化为一体。颔联写会推阁员事。古代选官用占卜，故称枚卜，明代专指拜相。颈联和尾联描绘朝廷热闹繁忙的景象，以反衬作者遭革职后悲凉的心境。
前面提及，钱谦益这次再出山，对崇祯皇帝感激涕零，如今却落得如此下场，这是他所不愿也是始料未及的。皇帝的喜怒无常，断送了他如花似锦的前程。现在自己孤身只影伫立在宫门外，却再也见不到皇帝，真可谓咫尺天涯，想到这里不由得心生酸楚，泪湿衣襟。常言道：早知今日，何必当初。此时此地，他的心情很复杂，在痛苦之中夹带着惋惜，于怨恨之中透露出眷恋，就像打翻了调料瓶一样，酸甜苦辣各种味道都有。“出山我自惭安石，作相人终忌子瞻，’（其三）；“事到抽身悔已迟，每于败局算残棋”（其五）；“孤生半世饱艰辛，敢恨虞翻骨相屯”（其六）；“白日雷霆夹御筵，扪心终不愧皇天”（其十二）。他将潜藏于心底的怨恨用诗句表达出来，从而使内心得以保持某种平衡。
钱谦益这次罢官之后，整个崇祯朝再未被起用，乡居达十数年，然而他仕进之心未死。弘光朝时，他为了担任礼部尚书，不惜与权奸马士英沆瀣一气，使他的名声一落千丈。接着几个月之后，又失节仕清，成为降臣。这恐怕和他一生汲汲于富贵、热衷于仕宦不无关系。他混迹官场几十年，尝尽宦海浮沉的滋味，最后竟落得个“贰臣”的坏名声，实在可叹可悲！