窝阔台认为时机业已成熟，便大举南进。

    耶律楚材了解蒙军以往作战的陋习：攻陷城邑之后，往往对城中百姓大规模杀戮。随着南征日期的临近，他深感不安，认为滥杀无辜不但使黎民百姓罹难，而且只能促其军队拒降。临战前，为确保人民的生命安全，他进谏太宗，将河南一带的当地民众迁往山后，采金植田，让其远离战火；紧接着，又诏令金国逃难之民，降者免死。有人曾认为降者是危急则降，缓和便逃，还能补充敌人的兵源，实难赦免。耶律楚材以为不然，建议窝阔台策造白旗若干，发给投降的人民，令蒙古军士不能侵害他们。这样一来，不但拯救了无数无辜的黎民百姓，还使他们消除了对蒙军的仇恨，为蒙古军队顺利进军奠定了基础。

    窝阔台渡过黄河，占据郑州，遣将军速不台围攻汴京。金军用“震天雷”、“飞火枪”守御。“震天雷”是以铁罐盛满炸药，点火引爆，可穿透铁甲；“飞火枪”系以铁管注入火药，引燃后能烧伤十余步之敌。汴京攻守战历时16昼夜，城内外死伤多达百万人。蒙军无速胜之法，金军无久守之志，双方于当年四月罢战议和。蒙军北退至河、洛，徐图破城之策。

    蒙军思得良谋，遂派遣王戳赴南宋商议夹击金国。南宋同意了。蒙古在得到南宋的帮助后，再次派大将速不台围攻汴京。1233年，金国将领崔立发动汴京政变。金国陷入内忧外患的境地，城陷指日可待了。速不台奏请窝阔台：“金人抗拒持久，我军将士多有伤亡，待城陷之日，宜尽行屠戮。”耶律楚材听到屠城计划，急忙赶来劝阻：“将士暴露于野数十年，所欲得者无非是土地、人民。得地而无民，又有何用！”窝阔台仍然犹疑不决。耶律楚材见从公众的角度无法让窝阔台速下决断，便换了个方式，巧借私欲来打动大汗，说道：“奇巧工匠、厚藏人家皆荟萃于此地。一旦斩尽杀绝，大汗将一无所获。”窝阔台听了这一席话被打动了，立刻准其所奏，下令只把金国皇族完颜氏杀掉，其余一律赦免。从此以后，这条政策被设为定例，屠城的做法被废除。

    四月，蒙军入汴京。当时为躲避战乱留居汴京的有147万人，都得以保全性命。假如没有耶律楚材的力谏，恐怕这些无辜的百姓都成了金国的殉葬。

    次年正月，蒙、宋合兵攻入蔡州，灭了金国。

    金亡之后，西部秦、巩等二十余州长时间都不能攻克。耶律楚材献计说：“往年蒙军获罪，多有逃往此地者。因恐新旧二罪并罚，故以死拒战。倘若许以不杀，将会不攻自灭。”窝阔台下诏赦免逃亡旧罪，又宣布废弃杀降之法。诸城接连请降。善战者以攻心为上。耶律楚材的军事才能再次帮助了窝阔台。