对部属同是运用“宽严相济”之法，他是有所区别的。例如，他写信教导其弟曾国荃如何驾驭太平军降将李世忠时说：“此辈暴戾险诈，最难习驯驭……吾辈待之之法，有应宽者二，有应严者二……应宽者，利也，名也；应严者，礼也，义也。四者兼全，而手下又有强兵，则无不可相处之悍将矣。”在这里，他一方面主张对降将许以高官厚禄，收买人心；另一方面则采取 “礼文疏淡”，“情不可密”，而严之以礼义，与之保持一段距离。他认为，这样做至少有两个好处：一则避免一旦降将“旧病复发”而自身反受牵累；二则“临之以庄”，保特一种庄严感，使他们知威从命，不敢犯上。

    曾国藩认为，对人太宽厚则难以约束，对人太严格则毫无生机，只有刚柔并济、恩威兼施才是良方。曾国藩奉命“剿捻”时，李鸿章和僧格林沁的悍将刘铭传和陈国瑞在军中效力，二人发生两次械斗，造成流血冲突。面对这一棘手问题，曾国藩充分运用恩威兼施的手法，消除了祸患。曾国藩对刘铭传严厉斥责，使其心生畏惧；却又不追究其过失，让其感激涕零，赴皖北继续剿捻。曾国藩历数陈国瑞的劣行恶迹，使其灰心丧气；又表扬他作战勇敢、不贪财等优点，大有前途，使其精神振奋。

    曾国藩深知军民关系维系着战争的胜负，在编练湘军之始就特别注重军纪教育，并且身体力行，当作头等大事，强调“带兵之道，以禁止骚扰为第一义”、“禁骚扰以安民”。不可否认的是，湘军在实际中也确有扰民之举。但是湘军基本上赏罚分明，宽严互济，“军士所过，有取民间一草一木不给钱者，即行正法”，所以这些营规戒律在一定程度上对严肃军纪、赢取民心起到了积极作用。其弟子李元度说：曾国藩“坚忍肫挚，壹意以爱民戢士为本，遂能得人死力”，这是基本符合事实的。