有几个故事可见他年轻时读书悟性一般。

    1830年，曾国藩十九岁，曾国潢十岁，两兄弟就读衡阳唐氏家塾，老师是汪觉庵。国潢伶俐，有问必答，甚得塾师欢心，常被夸奖，而曾国藩默默不好言，塾师对他的诗文只用“也好”二字敷衍。一天，曾国藩背书不流畅，塾师训斥他说：“你这个生成的蠢货，一副戳牛**的相！你将来要是有点出息，我给你背伞！”老师骂人有些过分，但是从这里也可以看出当时曾国藩读书悟性较差，智力一般。据说，曾国藩考中进士后，还乡拜谢老师汪觉庵，故意把伞放在汪家的神龛侧。后来告辞，起身便走，刚到槽门口，突然对送行的汪觉庵说：“我忘了带伞。”汪觉庵连忙双手拦住说：“曾大人在此稍候，等我去取来便是。”汪觉庵取了伞再来时，曾国藩开玩笑地说：“谢谢汪师，今天给我背伞了！”汪觉庵想起往年的话，半晌啼笑不得，只有长揖而已。

    曾国藩小时不仅读书成绩一般，而且也很调皮。相传曾国藩九岁的时候随父亲到桂花塘一位姓欧阳的家中读书。其父曾麟书在那里当老师。一天，曾国藩与主人家小孩发生口角，被不问情由地骂了一通。曾国藩记恨在心，放学时，偷偷把主人家的金鱼缸底打破，水干鱼死才解恨。十二岁时，曾国藩与小伙伴在神王庙里玩，不小心把神王打翻在地。曾麟书狠狠地训斥了他一顿，还给神王重新装了金身。为了让曾国藩摆脱邻居小孩的嬉游，曾麟书早出晚归，带着曾国藩到离家六里的九峰山古锣坪定慧庵去读书。从此，曾国藩路过神王庙时，常把当做马骑的竹棍系上绳子，放在神王肩上，气愤地说：“搭帮你，我到山冲里读书去了！你好好把我的马看着，如果我的马走了，定不饶你！”