湘军是一支自筹军饷与太平天国作战的部队，曾国藩曾几次言及。湘军不难及筹兵而难在筹饷。曾国藩客位虚悬的艰难主要也是难在筹饷。他与地方的矛盾主要也是因为筹饷引起的。咸丰十年曾国藩任两江总督后。客位虚悬的问题总算得到了解决，但由于长年战争，满目疮痍，军饷的筹措仍十分困难。到同治元年围攻天京时，曾国藩所统湘军已达12万，每月食米需5万多石，而这时米价昂贵，每石米银价已在白银3万两之外。曾国藩筹措军饷十分焦急。但就在这时，却发生了江西巡抚沈葆桢与他争厘金的事。
同治元年十月，沈葆桢奏准截留江西漕折银5万两，又将九江的关洋税截留。而这时湘军已发生因无饷溃逃的事。同治二年，沈葆桢再次截留江西厘金，而这时正是攻破金陵前两个月的关键时刻。而“营中竟有食粥度日者”(《曾国藩未刊信稿》第213页)曾国藩担心因缺饷哗变而功亏一篑，万不得已才上《沈葆桢截留江西牙厘不当仍请由臣照旧经收饷摺》，在摺中列举了沈葆桢截留江西厘金不当的三条理由：
1、江西军饷状况优于湘军，江西发八成，湘军只发四成；江西欠饷五个月。湘军欠饷十六七个月不等。
2、按权属，巡抚应由总督节制；按事属，厘金应由总督直接主持。
3、按情状，在军事危急之际，同寅应患难相恤，有无相济。
沈葆桢与曾国藩争厘金。完全是沈葆桢不顾情理、恃才做上引起的，曾国藩没有过错。即使是这样，曾国藩仍然反省自己在这件事上的急躁。在同治元年九月十四日和十八日的日记中他描述自己的焦急心情后内省道：“皆由平日于养气上欠下功夫，故不能不动心”；“实则处大乱之世，余所遇之僚属尚不十分傲慢无理，而鄙怀忿若此。甚矣，余之隘也!余天性偏激、痛自刻责惩治有年，而有触即发，仍不可遏。殆将终身不改矣，愧悚何已!”
三是自悔。曾国藩被湘人称为“乡圣”，但它到底不是圣贤。他虽然待人宽厚。在处理人与人的关系上也有过头的时候，如他几次参奏李元度。人非圣贤，敦能无过?一个道德修养高深、道德践履踏实的人与一般人的区别。不在于有无过错，而在于对于过错的态度。曾国藩对于参奏李元度之悔，从另一个方面表现了他对“己所不欲，勿施于人”这一恕的道德原则的践履。
曾国藩曾三次参奏李元度。第一次是咸丰十年的徽州之失，因曾国藩的参奏，李元度被革职微宁地太广道之职。革职后，李元度不经请示，径自回乡招募了一支千多人的队伍。取名叫“安越军”。咸丰十一年五月，李元度因率安越军援鄂有功，经总督官文、巡抚胡林翼奏请，赏还按察使原衔；旋入江西有功，经巡抚敏科奏请加赏布政使衔；这年九月，因浙江巡抚王有龄许诺官升藩司，李元度不顾胡林翼劝阻，改换门庭，投向王有龄，同治元年正月得补浙江盐运使兼布政使。二月又擢升浙江按察使。就在李元度擢授浙江按察使的上谕发出后的第十九天即二月二日，曾国藩第二次参奏李元度虚报战功、援浙不力，结果使从厄运中解脱、苏复的李元度再罹恶运。被革除新授的官职交左宗棠差遣。这年的五月十七日，曾国藩在参奏“私行远扬”的陈由立和贪生怕死、扰乱地方的总兵郑魁士的同时，参奏李元度和郑魁士一样。都是薄有时名、轻于去就。
曾国藩参奏李元度失之过严，有违恕道。首先，李元度并非一个朝秦暮楚、背信弃义之人，他之所以投向王有龄，是因为他急于走出厄运。不是对曾国藩情感上的背叛，这从后来他与曾国藩交往以及为曾国藩所作的挽联可以看出。其次，李元度有功于曾国藩和湘军，这正如曾国藩在“三不忘”中所育，在曾国藩的几次困境中。李元度都给了他可贵的支持。再次，带兵非李元度所长，但咸丰十年强之带勇的正是曾国藩自己，徽州失守曾国藩也难辞其咎。第四，李元度虽然措军不当，但守徽州身先士卒，“身卧城头，竭力堵御”，绝非贪生怕死、弃城逃命的郑魁士之流。
对于那样严厉参奏李元度特别是把他与陈由立、郑魁士一同参奏。曾国藩后来十分后悔。随着地位的越来越显赫，这种后悔的心情也越来越强烈。同治四年曾国藩在《加李翰章片》中写道：“次青之事，鄙人负疚最深。在军十年，于患难之交，处此独薄。近岁事机大顺，悔之无及。”曾国藩的自悔，从史料看始于同治元年。这年正月，曾国藩以两江总督协办大学士，二月又交部从优议叙，这时被他严参的李元度仍寄来情真意切的贺禀，曾国藩看后悔意无穷，三月二日在日记中写道：“因李次青来一贺禀，文辞极工，言及前此参奏不少留情，寸心怦怦，觉有不安。”此后。曾国藩在书信、日记中多次表现了自悔之意并采取了补救措施。如同治元年六月。在给弟弟的信中写道：“余平生朋友中，负人甚少，惟负次青实甚，两弟为我设法。有可挽回之处，余不惮改过也。”同治三年，曾国藩给清廷上《密陈录用李元度并加恩江忠源等四人摺》，摺中有“三疚”之说。其中“臣兄弟叨窃异数，前后文武官员，无不仰荷殊恩。追思昔年患难与共之人，其存者惟李元度抱向隅之感……臣对之有愧，不得不略陈一二，上干圣听”的话，确为真诚悔过之言。十一月，曾国藩将上奏的事写信给李元度：“往者患难相从，为日最久者，于今己无多人，而事会乘除。乖违素志，尤觉钦钦抱歉，不能自己。”(《曾国藩全集》第27卷第4829页，岳麓书社1994年版)向李元度表示了道歉。
廉曾国藩做京官的时候。就把廉作为做官的根本。从那时起曾国藩就立志做一个清官。道光二十九年三月，他在写给弟们的信中说：“予自三十岁以来即以做官发财为可耻，以宦囊积金遗子孙为可羞可恨，故私心立誓，总不靠做官发财以遗后人，神明鉴临，予无失言。”(《曾国藩全集》第19卷第183页，岳麓书社1994年版)曾国藩立下的这一志向，他恪守奉行终身。做京官的时候，他从不轻易受人钱财；任圃练大臣组建湘军，他提出“不要钱，不怕死”；后来统率湘军出省作战。经他的钱粮无数。他不妄取一丝一毫。他在湘军将士面前塑造的廉洁人格形象，形成了巨大凝聚力。这是曾国藩镇压太平天国取得成功的重要原因。
和把廉作为做官的根本一样。曾国藩把廉作为治军的根本，他以廉自律，以廉律下。曾国藩统兵在外，给家里寄钱很少，他在成丰四年十一月二十三日的家书中写道：“余寄一百五十金还家。以五十金济亲族，此百金恐尚不敷家用。军中钱粮。余不敢妄取丝毫……家中自父亲、叔父奉养宜隆外，凡诸弟及吾妻吾子吾侄女辈，概愿俭于自奉。”
“惟俭可以养廉”(《曾国藩全集》第13卷第290页，岳麓书社1994年版)曾国藩总是把俭与廉连在一起来说。曾国藩虽然是湘军最高统帅。官居要职，权倾天下。但他生活十分俭朴。食，他粗茶淡饭，每餐仅一荤，即使做了大学士也是如此，被人称为“一品宰相”。穿，他身为宰相，而衣服不足三百金。穿的是布衣布鞋。都是家人做的。30岁生日，做了一件青缎马褂，平时舍不得穿，只是在有喜事庆贺或过年时才穿。到逝世时，这件马褂还和新的一样。住。他平生以起屋买田为仕宦恶习。他曾委托弟们在家为他侈理旧宅作养老之用。但他弟弟曾国茎、曾国潢却违背他的意愿修了一座规模宏大的富厚堂。曾国藩对此大为恼怒，他写信谴责曾国荃说：“新屋搬进容易搬出难，吾此生誓不住新屋。”(易孟醇《曾国藩传》第471页，广西人民出版社，1995年)后来曾国藩果真终于任所，未踏进新屋一步。曾国藩住所中的摆设也十分俭朴，摆在书房中的书箱每箱不过数百文。曾国藩的一生是俭朴的一生。即使在镇压太平天国以后，生活安定了，他仍为打了一把银壶而自责，为买一部《十三经注疏》而反复权衡书价贵贱，为家中入不敷出而焦心。
对于曾国藩的廉洁俭朴。他的幕僚和湘军将士无不钦佩。容闳在《东学西渐记》中说：“曾文正为中国历史上最著名人物，同辈莫不奉为泰山北斗。……平定此大乱，为事良不易。文正所以能指挥若定。全境肃清者，良以其学识道德均有不可及者。当时七八个省政权，皆在掌握。凡设官任职，国课军需皆听调度，几若全国听命于一人。顾虽若是，而从不滥用其无限之权威，财政在握，绝不闻其侵吞涓滴以自肥或自肥其亲属。以视后来彼所举之李文忠，不可同日而语矣。文忠绝命时，私产四千万遗子孙；文正则身后肃条，家人之清贫如故也。曾文正一生之政绩，实无一污点。其正直廉洁忠诚诸德，皆足为后人模范，故其身虽逝，而名足千古。其才大而谦，气宏而凝，可谓完全之真君子而为清代第一流人物。”
赵文烈在《能静居日记》记载了与曾国藩这样一段对话：“材官持一纸示师。师颔之。顾余曰：‘此何物?足下猜之”。余谢不敏。师曰：“‘此吾之食单也。每餐二肴，一大碗，一小碗，三蔬，凡五品，不为丰，然必定之隔宿。’余钦佩俭德。因曰：‘在师署中久，未见常馔中有鸡骛，亦食火腿否?’师曰：‘无之，往时人送皆不受，今成风气，久而不见馈送矣。即绍兴酒亦每斤零沽。’余曰：‘大清三百年。不可无此总督衙门。’师曰：‘君他日撰吾墓铭。皆作料也。’相视而笑。”
曾国藩统率的湘军军饷自筹。欠粮欠饷的事经常发生，有时欠饷达一年多，有时举军食粥；但将士仍然奋战疆场，溃逃只是个别情况。究其原因，不能不归于曾国藩在将士心目中树立的廉洁形象。对此。曾国藩在奏摺中说：“同治二三年间，统军至十余万人，欠饷至十五六个月，从未有兵勇向粮台索饷滋事者，一由于粮台之银随到随发，从无存留；一由于发饷之际，概由微臣斟酌，不与委员相干。因是差免于浮冒之弊。而即以取信于将士之心”(《曾国藩全集》第9卷第4829页，岳麓书社1994年版)
