他还大张旗鼓地在全省裁减幕府的岁贡及州县的冗费，把余出来的数万银子，拿来建哨所修堡垒，屯粮买马。
自己则布衣蔬食清廉如水，家中事事节省，省出来的俸禄大多拿出修路赈灾。故而晋中士民齐声赞颂说：“巡抚只饮山西水呀！”
不过，魏养蒙却对皇帝大派矿监税使事一直深虑。
“内监不得干预朝事，犯者斩！”
这是太祖皇帝在宫门三尺高碑上镌刻的碑文，是祖训。当今皇帝急于敛财，居然连祖宗的箴言都不顾了。
魏养蒙很是愤慨。
在他看来，那些趋走使役的阉割之人，懂得什么叫礼仪廉耻，什么叫君为船、民为水，民可载舟也可覆舟的道理，像这样听凭他们祸害下去，岂不要天下大乱，逼民造反？
愈想愈觉得后果严重，便上疏给皇帝，指陈时政缺失，说税使马堂、高淮等系无赖奸人，都是些吮膏血以自肥的人，皇上不轻易赐官，为何赋予他们生杀予夺大权？
在疏中，魏养蒙还请求皇帝召还赵南星、邹元标等东林贤人，可皇帝一律置若罔闻。
半年前，魏养蒙独坐书桌前，回想起近年来税使孙朝、矿监张忠等在晋恶阉的案例，不由得怒气满胸。
先是太平县典史武三杰，因矿监张忠途经本县时，失于迎接又照顾欠周，竟被张忠活活杖死；
继之有建雄县丞李逢春，因税使孙朝前来索钱未能如数交上，竟遭孙朝爪牙凌辱以至于毙命；
最可恨得是，孙朝为了讨皇帝的欢心，居然狮子大开口，勒求三晋大地，上缴税银数十万，为此孙变本加厉，在全省多次增税，税名五花八门，令百姓叫苦不迭。
魏养蒙心知上疏告状，皇帝会置之不理，索性领着本省官员，公开抵制起税差的横征暴敛，此举让孙朝十分恼火，他上疏告了魏养蒙的状。
魏养蒙知道后上疏反击，历数孙朝的种种罪行，并表述了自己的一片报国忠心，他在疏中写道自己为皇帝保安宗社之心，超过为自家；维系天下之心，超过为自身。
写完，自己读之都泪流满面。
然而，万历读了魏的奏疏，无动于衷，大臣们纷纷感到不平，为什么孙朝的劾疏可以下发部院讨论，而魏养蒙的辨疏却被皇上留中不发？
先是吏部右侍郎冯琦，站出来为魏养蒙辩诬，接着吏部尚书李戴、都御史温纯也都极称养蒙之贤，他们一致提出应把魏养蒙的奏疏下发，供大臣们从公评议。
万历不同意。
此时山西士绅闻讯后，组织百姓一批又一批赶到京城，为魏养蒙诉冤。
万历担心事情闹大，只好对孙、魏双方都不再追究。
如今距此事已过半年，这半年山西一片平静，魏养蒙也不曾再上过弹劾矿监税使的奏疏，使得万历认为他已老实。
可，这才老实半年，突然又上书了，直觉告诉万历，魏养蒙这疏中肯定没好事。
果不其然，看完之后，万历就气不打一处来。
“说的真是好听，让朕学唐太宗李世民，这李世民有什么好学的？…胁父杀兄，哪里是好君主？…那魏征，大节有亏，又有何提倡的。”
张诚听皇爷竟然这么评说有名的明君唐太宗和大大的直臣魏征，一时吓的不敢说话。
“朕就是不听他的，不但顾宪成不用，赵南星他们更是不用，朕倒要看看不学李世民，朕这江山是不是就要易主了！”
万历越说越气，对魏养蒙，他其实是有意见，但知这人能干，所以容他。但对于魏养蒙的要求，他却是万万不答应的。
“如今用人，哪一个不是朕主张，顾宪成当年就肆言，说不是朕独断，好生狂妄！朕罢了他，逐他出朝廷，可不曾有错。”说到这里，问张诚，“你说，那顾宪成错在哪？”
张诚不太敢说话，犹豫了下，小心翼翼道：“皇爷，顾宪成执书生之见，做言官的传话筒，哪里知道皇上与政府的苦心。”
万历听了这话，“哼”了一声，怒道：“他可不是什么言官的传话筒。要朕说，言官是他的传话筒才是….如顾宪成之类，结党营私，所图为何？…他们是想替朕做这江山，这社稷的主呢。”