汉宣帝深知，霍光虽然死了，但霍家的势力还很大，霍家的亲属和亲信还控制着中央政府的各个机要部门，兵权也掌握在他们手中。为此，汉宣帝首先采取行动，削夺霍家把持的权力。他先解除了霍光两女婿东宫、西宫卫尉的职务，剥夺了他们掌管的禁卫军权。又把霍光的两个侄女婿调离了中郎将和骑都尉的位置，让自己的亲信担任南北军和羽林郎的统帅。最终把兵权掌握在自己手中。之后，他提拔霍光的儿子霍禹为大司马，明升暗降，剥夺了他掌握右将军屯兵的实权。
还对上书制度进行了改革，下令吏民上书，直接呈皇帝审阅，不必经过尚书，把霍山、霍云领尚书事的职务架空起来。通过这一系列步骤，霍家掌握的权力剥夺殆尽，权力逐渐集中在汉宣帝的手中。面对汉宣帝全面夺权的行动，霍家集团内部惶恐不安，决定铤而走险，举行叛乱，推翻汉宣帝，保住他们的既得利益。但叛乱在严阵以待的汉宣帝面前很快瓦解了。汉宣帝大规模地镇压了霍氏集团的叛乱，将参加叛乱的人都处以极刑，并废除了霍皇后（霍光次女霍成君），在西汉朝廷中盘踞了十几年的霍家势力一朝覆灭，汉宣帝最终确立了他的绝对统治。
汉宣帝彻底清除了霍氏的势力，可以大刀阔斧的施政了。刘询早年生活在民间，深知吏治好坏将直接关系到百姓的生存发展与社会的和谐稳定。他说“吏不廉平则治道衰”。所以，他即位后，除亲自过问政事，省去尚书这一中间环节，恢复了汉初丞相既有职位又有实权的体制外，还特别重视地方长吏的选拔和考核，并下大力气整饬吏治。为此，刘询建立了一套对官吏的考核与奖惩制度。他多次下诏对二千石（郡守级官吏），实行五日一听事制度；并不定期派使者巡行郡国，对二千石官员的工作进行考察。根据考核结果，信赏必罚。
他颁布诏令说：“有功不赏，有罪不课，虽唐虞犹不能化天下。”在他当政时，一大批因政绩突出的官员受到了奖励，或以玺书勉励，增秩赐金，或爵关内侯，升任九卿或三公。对那些不称职或有罪的官吏，则严惩不贷。 随着这些措施的推行，一大批“良吏”便逐渐造就而成。其中，还有许多官吏是由低级郡吏察廉晋升而来，或因明经而被提拔。
?整饬吏治
宣帝时期，是官吏“久任”制发展到较为完备的时期。这主要表现在两个方面：其一，把官员“久任”的实施范围由中央大臣扩大到高级地方官员。不仅侍中、尚书等参掌朝政的亲信近臣得蒙荣宠，郡太守一级的高级地方官也多有“久任”者。 汉代的郡国介于中央与县之间，在中央与地方的关系中，郡国守相起承上启下的作用。郡国守相的好坏，不仅关系到一方的安宁与否，也关系到国家的治乱兴衰。所以，刘询对郡国守相的选任，十分慎重和严格，规定先由朝中大臣举荐，然后择日亲自召见考核，询问治国安邦之术。着名循吏龚遂被任命为渤海太守，就是其中一例。
其二，上述官员即便积有功劳、或有优异表现应该升迁，也不轻易提升调动，而是另外寻求对策，给良吏以物质、精神两方面的奖励和褒奖。对于亲信近臣，“至于子孙，终不改易。”结果是“枢机周密，品式备具，上下相安，莫有苟且之意也”。对于郡太守，汉宣帝坦言他们是辅助天子治国理民的关键所在，是“吏民之本”，如果时常调动变易就不会被其属下尊重，上下难以相安；如果实行“久任”制，百姓知其将长时期在职，就不敢欺罔上司，自然就会“服从其教化”。
对治理地方确有优异政绩的郡太守，汉宣帝常用的奖励办法是：颁布玺书嘉奖勉励；在原有的薪俸基础上增加俸禄；赏赐金钱若干；甚至拜爵至关内侯，使之得以享受政治名誉与经济利益。如胶东相五成在“考绩”中被认为安抚了大量流民，“治有异等”，就得到了明诏褒奖，并提升其俸禄为“中二千石”，赐爵关内侯。另外一位名臣黄霸，曾经因为有过失而被贬，以八百石的官秩再度出任颍川太守，任职八年，郡中大治。宣帝下诏称扬，并给予“赐爵关内侯，黄金百斤，秩中二千石”的额外奖赏。
按照常规，郡太守的俸禄高者为“二千石”（低者可至“八百石”），而王成、黄霸实际享受的“中二千石”俸禄与朝廷诸卿持平。他们的职务尽管没有升迁，但是政绩得到肯定，待遇得以改善，利益得到保障。这不仅对当事人有安抚或激励作用，而且可以给后来人树立榜样，结果是刺激了政风吏治的改善，这些循吏或良吏执法公平，恩威并施，其统治显得“合人心”，“所居民富，所去见（被）恩”，故而得到时人好评。 史称“是故汉世良吏，于是为盛，称中兴焉”。?
惩治贪腐
刘询来自民间，知道百姓对官员贪腐切齿痛恨，所以他一当政，就主张要严明执法，惩治不法官吏和豪强。一些地位很高的、腐朽贪污的官员都相继被诛杀。大司农田延年在尊立汉宣帝时，作用非凡，“以决疑定策”被刘询封为阳城侯，但因修建昭帝墓圹，趁雇佣牛车运沙之机，贪污账款3000万而被告发。有大臣为他说情，认为“春秋之义，以功覆过”，但刘询没有同意，派使者“召田延年诣廷尉”受审，拟以重罚