汉元帝时，皇家威权下降，朝中各种势力乘势而起，展开了争权夺利的斗争。任用外戚是西汉政治长期形成的传统，元帝也不例外。外戚是一个直接依附于太后、皇后或皇帝宠妃的裙带集团。其中，以汉代后期的外戚集团最为活跃，一直是人们所关注的焦点。
汉元帝时期外戚实权者大概有三派人物，并且都是承接时期的权势而来的。一是，汉宣帝母亲王翁须一系，有王接、王商（约宣帝舅父之子），王接于汉元 帝时继史高为大司马，王商汉元帝时为右将军、光禄大夫，汉成帝时继匡衡为丞相；二是，汉宣帝祖母史良娣一系，有史高（史良娣兄史恭之子，汉宣帝表叔），在 宣帝末年拜为大司马车骑将军，领尚书事，受遗诏辅政一直到汉元帝初元五年（前44年）；三是，汉元帝的母亲许氏一系，有许延寿（汉宣帝岳父许广汉之弟）、 许嘉（许延寿之子），许延寿在汉宣帝时为大司马，是史高前任，许嘉于汉元帝时继王接为大司马。
史高、王接和许嘉三位大司马是前后顺接而来的。本来汉宣帝临终前，已给元帝安排好了辅政大臣，第一位是外戚侍中、乐陵侯史高，另两位是太子太傅萧望之和太子少傅周堪，并提升史高为大司马车骑将军，萧望之为前将军、光禄勋，周堪为光禄大夫，三人并领尚书事。
史高是宣帝祖母史良娣的侄孙。宣帝幼年时养在史家，与史高有亲密关系，为此，宣帝十分信任他，让他掌握朝中大权，地位在其他人之上。萧望之、周堪都是元 帝的师傅，又是当代名儒，深谙政事。萧望之又引进宗室明经达学之士刘更生（楚王刘交的后代，成帝时改名刘向）、侍中金敞共参朝政，辅佐汉元帝，史称“四人 同心，谋议劝道，正义古制多所欲匡正”。
萧望之周堪等人寄希望于对皇帝的教育，引导元帝努力实现的“王道政治”的理想，以期改造 一个国家或社会，扭转这一时期的社会风气。他们相信只要统治者以身作则，言传身教，为臣民垂范道德人格，就可以实现天下大治。诚然，教育的功能不可低估， 但绝不是万能的，萧望之等人的想法太过于天真了！元帝即位不到一年，萧望之周堪、史高三人一体的辅政班子，就出现了裂痕。
史高受到排挤，心里失去平衡，与萧望之等人嫌隙日深，便与宦官中书令弘恭、仆射石显相勾结。这就为宦官专权提供了条件，弘、因石二人在汉宣帝时就掌握了朝廷机要。
公元前43年九月，发生了天降陨石和霜冻等自然灾害，使得全国庄稼欠收，饥民遍地。在这种情况下，当时的御史大夫薛广德、丞相于定国，大司马、车骑将军 史高，都以灾异为由上书皇帝，请求准许告老还乡，汉元帝准奏。之后不久，侍中、卫尉王接被封为大司马、车骑将军。两年之后，即公元前41年七月，左将军许 嘉继王接去世后被封为大司马车骑将军。
刘向像元帝利用中朝来控制外朝，大司马大将军是中朝的首脑。之前，原本没有中朝和外朝之 分。皇帝一人之下，丞相统帅百官，总管政务。汉武帝时期开始在以丞相为首的“三公六卿”朝臣系统之外，另在皇宫中又设立了一套机构，叫中朝。由侍中、左右 曹、台中大夫、光禄大夫、尚书和大司马、前后左右将军等天子宾客、心腹重臣组成，能出入宫禁，直接为皇上办事，从此形成惯例。实际上大司马的权力远远要高 于丞相，只在皇上一人之下。由此可以看出史高、王接和许嘉三位外戚把持了整个汉元帝时期的大司马职位，当时他们在朝中确实拥有一定的实力，所以，汉元帝时 期的最高权力始终掌握在外戚手中。在封建社会中，一人得道，鸡犬升天，史氏、王氏和许氏的整个家族势力在他们各自的代表人物掌权之后，会在一夜之间遍布全 国。外戚专权加速了西汉王朝的灭亡。
