蒙古建国之初，由大汗及宗王各自统率军兵，怯薛协助处理军务，并无专设总领全军的机构。元朝建立之后，沿宋、金旧制，于中统四年（公元1263年）五月，设枢密院，专掌军务。《元史·百官志二》载：“枢密院，秩从一品，掌天下兵甲机密之务……世祖中统四年，置枢密副使二员，佥书枢密事一员”，《百官志》没有枢密院使官名的记载，有人怀疑元代无枢密院使这一官称，其实不然，《元典章》卷7“职官条”就明举枢密使之名。《元史·世祖纪》：“（至元二十三年），铨定省，院，台，部官……枢密院除枢密院使外，同知枢密院事一员”。同书《董文忠传》：“（至元）十六年（公元1279年）十月，奏曰：陛下始以燕王为中书令、枢密使”。《南村辍耕录》也有“皇太子立，必兼中书令枢密使”之言。从这些记载可知元代确有枢密院使其官。但这一职务不授于一般大臣，倒由皇太子领其虚衔。《元史·世祖纪》：“中统四年五月乙酉，初立枢密院，以皇子燕王守中书令兼判枢密院事”。同书《裕宗传》：“至元十年（公元1273年）二月，立为皇太子，仍兼中书令，判枢密院事”。所谓“判枢密院事”就是兼枢密院使之意。可见皇太子也领枢密院使之虚衔，而握实权者，则是同知枢密院事、枢密院副使等官。
元代制度，管军政及武器的官吏专由蒙古人任之。色目人已极少，而汉人、南人更是绝不担任。《黑鞑事略》徐《疏》说：“若行军用师等大事，祗鞑主自断：又却与其亲骨肉谋之，汉儿及他人不与也”。《元史·兵志序》也说：“以兵籍系军机重务，汉人不阅其数，虽枢密近臣，职专军旅者，惟长官一二人知之。”所以，有元一代，没有一个汉人知机密院事。仅在元初（即至元元年至四年）赵壁与史天泽两人任过短期的枢密院副官，这是由于世祖初年为了利用汉人之力以征服汉人的需要而任之。枢密院建置之初，以皇子真金为院使，其下仅置副使2人，佥书枢密事1人。至元七年（公元1270年），在副使之上置同知枢密院事1人，佥书枢密院事之下，置院判1人，机构渐趋完备。至元二十三年（公元1286年），增置佥书枢密院事1人。次年，在同知枢密院事之上置知枢密院事1人，为该院之首官。此后，员额虽有增减，但设官则无变化。元代的枢密院还有一些制度特异于前代的：即自置院之初，四宿卫（即四怯薛）即各派代表一人参预院议，四宿卫是皇帝身边的护卫，因其承担职务的重要，故参预枢密院议事，这是可以理解的。至元二十八年（公元1291年）以后中书省也派平章政事2人参决院事，其用意就不甚清楚了。《百官志》称参预院议之平章为议事平章。这种制度至武宗至大三年（公元1300年）废止。
