秦滅亡后，漢朝建立。漢襲秦制，繼承秦代的三公九卿之制。劉邦起事，最終得天下，靠的是一班與他一起出生入死的功臣，因此漢朝建立之初，功臣的權(quán)力一般很大，許多人也敢于與皇帝面折廷爭，丞相一職基本均由開國功臣擔(dān)任。據(jù)《漢書》載：漢高帝元年(公元前206年)，漢高祖以蕭何為丞相，十一年更名相國，“相國、丞相，皆秦官，金印紫綬，掌丞天子助理萬機”。

至于“大司馬”一職，很多學(xué)者認為始于漢武帝時期，殊不知，高祖時期就已經(jīng)出現(xiàn)了。據(jù)《史記高祖功臣侯者年表》中就提及丁復(fù)曾任大司馬：“(陽都侯丁復(fù))以趙將從起鄴，至霸上，為樓煩將，入漢，定三秦，別降翟王，屬悼武王，殺龍且彭城，為大司馬;破羽軍葉，拜為將軍，忠臣，侯七千八百戶。”

不過，這一時期的“大司馬”與武帝時期的“大司馬”還是有很大區(qū)別的。

武帝即位以后，采納董仲舒的“推明孔氏，抑黜百家”建議，獨尊儒家學(xué)說，進行泰山封禪、改正朔、易服色等活動，神化皇權(quán)，君主中央集權(quán)進一步加快。

同時，針對丞相的權(quán)力過大這一問題，武帝也采取相應(yīng)的措施。元朔五年(公元前124年)，武帝一改之前以功臣子孫列侯任丞相的傳統(tǒng)，任命平民出身的公孫弘為丞相，封平津侯。

原本無爵位的公孫弘，能得到武帝所賜的丞相與爵位，對武帝可謂言聽計從，“每朝會議，開陳其端，令人主自擇，不肯面折庭爭”(《史記》)，在公孫弘后相繼的六任丞相，獲罪自殺的兩人，下獄處死的三人，皇權(quán)得以大大加強，而丞相的權(quán)力則被大大削弱。

可見，武帝之設(shè)大司馬職官，只是用來“冠將軍之號”，即加官之大司馬。而高祖時期的“大司馬”是高級將領(lǐng)之大司馬，兩者有著本質(zhì)的區(qū)別。

自武帝后，盡管改太尉為大司馬，其性質(zhì)也僅是加官，空有名號，并無軍政實權(quán)。

昭帝以后，內(nèi)朝為中央樞機，掌中央機密決策，大司馬作為內(nèi)朝領(lǐng)袖，可領(lǐng)銜在內(nèi)朝預(yù)聞?wù)拢瑓⒆h決策，即“輔政”，輔助皇帝行使君權(quán)，地位最高的輔政大臣。

為更好地體現(xiàn)輔政職能，大司馬又常攝領(lǐng)尚書事，自宣帝至西漢末年，“凡受遺詔輔政者，皆領(lǐng)尚書事，成為故事”。

如霍光，擔(dān)任大司馬，卻擁有廢立之權(quán)，即使天子本人對其也是“虛己斂容，禮下之已甚”。據(jù)《漢書霍光傳》載：“黨親連體，根據(jù)于朝廷。光自后元秉持萬機，及上即位，乃歸政。上謙讓不受，諸事皆先關(guān)白光，然后奏御天子。光每朝見，上虛己斂容，禮下之已甚。”

再如王莽，據(jù)《漢書》載：“秉政，百官總己以聽。”又如東漢末李傕，將天子當(dāng)成傀儡，玩弄于股掌之間。

當(dāng)然，以上這些僅為特例，但也可看出“大司馬”之職曾擁有的“特權(quán)”。

據(jù)不完全統(tǒng)計，西漢時期擔(dān)任“大司馬”之職者共計二十二人，其中王商與王莽就曾兩次擔(dān)任。兼有車騎將軍之號者八人，兼衛(wèi)將軍之號者六人，兼大將軍之號者四人，兼驃騎將軍之號者三人。而王莽、師丹、傅喜三人僅為大司馬而無將軍之號。

至東漢時，漢光武帝又重新將大司馬改為太尉，太尉的職權(quán)又日益加重，除軍事顧問外，還綜理軍政，儼然手握軍權(quán)政權(quán)的重臣。