该部于1928年10月成立,同年11月21日国民政府公布组织条例,掌管全国陆海空军行政事宜,设部长1人,政务、常务次长各1人,参事若干人,秘书若干人,初置总务厅及陆军、海军、航空、军需、兵工等署和审查处。
1934年夏天的一个晚上,浙江杭州街头,一辆自行车在中山南路被交通警察拦了下来,理由是车灯不亮,这倒不是啥大毛病,况且那个年代能拥有自行车代步的,跟今天开20来万座驾的档次差不多,因此骑车人虽然穿着便装,还是有些脾气的,三说两说就跟交警吵了起来,小警察也没惯毛病,连人带车都押进了分局!