建国之后,总参谋部是解放军总部第一大部,虽然名义上仍在国防部之下,但其重要性是不言而喻的。在这一时期,三军总参谋长基本上也是由元帅或大将担任,1954年到1958年间,战功赫赫的原三野副司令粟总曾出任过总参谋长。很多开国将领回忆:这是总参谋部工作效率最高的一个时期。
军队系统分为军政与军令两个方面,军政方面负责军队建设,军令方面负责军队指挥,如果军政与军令合在一起,也就是军队建设与军队指挥权限都集中在一个人手上,这种就会形成军阀割据的问题,所以军政与军令必须分开,也就是军长,师长这些军政长官是无权调动的部队。
在20世纪中国军事历史中,军委秘书长和总参谋长两个职务的地位和权力在不同时期发生了变化。首先,在1954年以及之前的时期,总参谋长的地位相对较高,比如在1954年,粟裕担任总参谋长,他的地位高于同期的军委秘书长黄克诚。