1884年日本在舊式軍隊的基礎上首次組建了6個正規陸軍師團，即第一至第六師團。甲午戰爭以後，日本又組建了6個正規師團，即第七至第十二師團。1907年，日本在日俄戰爭後，再次擴充6個正規師團，即第十三至第十八師團。1915年，日本又在被其侵佔了朝鮮組建了兩個陸軍師團，即第十九第二十師團。這樣，加上守衛日本東京皇宮地區的日軍近衛師團及4個駐紮在各地的獨立混成旅團，就構成了日本帝國主義陸軍平時的基本框架。1937年之前，日軍的總兵力不過21個師團，合計50萬人。
日軍其陸軍常備主力師團（師）有甲、乙、丙三種。1－20師團是甲種師團（1937年前組建），21－49師團是乙種師團（38年－41年組建），50－109師團為丙種師團（41年後組建）
【甲種師團】：
下轄有兩個步兵旅團（旅），每個步兵旅團（約7700人）下轄兩個步兵聯隊（團），每個步兵聯隊（約3870人）下轄三個步兵大隊（營），每個步兵大隊（約1215人）下轄四個步兵中隊（相當於連，二戰期間每個步兵大隊增加一個重機槍中隊），每個步兵中隊（約250人）下轄三個小隊（排），每個小隊約70人。另外，師團還直轄騎兵聯隊（約1400人）、炮兵聯隊（約2500人）、工兵聯隊（約1500人）、輜重兵聯隊（約2800人）及通信隊（約650人）、衛生兵（約500人），野戰醫院（約150人）等。一般齊裝滿員的日軍常備主力陸軍師團兵力往往可達2.4萬人，擁有戰馬7630匹、步騎槍14900支、山炮16門、野炮36門等武器裝備（二戰時期增加了擲彈筒144個、輕機槍288挺、重機槍54挺），是具有多兵種配合的有強大戰鬥力的作戰單位，故這種師團又被稱為甲種師團。
【乙種師團】：沒有旅團級建制，由師團直轄三個步兵聯隊，每個聯隊下轄三個步兵大隊，同時指揮炮、工、騎、輜重兵聯隊等單位，全師團定員減至1.8萬人，配備軍馬2065匹、步騎槍8940支、擲彈筒216個、輕機槍216挺、重機槍54挺、平射炮18門、山炮12門等武器裝備。八年抗戰中，日軍組建的第二十一師團至四十九師團
【丙種師團】：恢復了旅團建制，但取消了旅團下面的聯隊，即每個師團下轄兩個旅團，每個旅團直轄四個步兵大隊，全師團共八個步兵大隊，加上師團直屬的炮兵大隊、工兵大隊、輜重兵大隊、通訊大隊等單位，全師團定員1.3萬人，配備軍馬2550匹、步騎槍6500支、擲彈筒192個、輕機槍192挺、重機槍48挺、平射炮16門、迫擊炮32門、野炮12門等武器裝備。二戰中，日軍第五十師團至第一0九師團均屬這種編制的部隊。