日本军人所谓的“小小的哈尔滨，大大的平房”，在某种意义上正说明了这一点。就其规模来说，实属世界上最大的细菌工厂。就其地位来说，它归属日本陆军省、日军参谋本部和日本关东军司令部双重领导。人事配备是很强的。拥有从事细菌战研究工作人员二千六百余人，其中将级军官五名，校级军官三十余名，尉级军官三百余名。

从一九三六年到一九四二年七月由石井四郎中将为部队长，一九四二年八月到一九四五年二月北野政次少将接任部队长，一九四五年三月到同年八月石井四郎又重任部队长。它的直属各个部以及各个支队都配备佐级军官负责，对一些重要部门都配备了少将级军官负责。

731部队分为八个部和四个支队第一部负责细菌研究，菊地少将为部长。

第二部主要负责细菌试验，由太田大佐兼任部长。

第三部负责细菌武器的制造，由江口中佐任部长。

第四部负责细菌生产，由川岛少将任部长。这个部下设两个分部，每一分部按照分工独立地进行各种细菌的生产。

第五部是总务部，起初由中留中佐为部长，后由太田大佐兼任。该部是731部队本部的综合部门，权力很大，它不仅负责整个部队的财务管理、生产计划、人事分配，而且更重要的是直接与宪兵队联络和接收作细菌试验的人。

第六部是训练教育部，起初由园田大佐任部长，后来由西中佐接任部长。第七部是资料供应部，由大谷少将任部长。这个部负责各种器材、设备的供应。

第八部则是诊疗部，由永山大佐任部长。这个部负责对细菌传染的预防和日本人的疾病医疗事宜。

与各部平行的还有一个石井特别班，由石井四郎的家族人员亲自把持。石井四郎的二哥次男刚男负责“特别秘密监狱”的管理，石井四郎的三哥三男负责试验动物饲养的领导工作。

石井的细菌部队除了平房本部即731部队外，还有4个支队：

162部队（林口支队）：设于林口县，支队长西俊英军医中佐，后由榊原秀夫军医少佐接任。

643部队（牡丹江或海林支队）：设于海林镇，支队长尾上正男军医少佐。

673部队（孙吴支队）：设于黑河市孙吴县，支队长西俊英军医中佐。

543部队（海拉尔支队）：设于海拉尔市，支队长加藤恒则军医少佐。

319部队（大连细菌研究所）：设于大连市，前身为南满洲铁道株式会社卫生研究所，1939年划归731部队。