日本在乡军人会最早可以追溯到明治初年。日俄战争结束后,日本各地几乎都成立了在乡军人组织。为了更好的管理统辖退伍军人,减少社会动荡,在田中义一等人的主导下,于1910年组织各地的“在乡军人团”成立了在乡军人会。在乡军人会成立后,其组织日益强化。为适应社会发展的需要,在乡军人的定义不断扩展,在乡军人会的规模也随之扩大。同时,上级组织对于下级组织的管理也不断加强。随着组织工作的不断开展,在乡军人会的组织结构也不断细化。九一八事变发生后,在乡军人会日益发挥出其组织的重要作用。在乡军人会在日本各地制造舆论,鼓动民众捐款制造飞机以及武器和其他军事物资。为适应陆军方面的需要,在乡军人会还展开国防思想普及运动,用各种方式宣传国防思想。同时,在乡军人会还参与到了对青年的训练工作当中,并在日后成立的青年训练所当中担任教职。在乡军人会逐渐转向法西斯化,在国体明征运动中,在乡军人会抨击美浓部达吉的天皇机关说思想,并在日本各地制造舆论,给政府施加压力。二二六事件过后,在乡军人会本部军人会馆成为镇压军的戒严司令部,处于核心的位置。由于少数在乡军人参与到了二二六事件当中,陆军方面进一步加强了对在乡军人会的控制,以敕令的形式公布《在乡军人会令》,使在乡军人会成为敕令团体。中日两国战争全面爆发之后,大量在乡军人被召集入伍,前往中国战场实施侵略活动。到1945年日本战败投降,在乡军人会也宣布解散,其组织的活动也就此停止。