明清以来,在北京内外城、关厢及京郊地区形成了多处回民聚居区。清末,随着中国近代教育的转型,新式教育应运而生,各级各类新式学校开始出现,其中小学是设立数量最多,影响范围最广的新式学校。此时,私人办学风气兴盛,在回民聚居区内也开始出现新式小学。1908年,牛街地区出现了第一所由回民自办的新式小学,即京师清真公立第一两等小学堂,该学校于1912年被京师学务局接收,正式变成了由官方出资办理的学校。民国成立后,国家继续鼓励私人办学,回民聚居区内相继出现多所新式小学,办学形式多样,包括同业公会小学、中学附属小学以及短期小学。20年代后期出现的回族新式中学,如西北公学、成达师范学校,均附设小学部,并拥有强大的社会资源,经费来源稳定,吸引众多力量单薄的小学纷纷向其靠拢,或归并或改隶。这些小学成为附属小学之后,每月都可得到中学的固定补助,使其运营基础稳固。30年代,在国家普及义务教育政策的推动下,一批短期小学也开始出现于回民聚居区内。这些新式小学的设学点在回民聚居区中,均为私人创办并经营。阿訇作为传统回族社会中的仪式专家,动用清真寺公产,在寺内创办学校,并吸引众多回民子弟入学接受新式教育。回族军政商界人士亦参与其中,为创办新式学校提供支持。回族新式小学虽然保留了部分回族传统文化,如教授阿文课程、周五下午休假等,但是其招生时却没有明显的民族区分,采用“回汉兼收,不分畛域”的制度,在一定程度上打破了回汉隔阂,拉近了回汉民众之间的关系。出现于1902-1937年的回族新式小学,不同于以往回族社会中专门教授儿童阿拉伯语拼读和民族日常生活礼仪的传统教育,而是在教育改革的形势下,为满足国民教育需求而创办的,培养了新式人才,是时代发展的产物。但是这些在国家普及义务教育的背景下创办的新式小学,修业年限为4年,过多重视对于儿童书本知识的传授,忽略了对其实际操作能力的培养,使多数学生面临“毕业即失业”的局面。