这就使得原本并不起眼的大番逐步发展成为在江户城和大坂城、骏府城、春日山城、二条城等新直辖城池中负责护卫的在番军势（大坂城两组、骏府城一组、春日山城一组、二条城两组）。当初的六组大番在经过上杉
谦信、上杉氏虎二人的多次扩编后就增加到了十二组之多。
而且，由于在番部队已经离开将军去守卫城郭，维持原有的规则也变得困难。时任摄津守护代兼任大坂城代的千坂景亲就对在番军势制定了相关规定，不仅禁止在番打架争执，还规定没有番头的许可绝对不可出城，不得入澡堂洗澡，不得与番众以外的人往来，不得与在近畿诸国奉公的谱代大名、旗本、外样大名等勾结。
另外，八条景定在离开东都前往京都之前，还为幕府新设置了两个名叫书院番和小姓组的近卫，负责护卫将军本人，也常常近侍于将军、世子左右。
正所谓一代亲两代隔。
景定为了能让上杉氏虎将来坐稳征夷大将军、武家栋梁之位，自然是不能对亲藩大名百分百信赖的。只有进一步加强将军直属力量，才能确保上杉将军家的统治稳如磐石。
之所以被称之为书院番，是因为他们常驻守在江户城白书院的「红叶之间」（先前曾常驻守于虎之间），小姓组则常驻于黑书院的「西湖之间」，因其庭前有片花田，也被称为「御花田番」（明历三年大火之后取代书院番居于「红叶间」）。
在天正二年以后，上杉氏虎还设立了新番，因驻扎于江户城的「土圭间」（后改为桐之间），因此得名「土圭间组」。
这些驻守在江户城中的宿卫军势是随着大番开始在大坂城、骏府城、春日山城、二条城等直辖城池驻守而发展起来的，其主要构成为原上杉谦信麾下的段母衣众。
之后，这些宿卫军势还被第二任将军上杉氏虎分割再编为书院番六组、小姓组六组。此时，书院番头（兼任小姓组番头）是上杉氏虎年少时的近臣樋口兼续（樋口与六，樋口兼丰长子）、色部长影（色部胜长之侄）、新发田盛喜（新发田重家之弟）等人来担任。至于无法继承旗本家业的次男和三男，则是被上杉氏虎进行吸收，用于对书院番、小姓组、大番等军势进行一定增强和再编。