作为禁军的头面代表人物，臧希晏当然不乐意了，“漠北王，你们卫戍军的胃口也太大了吧？禁军是整个大唐主要的机动军事力量，你准备留下多少人给我们禁军？如果你抢走四十万的名额，禁军和地方驻军就只剩下十万，如果对半分，各只有五万，地方军负责地方治安，人数不能太少，五万人分到二十二个道，每个道不足三千人，顶什么用？而我们禁军不但要负责京城长安的安全，还要作为机动兵力随时调往各处增援或作为主力大军作战，五万人怎么够？”
作为地方驻军指挥使的代表，河东道都指挥使韩游缳站出来道：“就是！漠北王，你虽然爵位高、年纪大，也不能这么欺负人啊，按照你这么分法，我们河东道每个县只有不足一百人的兵力，仅靠这么一点人马如何能守卫城池和维护地方治安和秩序？”
为了兵力的分配问题，禁军、卫戍军和地方驻军三分争得不可开交，双方都互不相让，最后还是赵子良做了决定，禁军保留十万人，裁撤二十万人；卫戍军保留三十万人，裁撤三十万人，地方驻军保留十万，裁撤二十万，一共裁撤掉七十万人。
裁撤掉的兵士和将校，精锐的一部分兵士分配到各县、各州、各道负充当衙役、捕快，被裁撤的军官和将校分配去做县尉、捕头，同时把原本的那些已经成了老油条的衙役、捕快们裁撤一部分，只留下肯干事、有本事的人，他们腾出来的位置留给被裁撤的一部分精锐兵士和军官，地方驻军如果素质不行，可以考虑全部裁撤，由被裁撤的禁军或卫戍军兵士充当，不过这些都需要地方官府的配合。