当和尚的人也非常多，这些人一定程度上使劳动力人数下降。
他们纷纷进入寺院当和尚就不利于农业生产的发展了。所以后周周世宗决心把多余的劳动力从寺院中解放出来，让他们促进国家的农业生产提高粮食产量，从而为国家发展打牢稳固的基础，。
后周显德二年五月，周世宗柴荣昭告天下，“非敕赐寺额者皆废之，融化寺庙铜像，铸成铜钱和兵器，不能背诵三卷经书者立刻还俗”至此之后，众寺院受到重大的打击，少林寺也未能幸免，直到赵匡胤建立大宋后，才得以慢慢恢复元气；
宋朝前两位官家，虽不像周世宗柴荣那样对佛教严酷打压，但也并没有像唐朝的那些皇帝一样崇佛。所有少林派在宋初一直不温不火，没有了往日的荣光；
直到雍熙三年宋军北伐契丹时，少林派也遣人随其他江湖门派一同参与北伐，并付出了惨重的代价，朝廷念其功德，才对少林派多了一些赏赐与政策上的宽松。