杨聪三人来到少室山下，只见少林寺三面临壑，背靠五乳峰，东临太室山，西是少室山上的万丈悬崖峭壁，前面的少溪河似一条玉带绕寺而过，远见香烟缭绕，梵音袅袅传来，真乃绝妙圣地。杨聪三人来到山下投递了名贴，便有僧人引三人上山，这上山之路也是戒备森严，每一处险要之处均有僧人把守。
少林寺最早建立于北魏太和十九年，是孝文帝为天竺高僧跋陀修建的住锡之地，南朝刘宋末年，南天竺国秀玉王的儿子菩提达摩放弃王位的继承权，师承古天竺禅宗二十七祖般若多罗，学习佛教禅宗之法，禅宗主张坐禅“壁观”，面壁沉思，姑息众念，领悟禅理，后来他便成为禅宗二十八代传人。菩提达摩于北魏孝昌三年从天竺来到中原，他四处云游四海，最后来到少室山下，见此处群山苍翠，峰峦起伏竞秀，于是便在少室山半山腰的一个天然山洞里面壁十年，参禅悟理，终于参透了佛教的禅理，便在此修建寺庙，开山收徒，宏扬佛法，他也成为了少林派的开山祖师爷，少林寺也成了禅宗的祖庭。菩提达摩就成了少林派的达摩老祖，他参禅的山洞便叫达摩洞，他最初建立的寺庙后人便称为初祖庵。
达摩老祖最初收了四个弟子，其中得他衣钵的弟子叫彗可，又称禅宗二祖，彗可俗名叫姬光，他为了向达摩老祖求佛法，千里迢迢来到少室山拜师学艺，达摩老祖开始时并不理会他，彗可于是在大雪天立在洞外，经过了一天一夜，雪深过膝盖，达摩老祖仍然不答应他的要求，于是彗可自断左臂，以表示学佛法的决心，达摩老祖见他心诚，便将他从天竺带来的袈裟和饭钵传授于他，赐名彗可。这就是后来“立雪传经”、“断臂求法”、“衣钵真传”三个典故的来历。
彗可之后是三祖僧璨、四祖道信、五祖弘忍，五祖以后禅宗分为南宗和北宗，当时禅宗五祖弘忍门下有弟子一千多人。一天，弘忍召集门徒说：“佛门弟子应以超脱生死为人生大事，你们谁能用偈语以世间之福把人们从人生苦海中解救出来，我就把衣钵传给他。”他的弟子们苦思冥想，也想不出来，只有他的大弟子神秀偷偷在墙上写了一首偈颂：“身是菩提树，心如明镜台，时时勤拂拭，莫使有尘埃。”但此偈语还没悟到佛的本意，弘忍并不满意，叫他继续思考，但神秀苦思冥想，再也想不出更好的来了。又过了几日，有人针对神秀这首偈颂写了一首新的偈颂：“菩提本无树，明镜亦非台，本来无一物，何处有尘埃！”这首偈颂才真正道了出佛的本意，弘忍大是赞赏，但不知道是谁所做，他经过几经周折，终于查出是一位叫慧能僧人所做。
这慧能只是一名舂米劈柴的小僧，并没有读过佛经，也没有听过佛法，却能悟出佛的真谛。弘忍大为称奇，于是偷偷为慧能传授金刚经，并把达摩佛祖的衣钵传给他，令他连夜出走，到南方的国恩寺弘扬佛法。后来慧能便成了禅宗六祖，也成了禅宗南宗的创始人。慧能因为当年弘忍传衣钵给他，引起了许多纠纷和争斗，他死后，便不再传衣钵给弟子，而是把佛祖的衣钵藏了起来，于是禅宗衣钵便只传了六代。