胡适家的房屋，是他父亲当官以后新盖的二层楼房。正面墙上有腾飞的门檐，门檐下两扇黑漆大门，门上贴着“僧道无缘”的大红纸条。这是旧日理学家庭的典型标记。胡适的叔父兼老师胡介如家，门上也贴有“僧道无缘”的纸条。他们都笃信程朱理学，不言怪力乱神，不信道家佛家，也不布施和尚道士。贴有这“僧道无缘”的条子，和尚道士就不好登门化缘了。
但是，胡家的女眷却深信神明菩萨。胡传死后，大门上“僧道无缘”的纸条由红变白，后来竟完全剥落，无影无踪了。女眷们便诚心而自由地求神拜佛。家里人有个三灾两病，便念经许愿，求神佛保佑；甚至恭请和尚到家里来，放焰口，超度冤魂。
胡适说，“星五伯娘几乎是这个大家庭的‘母’，辈分高，德望重，晚年更是吃了长斋，拜佛念经是她主要功课。四叔与受过新教育、颇有新思想的三哥都不能劝阻她。三哥嗣过继与星五伯娘的小儿子守瑜，称星五伯娘为‘祖母’。由于他从小得肺痨，星五伯娘就常为他的病拜佛求神，设蘸许愿，甚而招集和尚来家中放焰口超度冤魂。嗣只能坚持自已不行拜，绝不敢公开反对‘祖母’的善行。”
每当这种场合星五伯娘就叫胡适去替代嗣跪拜行礼。胡适从小本来就身体弱，病痛不断，对于胡适加入拜佛求神的行列，他母亲不仅十分赞同，而且还时常请星五伯娘带胡适外出烧香拜佛。每当她自带胡适回娘家中屯，十里路上所过庙宇神亭，凡有神像位的，她总要领着胡适拜揖，并郑重教导胡适拜神拜佛时必须诚心敬礼，不能敷衍了事。
童年的胡适不知不觉中也成了这个拜佛阵营中的一员。这个阵营中还有一个重要骨干：胡适一个哥哥的丈母娘，她不仅是那位星五伯娘吃斋念佛的最好搭档，而且知书识字，有理论武器。她常来胡适家中寄住，随身也带来了许多拜佛文化的典籍，如《玉历钞传》、《妙庄王经》等“善书”，并常常与小辈讲述目莲救母游地府、妙庄王的公主(观音)出家修行的故事。
胡适本来在戏台上已看过《观音娘娘出家》全本连台戏，小小脑子里已有”地狱”的初步印象，等读了哪些“善书”典籍之后，对神佛那一套迷信的东西了解加深了。在这样的家庭环境气氛中，小小的胡适自然也就跟着她们一帮信徒拜佛行礼。
胡适说：“我11岁时，一日温习朱子的《小学》，这部书我能背诵却不甚了了。我念到这位理学家引那位历史学家司马光攻击天堂地狱一般信仰的话。这段话说：‘形既朽灭，神亦飘散，虽有剉烧舂磨，亦无所施。’这话好像很有道理，我开始怀疑死后审判的观念。”
他细细体味了“形既朽灭，神亦飘散，虽有锉烧春磨，亦无所施”几句话，忽然高兴得直跳了起来，《目莲救母》、《玉历钞传》等书里的地狱惨状、放焰口的和尚陈设在祭坛上的十殿阎王的画像，一一都呈现在眼前，但胡适已经不感觉到害怕了。他再三念叨着这几句话，心里很高兴，“真像地藏王菩萨把锡杖一指，打开地狱门了”。
同在那一段时间内，小胡适又发现了范缜的反因果轮回说，使他的思想受到了更加激烈震荡。从此便成了范缜和司马光的信徒。
他不止一次地说过：“司马光的神灭论教我不怕地狱；他（范缜）的无因果论教我不怕轮回。我喜欢他们的话，因为他们教我不怕。我信服他们的话，因为他们教我不怕。”
范缜在《神灭论》中写道：“形者神之质，神者形之用，是则形称其质，神言其用，形之与神，不得相异也。名殊而体一也。”译成白话：形体是精神的实质，精神是形体的作用，所以形体是从实体方面讲的，精神是从作用方面讲的，形体和精神是不能相互分割的。名称不同，本体还是一个。对于范缜“形者神之质”这三十五个字的理论，胡适十分信服，后几十年里时常提及，还专门写过条幅送人。
他反复强调：“只读了这三十五个字就换了一个人。”
“只读了这三十五个字就换了一个人”，这未免有些夸张。其实，同样是“拜佛行礼”，胡适与那些痴心笃定的信徒门是不一样的。做一个死心塌地的迷信者，或是需要狂热的崇拜，或是需要坚固的成见，至少是无助、无路、无知灵魂的精神寄托。而这些东西，胡适是没有的，而且，不要忘了他那独立思考的本事。
童年的胡适在思想上经过了范、司马光这一番点化，几平可以说是发生了一场“革命”，获得了一种“解放”。但在他母亲面前，当然还不敢公然发表非鬼神的狂悖言论，母亲叫他去神寺佛亭烧香还愿，他还得硬着头皮去敷，满心里的不愿意，但行动上终不敢有所表露。
长期的神鬼偶像的压追使他产生了一种激烈反抗的念头。
村旁小庙里有几个罗汉菩萨。胡适到外婆家，常和小伙伴们去小庙或亭子里玩。他领着打菩萨的耳光，但不明显打坏；有时又拔去菩萨的几根胡须，也绝不拔光。因此，一直没有被大人们发觉。
十三岁那年的正月，他从大姊家拜年回上庄的路上，经过中屯外婆家。中屯村外有个三门亭，亭里供着几个神像。他与同行的外甥章砚香说：“这里没有人看见，我们来把这几个烂泥菩萨拆下来抛到毛厕里去，好吗？这个突然其来的毁佛主张将他外甥与跟随着挑担的长工吓坏了。
他们当然一致反对：“舅，菩萨是不好得罪的。”
胡适大为扫兴，一个人拆毁不了菩萨，准备拾了些石子去掷神像。而恰好村子里有人走来了，胡适只好沮丧地离开。这一次暴力反抗的未遂，使他心理很受压抑，也很不痛快，在当天晚上又以另一方式发泄。他多喝了一二杯烧酒，便借酒力佯作醉状，说了很多不敬神明的话。
这吓坏了同行的人，那挑担的长工先到胡适母亲那里告了密：“摩舅今夜怕不是吃醉了罢，…他今夜嘴里乱说话，怕是得罪了神道，神道怪下来了。”他全盘托出了胡适在三门亭里倡议毁坏神像的经过。这个说法很快又得到章砚香的证实。
胡适母亲急忙“自己去洗手焚香，向空中祷告三门亭的神道”，诉说儿子年少无知触犯神道，但求神道宽宏大量不计较小孩子的罪过，目后一定亲到三门亭烧香还愿以罪。
一个月后胡适母亲真地带着胡适去三门亭还愿。她拿出钱来，在外婆家办了猪头供献，备了香烛纸。胡适只好又恭恭敬敬地行礼跪拜谢神，他终于受到了一场“比挨打还更难为情的责罚”!
胡适曾反复强调:“我只读了这三十五个字就换了ー个人。”他认为司马光本人也深受范缜的影响，所以当他编撰《资治通鉴》时，硬把《神灭论》中这最精彩的三十五个字插入进去，说决想不到，八百年后这三十五个字竟感悟了一个十ー二岁的小孩子，竟影响了他一生的思想。这件事成了胡适日后发挥他的《社会不朽论》的重要例证。
从那时起胡适对司马光与范缜的言论文章便十分注意，对他们两人的思想贡献耿耿不忘。胡适后来曾专门论证了司马光是两宋儒学复兴的真正开山者，移了北宋五子邵雍、周敦颐、程源、程张载的传统地位。他认为两宋儒学的崛起是把中国思想界从一千年印度思想中解放出来的伟大的复兴运动，这个运动得功于司马光。他对范更是感情深，日后他凡有言论中涉及无神论的，都必然要提及范填。
1914年8月24日胡适在他的留学目记中专门做了一节(神灭论与神不灭论)的读书笔记，认真排列了范镇(神灭论》的主要观点：“一、形即是神神即是形。二、人体是一，放神不形者神之质神形之用。三、百体之质之形，总百体之谓之神。四、而生者就而灭者，渐而生者，渐而灭者。”
他还专门罗列了反对神灭论主要观点，如梁武帝的答臣下神论，沈约的形神论、《不灭论)、(范神灭论)等，比较研究，认真推理，并引沈约く神灭论)中一段论指出了范“三十五字”理论存在的缺陷。
又说：“吾十二岁时读(通鉴》，见范缜此警，以为精辟无伦遂持无鬼之论，以此为中坚。十七岁为《竞业报》作《无鬼语》亦首此则。多年来，稍读书治科学，始知其论理亦有，而不知氏在当时已见及此也。”
尽管如此，他对范缜的崇拜并未丝弱，在1946年4月还专门写了篇关于范缜发表《神灭论》的考证文章。很巧的是，胡适的父亲胡传也曾对范缜发生过兴趣，他在光绪二十一年三月二十日的日记里居然亦清清楚楚地记录了那“三十五字的神灭论”和“人生如树花同发”的“偶然论”。真所谓有其父必有其子。
不过，胡适说过；“我父亲死得太早，我离开他时还只是三岁小孩，所以我完全不曾受着他的思想的直接影响。＂
从小就从迷信中解放出来，必定能够在做学问的道路上更易接近真理和事实真相，毫无疑问，这对于胡适的一生及其所取得的成就举足轻重。
宗教学家楼宇烈如是评道：“胡适是中国近代史上第一个以非信仰者的立场，用思想史的眼光、历史学的态度和方法研究禅宗史的人。”