当时的徐州，面临着对东吴帝国的最前线，常年的战争搞得民不聊生，也逼得很多人当起了土匪强盗，王祥到任以后，主要的任务就是带着官军去讨伐强盗，在经过无数次战斗以后，徐州境内基本清净，老百姓也终于能够安居乐业了。当时的老百姓还编了一首歌来歌颂王祥：“徐州的安乐，全靠王祥；百姓不穷，是王别驾的功劳。”
一个有些能力的著名孝子，在当时是备受欢迎的，不久，徐州推荐王祥做了秀才（杰出官员），王祥被提拔到司马家族的发源地温县（河南温县）做了县令，经过多次升迁，升任大司农（农林部长）。值得注意的是看，我们并不知道王祥在曹爽时代的详细事迹，事实上，在《晋书》里，只要是像郑冲、王祥、陈骞这类横跨曹魏、西晋的大臣，都被刻意的抹去了在司马懿政变前后的那段历史，因为在西晋的史书上是绝对不会记载这些所谓的高官、楷模是如何抛弃曹魏皇室，又迅速的转投到司马家族旗下的，以至于后人再也不知道这些人在司马懿政变之中是怎么改头换面的。
我们唯一知道的就是，当曹芳被司马师废掉以后，王祥积极的给司马师出谋划策，最后帮助司马师确立了曹髦继承皇位，司马师为了感谢王祥的孝心，封他为关内侯爵，让他做了光禄勋（名义上的皇宫禁卫军司令），不久又让他担任司隶校尉（首都军区司令），负责整个首都内外的安全。
司马师讨伐毌丘俭的时候，王祥也跟着出兵。毌丘俭死后，王祥被任命为太常（祭祀部长），晋封为三级侯爵万岁亭侯，增加四百户人家的税收。后来，刚刚即位的曹髦去太学（中央大学）视察，任命王祥为三老（国家级杰出老者），王祥按照皇帝老师的待遇，拿着拐杖靠着桌子站在北边，而曹髦则以学生的姿态站在南边请求指教，王祥按照例行的礼仪，向曹髦讲述了古代明君如何执政的要点，从此以后，王祥虽然不是皇帝的老师，但在人们心中，他已经是极少数能够教皇帝知识的长者了。
曹髦被杀的时候，大臣们都被司马昭招去商量该怎么办，当时人们都害怕司马昭报复，所以只有司马孚、陈泰这些人司马家族的老牌儿成员敢哭一哭，而王祥作为本朝第一道德楷模，也一把鼻涕一把泪的痛哭了一把，口口声声还喊着“老臣没脸见人”。但是，由于王祥是道德楷模，他又在实际上跟着司马家族，因此司马昭虽然心里觉得不是滋味儿，但是也不方便对王祥有什么处罚。
公元260年12月6日，也就是新一任傀儡皇帝曹奂即位不久，王祥升任司空，终于进入了一品大臣的行列。公元264年3月17日，王祥又转任太尉，兼任侍中（皇帝高级顾问）。两天之后，在把亲信们都升官以后，司马昭晋升为晋王。
新老大新气象，作为亲信，自然要去拜见一下。当时，和王祥同一天被任命为一品大臣的司徒何曾、司空荀顗，按照礼仪，要一起去拜见司马昭。何曾作为司徒，是名义上的大臣首领，所以先进去拜见，由于何曾是司马家族的老牌儿铁杆儿，一见司马昭就像见皇帝一样跪下磕头作揖。荀顗见这种情况，就对王祥说：“司马大人又是相国、又是晋王，是一人之下、万人之上，何曾和所有大臣们都是大礼参拜，咱们哥俩也应该随大流。”王祥却说：“相国虽然尊贵，但他仍然是国家的首辅大臣。我们是国家的三公，最尊贵的三个一品大臣，跟他只差一个等级，而且官品还都是一品，哪有三公随便给人家磕头的？传出去既损害曹魏帝国的威望，又伤害晋王的名声，正人君子要按照礼仪待人，我是不会下拜的。”
荀顗被王祥貌似正义的话呛得不知该说什么好，只好随他自己来。等见了司马昭以后，荀顗像绝大多数人一样乖乖下跪，而王祥只是深深的鞠了一躬、拱了拱手。司马昭知道王祥这么做，是为了告诫自己篡位的野心不要那么表现的那么露骨，就感激的对他说：“今天才知道你被赏识的原因了！”
司马炎称帝以后，王祥被任命为太保，和太宰司马孚、太傅郑冲一起，成为皇帝的三个老师，爵位也晋升为睢陵公爵。这个时候，王祥已经整整八十岁了，像何曾、郑冲、荀顗这些顶级高官一样，都进入高龄，所以当时的司隶校尉（首都军区司令）李熹、御史中丞（大监察长）侯史光，也建议让王祥退休养老，但司马炎没有同意。像郑冲一样，王祥也能够急流勇退，在人家要赶他的时候，主动请求辞职。最后，司马炎答应了王祥的请求，但保留了他的所有待遇，并且赏给他很多好东西来养老，还让他的儿子王肇当了给事中（皇帝中级顾问）来安慰他。
之后的王祥，彻底消失在人们的视野里，公元268年4月2日，这位自东汉末年以来就闻名天下的孝子和道德楷模，以85岁的高龄寿终正寝。临死前，王祥劝家人不要悲伤，不要厚葬。当时，司马炎的老娘也刚死一个月，司马炎光顾给自己的老娘办丧事，没能顾得上参加他的葬礼，等到忙完了，司马炎特别颁布诏书，对王祥的死表示哀悼。和郑冲一样，王祥也没有特别置办什么家产，所以这个一品大臣死后，除了司马炎赏赐的那点儿东西外，没能给儿子们留下太多家产。
王祥有五个儿子：王肇、王夏、王馥、王烈、王芬。王肇虽然是长子，但他是小老婆生的儿子，大老婆生的大儿子王夏又死得早，所以就由王馥继承了爵位。由于各种原因，王祥的后代中并没有特别出名的人，真正把王氏家族发扬光大的，反而是王祥的弟弟王览的后代。
王览在跟着王祥到徐州任职以后，也逐渐升官发财，最后担任了太中大夫（国家中级参议官），在公元278年去世，享年73岁。根据《晋书》记载，在王祥、王览兄弟还在徐州刺史吕虔手下做事的时候，吕虔有一把佩刀，有一个铁匠看了以后，对这把刀大为赞赏，说只有一品大臣才配得上这把刀。吕虔当时只是省长级的高官，就把刀送给王祥说：“我不是一品大臣，恐怕无福消受这把刀，你有公爵丞相的气量，这把刀就送给你吧！”当时，王祥坚决不要，一是不好意思要吕虔的心爱之物，二是他也认为自己都快六十了，恐怕没有做一品大臣的福分了，最后，吕虔坚持要把刀送给王祥，王祥只好接受了。等到临死的时候，王祥又把刀交给王览，对他说：“你的后人必定会兴旺发达，一定够资格拿这把刀。”
王览有六个儿子，分别叫王裁、王基、王会、王正、王彦、王琛。除了王彦的后代没什么出息，其他五个儿子的后代，都在西晋末年开始崭露头角，最终影响东晋政坛几十年，在两晋、南北朝时代还出了好些个文学家、艺术家，一直到唐朝初年，都是响当当的大家族。
琅邪王氏之所以在后来能成为绵延六百多年的名门，当然首先是因为祖先王吉开创了做儒学官员的家风，但是让琅邪王氏在整个士族时代初期，尤其是魏晋交接时期能够爬上高位的，当然是王祥。两汉时代曾经很多的名门望族，在东汉末年和魏晋交接两个时期大半儿落马，只有渡过这两个劫难的，才能在之后的士族时代中存活并且发展，成为百年以上的正宗士族，从这个意义上说，没有王祥，也就没有后来琅邪王氏最辉煌的时代。
然而作为一个国家顶级大臣来说，和郑冲一样，他实在不配做皇帝的老师。除了胡编乱造、虚伪至极的孝行，和对曹魏帝国做做样子的忠诚，他实在没有什么值得我们学习的地方。孝行在他手中，只不过是博取功名、打开财富之门的钥匙，他唯一能够成为西晋初年第一道德楷模的真正原因，和郑冲完全一样，司马家族需要几个名声好的老骨头来装点门面，而王祥只不过碰巧正是其中最符合要求的、还活着的人之一。