在羊祜34岁那年，也就是公元255年2月5日，司马炎的老爸司马昭正式接手司马师留下的霸业，成为曹魏帝国的大将军、实际掌权人。在司马昭上台以后，他立刻派人去找羊祜，想让他到自己的大将军府做事，但是直到这个时候羊祜还没有答应，还是不想直接和司马昭扯上关系。直到司马昭用曹魏皇帝的名义召他做曹魏帝国的正式官员，羊祜才开始步入政坛。
由于本身就和司马家族沾着亲，同时和曹魏帝国皇室也保持着面子上的温情，所以司马家和曹家两方都看好的羊祜，仕途自然是一路绿灯，他先担任了中书侍郎（皇帝办公室委员委员），后来又调到皇帝曹髦身边当了给事中（皇帝中级顾问）、黄门郎（皇帝秘书侍从）。曹髦被杀以后，曹奂继续当傀儡皇帝，羊祜认为给这个比囚犯还不如的皇帝做事，根本不会有出息，就想办法转任了中央图书馆馆长（秘书监），也就是在这个时候，已经步入中年的羊祜义无反顾的离开了曹魏皇室，成为了司马家族的干将。
在司马昭时代，同样是大士族出身的钟会正在得宠，可以说是司马昭的第一高参，很多人为了争取一个好的前途，都争着抢着和他结交，可是羊祜却对钟会敬而远之。要说羊祜的眼光，确实不是吹的，他好像料定了钟会这种人不会长久似的。后来，钟会果真就因为叛乱被杀，司马昭从此改变重用士族的做法，提拔了一大批亲戚和出身并不太显赫的亲信进入中枢，而羊祜作为司马家族的亲戚，自然得到特别重用，在司马昭身边担任了从事中郎（秘书长），和另一个亲信荀勖一起负责中枢机要。不久，羊祜再被任命为中领军（中央禁卫军司令），统领宫城、皇城及首都内外的所有禁卫军，负责监视曹魏皇帝，保卫司马昭的安全。司马昭建立五等爵位以后，羊祜被封为巨平子爵。
司马炎登基后，对所有忠于自己的下属们，都给予了升迁，劳苦功高的羊祜也在本职位上升任中军将军，同时加授皇帝骑马侍从官（散骑常侍），封为巨平公爵，享受三千户人家的赋税。羊祜这个时候，才刚刚44岁，当时司马家族的第一重臣贾充，也才是公爵而已，可见司马炎对羊祜的器重。羊祜怕引起贾充这些人的妒嫉，坚决不接受公爵，司马炎也明白了羊祜的一番苦心，同意了他的要求，只让他升为巨平侯爵，但是封他的妻子做了诰命夫人。
司马炎为爸爸守丧的时候，坚持要按照几百年前最古老的儒家传统要求，穿三年孝服、吃三年素食。羊祜知道以后，劝司马炎干脆恢复全部老传统，让所有老百姓跟着司马炎一起穿三年孝服、吃三年素食。当时就有人反驳他，说这样干过于劳民伤财，况且那种过于理想的守丧制度，过于死板，根本行不通，于是羊祜才不再提出让天下恢复古制的话。从这件事上，人们更加了解到羊祜对于儒家伦理道德是多么执着，很多人虽然不认同他过于虔诚的做法，但对他的精神都心存敬佩。
不久，司马炎就特别颁布了一道诏书，把羊祜晋升为卫将军，同时兼任左仆射（国务院副总理），还赐给他一个警卫卫队。当时，和羊祜岁数不相上下的核心重臣，还有贾充、裴秀，论资历、势力和能力，羊祜比他们哪一个都不差，但是羊祜却非常小心谨慎，从来不让自己的官位和爵位比他们高。
公元269年，司马炎对未来的灭吴工作做出重大部署，羊祜离开洛阳，都督荆州军事（湖北军区司令），被授予皇帝三级符节——假节，驻扎在襄阳，以前的官职照旧兼任。
羊祜到任以后，对辖区事务做出一系列重大改革。他到了荆州，最先办的一件事儿就是开设学校，当然，这种学校肯定主要教的是儒家经典，同时积极的安抚百姓，很快，整个荆州的社会风气焕然一新，人们谦和礼让，社会矛盾也日渐减少。
镇守一方，最重要的当然是治理，而治理工作当中最重要的，当然是治理手下的官员。当时荆州官场流行一种风气，官员如果死在任上，下一任官员为了躲避晦气，都要把办公大楼重新装修一遍，有的甚至就干脆拆掉重盖。当时的荆州，不算州一级的长官，光郡太守就有七个，至于县令就更多了，有六十多个，这么多的人，只要有一个死在任上，就要重新搞一栋楼，既造成了巨大的浪费，也让老百姓满口怨言，羊祜到任以后，严令杜绝了这种现象。这样，光每年官府的装修费、建筑费，就能省出一大笔钱。
羊祜深知，打仗就是打粮和打钱，他刚刚到任的时候，军队的存粮还不够一百天，而且东吴经常来骚扰，既缺粮又不能专心种粮，荆州省会襄阳以南的地区，粮食几乎绝收。为了搞到充足的后勤保障，为今后大规模的战斗做准备，羊祜让一些士兵离开驻防任务，专门从事农田的种植工作，一下子就开垦了八百多顷农田，等十年之后他离任的时候，荆州已经拥有了十年的存粮，这些粮食，为后来平定东吴做出了巨大贡献。
羊祜对自己的士兵，也是非常信任和爱护，他在军营里，经常穿着便服，很少披挂铠甲，周围的侍卫也不过十几人，即使这样，也从来没有发生对于羊祜的刺杀事件。要说人非圣贤，羊祜难免也有些爱好，比如说打猎钓鱼、游山玩水，也常常因此荒废公务。有一天晚上，他临时兴起就想出营，结果被司马（军事总监）徐胤拿着武器拦在大营门外。徐胤严肃的对羊祜说：“将军你重任在肩，怎么这么不小心！您的安全，关系着国家的安危！今天除非我死，否则您别想出这个门！”羊祜一样子意识到自己随心所欲的严重性，马上严肃起来向徐胤道歉，从此就很少外出了。
荆州在羊祜的治理下焕然一新，所有这一切，自然会有很多人通过各种渠道汇报给司马炎。司马炎看到羊祜的政绩当然非常高兴，在公元272年，羊祜再被晋升到车骑将军，开府仪同三司，成为了一品大员。然而就在当年，一场西陵之战，让西晋王朝包括羊祜所做的种种努力，全部成为泡影。被降了职的羊祜意识到，东吴帝国还不可能马上就被消灭，因为它的顶梁柱还没有塌，它的守护神还没有死。以陆抗为代表的东吴士族，对孙皓还是非常忠心耿耿的，它还没有到最后崩盘的地步。
第一次和陆抗交锋，就使羊祜深深体会了这个对手的可怕。既然靠枪杆子打不过陆抗，羊祜就换了一种策略：以德服人，温火炖熊掌，让东吴军民自己反水。