袁天纲年少时孤苦贫寒，但他爱读书，好学问，精通技艺，对相术深有研究，隋朝时赴洛阳任资官令。袁天纲初到洛阳时，在清化坊安顿下来，此时他以相术预测已是赫赫有名，许多人都来家里找。当时，杜淹、王珪、韦挺三个人来见袁天纲，请他给看相。袁天纲预言杜淹将以文章显贵而名扬天下；王珪不出十年将官至五品；韦挺面相如虎，将出任武官。并预言三人为官后都要遭贬谴，届时大家还会见面。果然在唐高祖武德年间，杜淹以侍御史入选天策学士；由太子李建成举荐王珪当上五品太子中允，韦挺出任武官左卫率。三人正当仕途一帆风顺时，没想到受宫廷政变牵连一起被贬隽州，果然在这里又遇到了袁天纲。袁天纲再次相面预测“公等终且贵”，最后都要官至三品，三人前程及结局后来验证都不出其所料。
大业末年，天下大乱，袁天纲返回故乡，依然卖卦为生。初唐重臣窦轨曾于这段时间客游德阳，此时他还很潦倒，而袁天纲恰好也在德阳，窦轨便请托袁天纲给自己看相，袁天纲说：“你前额到发际骨骼隆起，一直连到脑后的玉枕处，你的下巴浑圆肥大，下巴右侧隆起，而且明洁光亮，必定在梁州、益州大树功业。”窦轨说：“如果真如所说，能成就功业，我定不忘您指点过我的大恩大德。”
武德初年，窦轨果然发迹，他跟随唐高祖起兵反隋，因此立有战功，任为益州行台仆射，为不忘旧恩，于是向蜀道使詹俊赤举荐了袁天纲，并且很礼待他，遂被任为蜀郡火井县县令。袁天纲又对窦轨说：“您的骨法仍旧，和以前判断的一样。然而眼睛色红连着瞳仁，一说话就因浮躁而面色赤红，做了武将怕是要杀很多人啊，但愿你要时刻警戒自己。”不久，窦轨跟唐太宗征讨王世充、出击吐谷浑，他果然开始大开杀戒，对部下也很严苛，稍不满意便处斩，甚至连自己的外甥都没放过。武德九年（626年），窦轨因此事被撤职召回，将赴京城时，又来找袁天纲，问袁天纲说：“我还能得什么官？”。袁天纲回答：“脸上依然洋溢着佳人的福气，未见有退散，下巴右侧有光泽，更有喜色，去到京城必又承恩典，回来后仍在益州任职。”之后，窦轨果然又于这一年获任益州都督。
武则天的父亲武士彟于贞观初年授任利州都督，全家于是随任迁住蜀中，袁天纲于这时遇见了武则天母亲杨氏，其时武则天尚年幼，袁天纲见到她母亲问：“夫人应该是生了贵子了。”于是给武元爽、武元庆看了相，他说：“官可三品，保家主也。”见了韩国夫人，又说：“此女显贵，可是克夫。”武则天年龄最小，由保姆抱过来给他看，谎称是男子，袁天纲观了她的相之后感到惊叹，预测说：“如果是女子，以后可为天子。”
李淳风用周易八卦进行推算，没想到一算起来就上了瘾，一发不可收拾，竟推算到了唐以后中国2000多年的命运，直到袁天纲推他的背，说道：“天机不可再泄，还是回去休息吧”，因此这本预言奇书得名《推背图》。
袁天纲与李淳风跟从唐太宗出游，看见河中有两只分别为赤毛和黑毛的马。太宗要他们推算哪只马先入河。袁天纲占得离卦，离为火，便断言是火般赤毛的马先入水。李淳风则认为：遂木取火，应先见黑烟才见火，应该是黑毛的马先入河。结果李淳风猜对了。但他却谦称不是袁天纲，他就不能推算出烟和火的奥妙关系了。
贞观六年（632年），唐太宗从嶲州召回因受太子李建成牵连而被流放的杜淹、王珪、韦挺，从他们口中得知袁天纲是蜀地卜相方面的旷古奇才，于是下诏要袁天纲到长安晋见。唐太宗在九成宫显德殿召见了袁天纲，对其术数之精奇深奥大为称赞，并问他：“古有君平（汉朝严君平，术数大师），今朕得卿，他与你相比怎么样？”袁天纲回答说：“严君平是生不逢时，臣要比他强得多！”之后将袁天纲留居长安，以备垂询，袁天纲自此成为唐太宗的智囊。
贞观八年（635年），唐太宗在九成宫避暑时，叫他给岑文本看看相，袁天纲过目之后说：“印堂光滑平坦，眉毛长过眼睛，以后写文章出名。头有生骨但没有完全长成，直面来看，应该能做到三品官。可骨跟肉不对称，不是长寿的表现。”接着张行成和马周请他观相，袁天纲看了之后说：“马君伏犀贯脑，背有点驼，是显贵的表现。近古君臣相遇未有及公者。可面泽赤而耳无根，后骨没有隆起，寿不长也。而张君晚得官，但最后能当上宰相。他预测的，后来也都逐一应验了。房玄龄跟李审素也一同请求看相，房玄龄说：“李君恃才傲物。您先看看他会得什么官。”袁天罡回答说：“他能做上五品官，但我预测不了具体担任什么官职。”李审素因此也未再追问，又请袁天罡预测一下房玄龄的仕途，袁天纲回答说：“此人大富贵，您想要升任到五品官，即求此人。”李审素不相信，但房玄龄后为重臣宰相，而李审素位终起居舍人。到唐高宗继位，听说了袁天纲对他的预言，于是命令追赠五品官职给他，经房玄龄提议，赠为五品谏议大夫。此后，袁天纲预感继续在皇帝身边会有祸事发生，便请求允许他回到家乡，唐太宗准其奏请，委以火井县令回蜀郡赴任。高士廉曾问他：“君终作什么官呢？”袁天纲回答说：“到了今年夏四月，我寿命就耗尽了。”果然，袁天纲如期死于火井县令的任期上。袁天纲死后葬在邛崃白鹤山，坟墓虽已被盗毁，但遗迹尚存。