华枫清楚其实比朱震更早的晁说之已叙述了先天图的流传：“有宋华山希夷先生陈抟图南，以《易》授终南种征君放明逸，明逸授汶阳穆参军修伯长，而武功苏舜钦子美亦尝从伯长学。
伯长授青州李之才挺之，挺之授河南邵康节先生雍尧夫。”(《嵩山集》卷十八《王氏双松堂记》)
与邵雍同巷里居住了三十余年的二程兄弟说：“独先生之学为有传也。先生得之于李挺之，挺之得之于穆伯长。推其源流，远有端绪。”(程颢《邵尧夫先生墓志铭》)程氏只上推到穆修，穆修以上则以一句“远有端绪”省略。
邵雍之子邵伯温说：“先君受易于青社李之才，字挺之。为人倜傥不群，师事汶阳穆修。挺之闻先君好学……于是先君传其学。……伯长，《国史》有传，其师即陈抟也。”(《易学辨惑》)
由此可见朱震所说的传承关系是基本可信的。可惜的是这张“先天图”没有随上述文字流传下来，以至今人无法确认它到底是“阴阳鱼图”，还是“先天八卦方位图次序图”，或是别的什么图。
其后详细论述易图流变的是元代的袁桷，他在为宋末谢仲直《易三图》作的《序》中说；“上饶谢先生遁于建安番扬，吴生蟾往受易而后出其图焉”。而谢仲直又得自彭翁，彭翁得自武夷君。武夷君可能就是白玉蟾(白玉蟾道号武夷翁)。
袁桷又说：“至荆州袁溉道洁始受于薛翁，而易复传。袁乃授永嘉薛季宣……最后朱文公属其友蔡季通如荆州复入峡，始得其三图焉。……其孙抗秘不复出。……今彭翁所图疑出蔡氏。”(转引自胡渭《易图明辨》卷三)依袁桷说，易三图的流传大致为：
那么蔡元定从四川访得的三图是什么样子?或者说谢仲直的“易三图”是什么样子?今天已经看不到了，袁桷当时就没有说明。胡渭推测：“故首著之季通所得三图，一为先天太极图无疑矣。其二盖九宫图与五行生成图。”
明代初年赵撝谦(1351～1395)在《六书本义》中载有这张图，并说：“此图世传蔡元定得之于蜀之隐者，秘而不传，虽朱子亦莫之见，今得之陈伯敷氏。”
当时大多数人都相信这种说法，只有季彭山表示怀疑，他说：“朱子与蔡氏无书不讲明，岂有秘不与言之理?”(转引自明代杨时乔《周易全书》)。胡渭不仅赞同袁桷的说法，而且赞同朱震的说法，认为陈抟以先天图授种放，三传至邵雍，邵雍的“先天古易者，悉本此图可知也。”断定此图出自陈抟，源自《参同契》。
有一种说法人为阴阳鱼太极图源于《周易参同契》“水火匡廓图”或“三五至精图”，也是值得分析的。后两图传为五代彭晓为诠释《周易参同契》而画的图，而经查《正统道藏》，彭晓《周易参同契分章通真义》中并没有这两幅图，而只有一幅“明镜图”。
当然不能排除其他失传的版本中载有这两幅图。退一步说即使彭晓作过这两幅图甚至哪怕《参同契》中就有这两幅图，也不能断定它就是太极图的源头，其道理同上述一样，从这两幅图的图形上看不出可以推衍出太极图的痕迹，但却有思想渊源关系。《参同契》首章说：“坎离匡廓，运毂正轴。”
特别强调坎离，坎离为日月、日月为“易”。坎为阴中有阳，离为阳中有阴。“水火匡廓图”正是对坎(水)离(火)二卦的形象表示。这种阴阳相合，阴中有阳、阳中有阴、阴阳消长流变的思想不正是太极图的基本思想吗?从袁桷等人所叙流传谱系看，太极图道教是很有关系的。武夷君白玉蟾是道教内丹派南宗第五祖，“蜀之隐者”可能就是蜀中道士。
思想上的渊源关系并不等同于图形上的渊源关系。看来要考察太极图源自于什么图是很困难的事。我们还是来考证一下最早的太极图是何人所作这个问题吧。
首先要给太极图的图形定一个标准(正因为没有一个标准，所以上述原始时代的图形统统被称作“太极图”)，真正的太极图应当是内为阴阳鱼互纠图案、外为八卦或六十四卦环形图案。至于陈抟所传的“龙图”、“先天图”是不是这种图形，已无法考证。因而难以判断陈抟就是作此图的第一人。薛翁、蜀之隐者是否作此图，同样无考。检索现存文献资料，发现最早的一张太极图在南宋张行成的《翼玄》中。
张行成，生卒年不详，约生活于公元十二世纪，绍兴(113l～1137)进士，乾道二年(1166)向皇上进呈易学七书，其中《翼玄》即载有此图。
《翼玄》又作《翼元》，现存版本为两种，一是清乾隆李调元辑刊的《函海》本，一是1935年开始编辑出版的《丛书集成初编》，据《函海》本排印本。
今人郭或先生在《周易研究》1995年第4期发表《易先天图－－浑天象非张行成之图》，其理由有四点：
(1)张行成的“太极观是具体的六爻卦，是形而下的。”“与后来朱熹、蔡元定以《先天图》环中之‘中间虚者’为太极的宇宙论是不同的”。
(2)洪迈没有提及，朱熹也没有评论。
(3)邵雍并不以浑天术言天。
(4)《翼玄》是注释《太玄》的，“用以明三元符号系统《太玄》的书中，又怎能有此二元符号系统的图呢?”这几点意见很值得商榷。
第一，无论是“形而上”太极观还是“形而下”太极观，与阴阳鱼太极图都没有直接关系，郭氏说：张行成“既不以先天图中间虚处为太极，就不会有此《易先天图——浑天象》之图”。真不知这两者之间有何关系?
阴阳鱼太极图中间并不是虚处，而恰恰是实处(由黑白两色交互构成)，如按郭氏的说法，恰是“形而下”，由“形而下”的太极观演变出“形而下”的图形不是更自然、合理吗?(当然并非如此简单，下文将具体分析)倒是“中间为虚处”的所谓“形而上”太极观只能派生出空心圆太极图，而难以派生出“阴阳鱼交互”这种“形而下”
太极图。
第二，说掌管国史图书的洪迈如果见到阴阳鱼太极图就不会以黑白半圆表示两仪(“六十四卦生自两仪图”)。这种推测是没有说服力的。无论洪迈是否看见阴阳鱼图，都没有理由强迫他不许采用黑白半圆太极图，他可以不喜欢阴阳鱼图而更偏爱黑白半圆图。
事实上，当时大多数人都是偏爱黑白半圆太极图的，因为它简单明快地表示了太极生两仪之理(这一点并不亚于阴阳鱼图)。如朱熹评论：“龟山取一张纸，画个圈子，用墨涂其半，云：这便是《易》。
此说极好!《易》只是一阴一阳，做出许多般样。”(《朱子语类》卷六十五)“图左一边属阳，右一边属阴”。(同上)再说朱夫子无论怎样“博学多识”，也可能有未见到的东西。以此作为论据是站不住脚的。
而事实上绍熙四年(1193年)朱熹托蔡元定入蜀寻找易图，蔡从蜀之隐者手中求得三图后，可能给朱熹看过，因为庆元二年(1196年)朱熹在给蔡季通的信中说：“前日所说磨崖刻河、洛、先天诸图，适见甘君说阁皂山中新营精舍处，有石如削，似可镌刻，亦告以一本付之。
‘先天’须刻卦印印之，乃佳。……三图须作篆，乃有古意，便当遣人送伯谟处也。”(《朱文公文集·续集》卷二《答蔡季通书》六十、六十一)这里说的“先天”图很可能就是这张“先天太极图”(外套六十四卦的阴阳鱼图)。
可是到了次年(庆元三年，1197年)刻在阁皂山的图都只有“河图”、“洛书”两幅。为什么最终没把“先天图”刻上去呢?可能有两个原因：一是磨岩镌刻比较困难，因为此图外套六十四卦(这一点可以肯定，至于里面是“阴阳鱼”图还是六十四卦方图已不可考)，要把这些复杂的卦爻刻上去是较困难的，所以朱熹设想“刻卦印印之”。
二是与河、洛二图比较并不重要。根据胡渭的推测，此图“出希夷，源自伯阳，不若根柢大传五十有五之数为得其正耳。”可见这张图不如河、洛来得正宗。
胡渭这句话是解释蔡季通“秘而不传”的原因的，而实际是蔡季通、朱熹都觉得没那么重要，加上镌刻又困难，所以就弃而不刻了。对此，束景南先生认为；所以只刻二图，是因为八分的“河图”与九宫的“洛书”本已包含了这张图，三图本为一图。