杜衍等人的五老会，最早言及的是北宋王辟之：

　　庆历末，杜祁公告老退居南京，与太子来宾致仕王涣、光禄卿致仕毕世长、兵部郎平分司朱贯、尚书郎致仕冯平为五老会，吟醉相劝，士大夫高之。祁公以故相耆德，尤为全国倾慕。兵部诗云：九老且无五老贵，莫将西洛一般看。五人年皆八十余，康宁爽健，相得甚欢，故祁公诗云：五人四百有余岁，深称分曹与桂冠。而毕年最高，时九十余，故其诗云：非才忝预最高年。是时，欧阴文忠留守睢阳而叹慕，借其诗观之，用次韵，卒章云：闻说优游多唱和，新诗何惜借传看。

　　王辟之为宋英宗治平四年（1067）进士，其《渑水燕谈录》所记，皆宋哲宗绍圣早年故事。距五老活动时间很近，其记当可信。但仅记五老晏集赋诗算了。

　　翔实所记，则不只谈到五老会，并且也谈到了《五老图》：

　　老一辈耆年硕德，闲居乡里，放从诗酒之乐，风流雅韵，一时歆羡。后世相慕，绘而为图，传之积德行善，盖不行逐一数也。今姑据其表表者于此，致景行仰止之意云。唐香山九老……宋至道九老……致和五老则杜衍（丞相、祁国公、八十）、王涣（礼部侍郎、九十）、毕世长（司农卿、九十四）、朱贯（兵部郎中、八十八）、冯平（驾部郎中、八十八），时钱明逸留钥睢阳，为之图像而序之。

　　不只每位与会者都注明职官年岁，并且还写清楚其图是钱明逸所绘。这些问题将在后边加以议论。

　　明都穆《寓意编》第二条记《睢阳五老图》云：

　　《睢阳五老图》在昆山朱氏，朱氏盖五老之一兵部郎中贯之后，御史天昭出以示余。图有钱明逸序，欧阳公、司马公而下诗皆不存，今存惟南宋及元人题跋。

　　赵琦美《铁网珊瑚》卷三著录《睢阳五老图》，钱明逸《五老图序》后录有《五老会诗》，下注“真迹诸诗并亡”。顺次为杜衍、王涣、毕世长、朱贯、冯平。依“冠”“桓”“寒”“看”为韵作七律诗唱和。后以《次韵借观五老图》冠之的欧阳修、晏殊、张商英、范仲淹、富弼、韩琦、胡瑷、苏颂、邵雍、文彦博、司马光、张载、程颢、程颐、苏轼、黄庭坚、苏辙、范纯仁的依韵和诗，下注“以上真迹俱亡”。后题“绍兴以来诸跋”计：蒋璨、杜绾、钱端礼、胡安国（下注“真迹亡”）、朱熹（注“真迹亡”）、吕祖谦、王铚、季南寿、谢觌、洪迈、张贵谟、游彦明、范成大、欧阳希逊、洪适、黄缨、谢如晦、杨万里、俞端礼、何异、朱子荣、赵孟頫、虞集、李道坦、程钜夫、姚燧、马煦、元明善、刘致、曹鉴、邓巨川、段天祐、王守诚、曹元用、马祖常、张翥、俞焯、韩庸、赵期颐、郭畀、钱琼、斡玉伦徒、泰不华、柳贯、杜本、李祁、周伯琦、王逊。后题一段不具姓氏，当为此书的编者。文曰：

　　丁卯十月既望，从朱氏汝梅处拜观真迹，随以此册校对一过。而国初诸名公跋语，此俱不载，宋诸名公题咏，真迹尽失之，良迷惘也。东牟阎居敬，寿春李幹，河东吕昭，子成王行，天台方孝孺，河南高逊志，吴郡姚广孝，吴兴傅显，昆阜陆得举，玉峰夏昶，昆阳张和，石浦叶盛，海昌苏平、苏正，黄海商瑜，长洲吴宽，新安程敏政、司马垔。弘治己未，吴宽再跋，时朱氏裔孙希周以状元及第入翰林矣。

　　此段文字，李霖灿先生认为是“图像画卷跋语”。实践上它仅仅该书编者的记载，标明已缺之跋不能录入的迷惘。

　　上海博物保藏有明朱集璜录《睢阳五老图题跋》册、明尤求《临睢阳五老图》册，其间录有晚明魏浣初等人应朱汝梅所请而作的题诗，写于天启年间（1621—1627）。由此可知，上录之文的丁卯为明熹宗天启七年（1627），而“随（遂）以此册校对一过”者，正朱集璜所录之册也。

　　卞永誉《式古堂书画汇考》画卷一五，将此图归之为南宋无名氏。其著录与《铁网珊瑚》所录根柢相同，唯少《铁网珊瑚》宋人和诗、胡安国、朱熹跋下的“真迹已亡”小注。错字亦多，当是书写来的，但对王逊记中错字则多有更正。

　　清内府所编《石渠宝笈三编》和胡敬的《西清札记》及《清宫已佚书画录》著录的《睢阳五老图》，彻底是其他一个摹本。吾师徐邦达先生的《重订清故宫旧藏书画录》记此本注曰“明人抚本”。杨仁恺先生《国宝沉浮录》一书，曾讲到此本“溥仪自清宫携出，流落民间，由长春常伯祥售北京博闻簃。”今见影印本，为程十发先生所藏。本文后边将论及之。

　　陆心源《穰梨馆过眼录》卷二三著录有《尤凤洲临睢阳五老图》册。其间上海博物保藏明佚名《临睢阳五老图》册及朱集璜录《睢阳五老图题跋》册的录文全部录入。从中可知真迹原件、《铁网珊瑚》《式古堂书画汇考》所无之题跋内容。盖宋人诗、跋，皆吴玄冲应朱以发之求书写，崇祯癸酉（六年，1633）吴氏有跋记之。元人跋除周伯琦外，则由叶奕荃书写，周伯琦、李幹、王逊、李嵩、吕昭之题为周启祥书。后许多题跋朱集璜（以发）请叶盛后人叶奕荃等书写或自己书写。不逐一提示。由以上著录可知《睢阳五老图》的题跋在撒播过程中佚失不少，如胡安国、朱熹、吕祖谦等人者，但也有些题跋，著录认为已佚，但今仍还在世，如姚广孝致使吴宽等，这些问题还须进一步考校。