凤尾香罗薄几重，碧文圆顶夜深缝。
扇裁月魄羞难掩，车走雷声语未通。
曾是寂寥金烬暗，断无消息石榴红。
斑骓只系垂杨岸，何处西南任好风。(任 一作：待)
顺治三年（1646），潘耒出生于江南吴江县（今属江苏苏州）的一家书香门第。六岁丧父，依兄潘柽章生活。潘柽章，字圣木，号力田，康熙二年（1663）因浙江南浔庄廷鑨明史案牵连，与吴炎同被凌迟于杭州弼教坊。其嫂沈氏流放就道，时耒年仅十七，徒步送之。沈氏流放至广宁（辽宁省北镇县），中途流产，服药自杀。耒曾有《恸哭七十韵》《阁谷歌》《度关曲》三首诗为其兄所遭庄史之祸而作。
潘耒生而奇慧，读书十行并下，过目不忘，曾先后受业于长兄柽章、吴炎、王锡阐、徐枋、顾炎武等著名学者，博通经史、音韵、算数及宗乘之学。嗜好收藏砚台，并根据砚的形状、质地，分刻铭文，闲睱独自把玩，自得其乐，人称其有“石癖”。
康熙十七年（1678）清政府诏举“博学鸿儒科”，潘耒为左谕德卢琦和刑部郎中谢重辉交章推荐。试后，潘耒名列二等第二名，以布衣身份被授为翰林院检讨，参与《明史》修纂，主纂《食货志》六卷。潘耒在京为官五年，其间，除参修《明史》外，又被康熙帝亲自简拔为日讲起居注官，出任会试考官，分校礼闱。他对于时政亦多有建白，后因精敏敢言，无稍逊避为忌者所中，以浮躁降职，后因母忧归，遂不复出。康熙三十四年（1695），在福建建阳将顾炎武《日知录》三十二卷本刻版行世，潘耒在《日知录》原序曰：“当代文人才子甚多，然语学问者，必敛衽推顾先生”，并谓此书“惟宋、元名儒能为之，明三百年来殆未有也”。
康熙四十二年（1703）春，康熙南巡，复耒原官，越三年，皇帝又南巡，大学士陈廷敬欲荐起耒，耒曰：“止止止，吾初志也，吾分也。”并附一首《老马行》以谢，竟不复出。
潘耒晚年崇信佛学，好山水，遍游天台、雁荡、武夷、黄山诸名山，为文记之，名篇有《游南雁荡记》、《火焰峰》、《天柱峰僧饷黄独》、《仙居诸山游记》等。
始，故人唐宰相鲁公，开府南服，余以布衣从戎。明年，别公漳水湄。后明年，公以事过张睢阳庙及颜杲卿所尝往来处，悲歌慷慨，卒不负其言而从之游。今其诗具在，可考也。
余恨死无以藉手见公，而独记别时语，每一动念，即于梦中寻之。或山水池榭，云岚草木，与所别之处及其时适相类，则徘徊顾盼，悲不敢泣。又后三年，过姑苏。姑苏，公初开府旧治也，望夫差之台而始哭公焉。又后四年，而哭之于越台。又后五年及今，而哭于子陵之台。
先是一日，与友人甲、乙若丙约，越宿而集。午，雨未止，买榜江涘。登岸，谒子陵祠；憩祠旁僧舍，毁垣枯甃，如入墟墓。还，与榜人治祭具。须臾，雨止，登西台，设主于荒亭隅；再拜，跪伏，祝毕，号而恸者三，复再拜，起。又念余弱冠时，往来必谒拜祠下。其始至也，侍先君焉。今余且老。江山人物，睠焉若失。复东望，泣拜不已。有云从南来，渰浥浡郁，气薄林木，若相助以悲者。乃以竹如意击石，作楚歌招之曰：“魂朝往兮何极？莫归来兮关塞黑。化为朱鸟兮有咮焉食？”歌阕，竹石俱碎，于是相向感唶。复登东台，抚苍石，还憩于榜中。榜人始惊余哭，云：“适有逻舟之过也，盍移诸？”遂移榜中流，举酒相属，各为诗以寄所思。薄暮，雪作风凛，不可留，登岸宿乙家。夜复赋诗怀古。明日，益风雪，别甲于江，余与丙独归。行三十里，又越宿乃至。
其后，甲以书及别诗来，言：“是日风帆怒驶，逾久而后济；既济，疑有神阴相，以著兹游之伟。”余曰：“呜呼！阮步兵死，空山无哭声且千年矣！若神之助固不可知，然兹游亦良伟。其为文词因以达意，亦诚可悲已！”余尝欲仿太史公著《季汉月表》，如《秦楚之际》。今人不有知余心，后之人必有知余者。于此宜得书，故纪之，以附季汉事后。
时，先君登台后二十六年也。先君讳某字某，登台之岁在乙丑云。