灵芝寺，钱武肃王之故苑也。地产灵芝，舍以为寺。至宋而规制濅宏，高、孝两朝四临幸焉。内有浮碧轩、依光堂，为新进士题名之所。元末毁，明永乐初僧竺源再造，万历二十二年重修。余幼时至其中看牡丹，干高丈余，而花蕊烂熳，开至数千余朵，湖中夸为盛事。寺畔有显应观，高宗以祀崔府君也。崔名子玉，唐贞观间为磁州鉴阳令，有异政，民生祠之，既卒，为神。高宗为康王时，避金兵，走钜鹿，马毙，冒雨独行，路值三岐，莫知所往。忽有白马在道，鞚驭乘之，驰至崔祠，马忽不见。但见祠马赭汗如雨，遂避宿祠中。梦神以杖击地，促其行。趋出门，马复在户，乘至斜桥，会耿仲南来迎，策马过涧，见水即化。视之，乃崔府君祠中泥马也。及即位，立祠报德，累朝崇奉异常。六月六日是其生辰，游人阗塞。
张岱《灵芝寺》诗：

  项羽  (《西湖梦寻》人物)曾悲骓不逝，活马犹然如泥塑。

焉有泥马去如飞，等闲直至黄河渡。
一堆龙骨蜕厓前，迢递芒砀迷云路。

茕茕一介走亡人，身陷柏人脱然过。

建炎尚是小朝廷，百灵亦复加呵护。