宋时西湖有三贤祠两：其一在孤山竹阁。三贤者，白乐天、林和靖、苏东坡也。其一在龙井资圣院。三贤者，赵阅道、僧辨才、苏东坡也。宝庆间，袁樵移竹阁三贤祠于苏公堤，建亭馆以沾官酒。或题诗云：“和靖、东坡、白乐天，三人秋菊荐寒泉，而今满面生尘土，欲与袁樵趁酒钱。”又据陈眉公笔记，钱塘有水仙王庙，林和靖祠堂近之。东坡先生以和靖清节映世，遂移神像配食水仙王。黄山谷有《水仙花》诗用此事：“钱塘昔闻水仙庙，荆州今见水仙花，暗香靓色撩诗句，宜在孤山处士家。”则宋时所祀，止和靖一人。明正德三年，郡守杨孟瑛重浚西湖，立四贤祠，以祀李邺侯、白、苏、林四人，杭人益以杨公，称五贤。而后乃祧杨公，增祀  周公  (《西湖梦寻》人物)维新、王公弇州，称六贤祠。张公亮曰：“湖上之祠，宜以久居其地，与风流标令为山水深契者，乃列之。周公冷面，且为神明，有别祠矣。弇州文人，与湖非久要，今并四公而坐，恐难熟热也。”人服其确论。

张明弼《六贤祠》诗：

山川亦自有声气，西湖不易与人热。
五日京兆王弇州，冷面臬司号寒铁。

原与湖山非久要，心胸不复留风月。

犹议当时李邺侯，西泠尚未通舟楫。
惟有林苏白乐天，真与烟霞相接纳。

风流俎豆自千秋，松风菊露梅花雪。