永嘉郡祠原名为刘氏宗祠，其位于碧莲镇上村。永嘉郡祠始建于元至正二十七年（1367年），明洪武元年（1368年）敕封刘基上三代为永嘉郡公后，取名永嘉郡祠，后来在明朝中期的时候重建过，是明朝初年开国功臣刘基的世祖的祠堂。刘基是元末明初政治家、文学家，明朝开国元勋，其精通天文、兵法、数理等，尤以诗文见长。诗文古朴雄放，不乏抨击统治者腐朽、同情民间疾苦之作。与宋濂、高启并称“明初诗文三大家”。著作均收入《诚意伯文集》。

永嘉郡祠占地面积大概2000平方米，坐北朝南，其为二进二厢四合院木构建筑，前为门厅，面阔五间，达20.4米，进深二间，达22.8米，抬梁式梁架，悬山顶。后为正殿，面阔五间，达22.8米，进深六间，达 18.86米，抬梁穿斗混合式梁架，悬山顶，脊饰龙头凤尾吻兽。天井东西为厢楼，面阔各四间，中有戏台，四柱歇山顶，施八角重栱覆斗式藻井。永嘉郡祠是研究祠堂建筑重要的实物资料。

永嘉郡祠中还有长方形的戏楼，歇山顶，八角复斗式藻井。祠中的楹柱上有多幅如宋濂、刘基等名家的联语，祠中还藏有刘基所著《诸葛攻守战略》兵书，具有历史、文化价值。整个永嘉郡祠布局严谨，用料粗壮，是典型的明代祠宇建筑。

由此可见永嘉郡祠的历史是比较久了，在1997 年被列为浙江省第四批文物保护单位。2013年3月5日，楠溪江宗祠建筑群（永嘉郡祠）被列为第七批全国重点文物保护单位。