据县志记载，吉祥寺始建于宋代绍兴二年（1132年），清代道光四年（1824年）重修，寺内设有龙亭，是三大节日朝贺的场所。 寺巷很可能就是因此得名的。