明代洪武年间，并南北馆为一驿，又重建了一次贺祠，但碑像还在驿的东面。永乐十六年，郡守汪馗把碑像迁到祠中。嘉靖二十年，郡守沈恺修了一次，并撰文记录。天启六年，郡守王念祖创为岁祀，就是每年要祭祀，时间定在二月十五日，并把这个每年的纪念活动写入祀典。祭祀费用的来源是取自鄞县河棚，不是来自税银。

明末的时候，张岱曾去普陀朝拜观音，游历了宁波几处重要的景点，在《陶庵梦忆》里留下四篇笔记，其中《日月湖》里提到了贺秘监祠：“宁波府城内，近南门，有日月湖。日湖圆，略小，故日之；月湖长，方广，故月之。二湖连络如环，中亘一堤，小桥纽之。日湖有贺少监祠。季真朝服拖绅，绝无黄冠气象。祠中勒唐玄宗《饯行》诗以荣之。季真乞鉴湖归老，年八十余矣。其《回乡》诗曰：‘幼小离家老大回，乡音无改鬓毛衰。儿孙相见不相识，笑问客从何处来？’八十归老，不为早矣，乃时人称为急流勇退，今古传之。”

清代史学家全祖望有一篇《重建贺秘监祠碑记》的文章，不过这篇文章最重要的是贺知章的籍贯之争，“秘监籍里，会稽人争之久矣”，作为学者，考证是全翁最感兴趣的。文中所说，会稽人的依据是新旧《唐书》都说贺是越州永兴人，而宁波的证据是不但有李、杜二公诗，还有莫将写的碑。

会稽有贺的墓，而宁波有故居。据考证的结果，贺知章的祖先本来居住在会稽，而贺知章则生于甬上，在城南有一个叫马湖的地方，有村名贺家湾，有池名洗马池，洗马池以贺知章的族祖贺德仁得的名。马湖的北面为响岩，有贺公钓台，有宅叫高尚宅。

而贺知章晚年，又住在会稽，以周官湖为放生池，以千秋观为道场，因为他的儿子曾在那边做官，所以坟墓也做在那里。因此徐文长编绍兴地方志的时候，把贺知章列为“寓公”，就是指不是本地人寓居本地的人。

可见以居住地说贺知章是哪里人并不确切，因为他两个地方都住过，但贺知章自号“四明狂客”，唐玄宗曾作《送贺知章归四明并序》，李白有诗：“四明有狂客，风流贺季真。”

四明山，八百里，包括鄞县、慈溪、嵊县、上虞、余姚，但说会稽、萧山也是四明，这范围有点广，贺知章自号四明狂客，自然有一种籍贯的归属感。

史浩有一首《游东钱湖》的诗里提到贺知章当年在宁波这一带的游历：“于今幸遂归湖愿，长忆当年贺监游。”

明代外国人（朝鲜）崔溥，看到四明山，说“此贺监山川也”（《漂海录》）。

读明末张苍水的诗，有一首《朱伯迁将避地小溪索诗。口佔授之（甲午）》：“贺监抽簪去，君恩赐鉴湖。至今高尚宅，犹在四明无？此地能真隐，斯人亦不孤。所愁溪鸟笑，闲杀辋川图。”一位朋友去鄞江小溪隐居让诗人想起曾在此居住过的贺知章。

月湖的贺秘监祠在康熙之季已经败落，全祖望从京师回来，为之重新，并且打算在城南钓台再去修建一祠。他在碑文的最后写了几句诗：“斯人爽气世所尊，故宅荷花尚有存。十洲之水清且沦，‘双鱼’酒熟香满樽。生为游仙死为神，越人争公亦已勤。萧然毛生尤谆谆，挦扯贤哲空纷纶，我参旧籍综旧闻。”

并为祠堂撰了一副对联：“两命哪足荣？为卜含元殿上六驭匆匆，彼高尚心情，不若投簪竟去；重湖伊可乐，至今偃月堤前双鱼湛湛，纵凄凉江海，犹能骑马闲来。”

据记载，在洪武年间，贺秘监祠里有一位唐静轩处士，手植双柏于庭。在全祖望的时代，已经是“黛色参天，为游人所爱玩，湖上之嘉胜也”。

现存的贺秘监祠是同治四年的建筑，1995年又重新修了一次，祠内原有的历代碑刻，在五六十年代迁入天一阁明州碑廊，1995年重建的时候，刻了两块《重建逸老堂记》和《贺秘祠堂记》，及一些现代名有的书法，如冯骥才先生书的《回乡偶书》。

贺知章（公元659--744年），字季真，越州永兴县（萧山）人。唐征圣元年（公元695年）举进士，以后累官至正授书监等职。大宝二年（公元743年）十二月，因病辞官还乡。贺知章既工文辞，也擅草隶，性旷夷，善谈说，平时嗜酒，与杜甫、李白等结为好友。至晚年尤加纵诞，自号“四明狂客”，又称“秘书外监”，以邀游里巷为乐，醉后挥舞笔墨，顷刻间写成好文章，可惜他流传下来的墨迹极少。现贺秘监祠经大修后，成为月湖风景区内一著名的风景点。