李白梦寐以求的天姥山,正是明代都察院左都御史吴时来的家门口。黄河之水天上来,神山仙水毓秀才,天姥山的涓涓圣水滋育了有神童之称的吴时来。《明史》记载,吴时来,字惟修,号悟斋,浙江仙居县白塔镇厚仁村人。吴时来参加县试、府试,均占鳌夺魁,是四乡八邻翘首众望的贡元。明嘉靖三十二年(1553年)登进士第。初任松江府,几度生死抗倭寇,成为蜚声大江南北的抗倭英雄。
嘉靖三十七年(1558年)三月,吴时来以刑科给事中毅然上奏《乞察奸邪疏》,引经据典,列举大量事实弹劾权奸严嵩、严世蕃父子奸党操纵朝政、贪赃枉法、祸国殃民的滔天大罪。只因当时严嵩权力势力强盛,未能扳倒他。吴时来反被打入大牢。锦衣卫大怒,尽执刑具,吴时来被打得体无完肤,七孔流血,至死不屈,彰显台州式硬汉之本色,最后被谪戍横州(今广西横县)十年。
隆庆二年(1568年)三月,吴时来以吏部左侍郎即将赴任广东巡抚,因荐人过多,被劾免职,回籍闲居,筑庐天姥山,建读书堂隐匿十六年。神仙居里“神笔画天”旧时常有大雁环峰,民间称为“回雁峰”。吴时来有诗《回雁峰》:“少小曾思五岳游,登临翻动百年愁。座中忽转三千界,天上虚传十二楼。斗柄平临高阁外,雁鸿低度半山秋。南该北阙心同远,日断潇湘红萝洲。”这首诗反映了吴时来人生第二次遭受政治迫害,虽闲居于天姥山中,却壮志未酬,仰天啸吟,向天姥山回雁峰的大雁寄托“处江湖之远则忧其君”的忠君爱国思想。
《光绪仙居县志》记载:西罨寺“县西五十里,十七都地。宋雪崖禅师卓锡其地,兴为丛刹。有双峦架日、天柱插空、观音洞、狮子峰、瀑布水、噗头岩、仙人叠石、象鼻锁涧八景。明左都御史吴时来曾读书于此,遗像犹存,寺万历癸未(1583年)僧广正重建”。