跟着熙熙攘攘的人流，过了售票厅、后花园，进入水街。徽商胡炳衡的故居便在水街南岸的一条巷子里，门前青竹丛丛，十分幽静。故居门前的书摊上有关于胡炳衡和胡适的书，那一页页的白纸黑字都在竭尽所能地试图复原这里发生过的故事。
水街中段耸立着两座牌坊，分别是隔岸相对的“奕世尚书”坊和“都宪坊”，穿过尚书坊右转就是胡氏宗祠。胡氏宗祠始建于宋，坐北面南，水磨砖八字外墙，五间二进的五凤门楼，祠堂前后共三进。进入门楼后是一个天井，两侧为风雨廊；正堂极为庄严，硬山屋顶，两侧仅砌出一级封火山墙。最出奇的是正厅左右阑板上的荷花图，20幅形态各异的荷花及梅花鹿木雕，精美得让人着迷。第三进享堂两侧阑门板上的48幅各不相同的花瓶木雕亦精美绝伦，各不重样，使人不由得就凝神在它流畅的一笔一线中，收不回目光。
正厅的廊下还保存着一块镶着玻璃的木匾，上书“世恩堂”，落款“文征明书”。这块匾印证了胡宗宪和文征明私交之厚。嘉靖三十三年（公元1554年），胡宗宪在东南沿海抗击倭寇期间，文征明、徐文长、戚继光皆其幕僚。有了这些精英人物的辅佐，胡宗宪才得以平定东南海患，并辑写出《筹海图编》十三卷。
祠堂正厅的东厢房内有一座互动场景舱房，是按胡宗宪平倭海战的大船模样建造的。进舱后，关掉灯光，舰前突现大海，倭寇来袭，海面上涛声、炮声、呐喊声一片，大船随之左右上下摇摆……海战大捷之后，嘉靖三十八年（公元1559年），胡宗宪升为兵部右侍郎；嘉靖四十一年（公元1562年），胡宗宪受严嵩案牵连，明世宗让锦衣卫捉了胡宗宪，然后又说“逮了宗宪的话，以后谁还给寡人带兵打仗呢？”，之后让宗宪闲居，也等于是软禁起来。同一年，倭寇攻陷福建兴化；次年胡宗宪辞官归田，两年后明世宗又命人逮捕了胡宗宪；四十四年（公元1565年），因辩诬无望，胡宗宪在狱中自杀，时年54岁，可惜贵为七省总督、兵部尚书的胡宗宪，一生肝胆为国，劳苦功高，却抵不过一句谗言。