西山祠堂为玉华叶氏的总祠，按当地的习惯，只有合族总祠才能称为祠堂，分支祠均称为大厅。西山祠堂是由三世祖叶克诚即东谷公主持兴建的，西山祠堂在新叶有祠堂里地位最高，但它的建筑并不是很华丽，三开间，两进大厅，坐南朝北。

崇仁堂相当于是一个私设公堂。崇仁堂地面是用碎地砖铺设的，说起由来，还有一个故事。崇八公，是方圆数十里的富翁，他用了48两黄金建了这个祠堂，还在大堂里用了湖砖铺地，当时这种湖砖是专门供应给皇家的，崇八公用了湖砖铺地已经超出了当时朝廷规定的老百姓造房子的规定，也就是犯了王法。村子附近有一个姓包的侍郎官，看中了崇八公的女儿，仗着自己是京官，就差了个奴才为他的儿子来崇八公家求亲，崇八公在村里也是相当有威望的司马，他当然不愿意，就说了句：虎女焉能嫁犬子。就这样得罪了这个包侍郎。见求亲不成，心生报复，于是一纸状书告到衙门，罪状有二：一是私设公堂；而是青砖铺地。于是上头派人来查，好在有人给崇八公通风报信，崇八公也很害怕，这可是大罪啊，于是他找来家丁连夜把地砖全部敲碎，撒上灰尘做旧。来检查的人，没看到青砖铺地，并且他最后断定这个不是私设公堂，因为房内的第二、三进全都是平的，不是公堂的建筑格局。所以崇八公逃过一劫。