故居由堂石刻、徐霞客墓和仰圣园等组成。
现有三进、十七间正房、两间厢房，占地二亩。大门正面悬陆定一同志题写的“徐霞客故居”匾额，两边立盘陀石。门背面镌“绳其祖武”砖额。第一进前为天井庭院，两侧厢房，东西置花坛，大厅前有“承前裕后”砖刻，厢房和大厅辟为展览室，陈列徐霞客生平事迹及溶岩标本。第二井遗有一棵古罗汉松，相传为徐霞客手植，已有400年左右树龄。
第二进大厅为“崇礼堂”，正中悬徐霞客画像，陈列当代书画家为纪念徐霞客所作的书画作品，以及拍摄的徐霞客游历过各地的风光照片。胜水桥，架在徐霞客故居前的枕塘河上。据传是徐霞客当年出游船只停泊处，此桥亦有400年左右的历史。1985年重修，它保持着明代江南小桥的风格。
