内宅建有十楼十底南北两幢楼，以园主字号名为畹芗楼，是园主与家眷起居之处。楼与楼之间由“走马楼”回廊贯通，南北一式落地长窗，五楼屋底挂落栏槛，檐廊相接，典雅明敞。复廊东西两侧各设楼梯，雨天不走水路，晴天又可遮阳，又为主仆上下时避让。畹芗楼下另设下房数间，供侍者居用。
退思园的中庭是西宅到东园的过渡。庭中樟叶如盖，古兰飘香，清雅幽邃。
庭中有旱船，前舱八扇长窗如锦屏障目，隔而不断，船头面对“云烟锁钥”月洞门，船身相接漏窗暗廊，隐去船尾，俨然一艘待航的客船。旱船又与南北两侧的坐春望月楼、揽胜阁、迎宾居、岁寒居等厅楼建筑相形错落，平添美感。江南古典园林中，石船、石舫极其多见，从中略可窥见水乡人家对水、对船，有着特殊的依恋情结。
登上坐春望月楼可四季望月，吟诗酬唱，也可楼前踏月，静赏花木。楼之东侧一隅为揽胜阁。
揽胜阁是一座不规则五角形楼阁，与坐春望月楼相通。此楼设计因地制宜，居高临下，可一揽东园佳境，这在江南宅第园林中独树一帜。揽胜阁使宾客中的女眷，足不出户，就可饱览园中景色。
与坐春望月楼相对的有迎宾居、岁寒居，园主当年曾于此以文会友，陶冶性情。
岁寒居用于冬日赏景，风雪之时，三五好友围炉品茗。透过居室花窗，可见潇洒清幽的腊梅，挺拔坚毅的苍松，清骨神秀的翠竹，天成一幅“岁寒三友图”，从中亦能悟得雪压青松之韵，听得翠竹敲窗之音，静中有动，声情并茂。
岁寒居正背退闲小筑与云烟锁钥月洞门，引游人从中入东园赏景，“退闲小筑”四字为同里书画家徐穆如所题，月洞门上“云烟锁钥”四字虽已见模糊，但月洞门内却别有一番靓丽的天地。
由曲廊往南是闹红一舸。退思园中，闹红一舸最富动感。
闹红一舸由石舸突兀池中，风吹不动，浪打不摇，人站船头，却有小舟荡湖之感。舸由湖石托出，半浸碧水，水流漩越湖石孔窍，潺潺之声不绝于耳。舷侧水面，行云倒影浮动，恍若舟已启航，别有情趣。石舸之四周，原植有荷花及菰蒲，夏秋季节，清风徐徐，绿云摇摇。荷池中游鱼似通人性，稍稍击掌。便成群结队而去，妙趣无比。
退思草堂古朴素雅，稳重气派，点明了园之主题。堂之北点缀建筑小品，堂之南的露台面临荷池，站立露台可环顾全园。沿曲径南行，至菰雨生凉轩。此轩又有一绝，轩底原有三条水道，荷池碧水循环其间。故轩内阴湿凉爽，每逢盛夏酷暑，于此剖瓜赏荷，热渴尽消。
自菰雨生凉轩穿过假山洞，沿石级盘旋而上，便来到堪称江南园林一绝的天桥，视野豁然开朗。
天桥，上为桥，下为廊，模似阿房宫复道。横空出世，飞越山巅，连接菰雨生凉轩，与辛台为一体。天桥前后贯通，八面来风，炎热酷暑时，到这里消暑纳凉，神清气爽。