南朝宋景平元年，宋少帝任命颜延之为始安郡太守，颜延之在独秀峰写下名句“未若独秀者，峨峨郛邑间”，传之后世，这首诗开创了桂林山水文化的先河，也是峰名的出处。
元朝末年，元顺帝妥帖睦尔曾被贬桂林，住独秀峰下圆觉寺。妥帖睦尔登基后，改寺改称万寿寺。
朱元璋建明朝称帝后，他的侄孙朱守谦被封为靖江王。靖江王城始建于公元1372年，门深城坚，气势森然，殿堂巍峨，山光水色，比北京故宫早建30余年，是南京故宫的缩影，明朝共有十一代，14位靖江王居住于此，历时270余年。
明永乐年间，朝廷推行削弱藩王兵权政权的政策，历代靖江王从此便过着软禁般的生活，日日吟诗作赋，笔绘丹青。王室文化修养的积淀和传承，虽未能出世而治国平天下，倒是孕育了一代画圣。明末清初战火纷飞时，王城风雨飘摇，流落民间而出家的一位年仅十几岁的藩王后裔，成了清初画坛大师，他便是石涛，晋江王赞仪的十世孙，第13代靖江王朱亨嘉长子，又称清湘老人、大涤子、苦瓜和尚。他在《画语录.山川》中说：“山川使予代山川而言也，山川脱胎于予也，予脱胎于山川也，搜尽奇峰打草稿也，山川与予神遇而迹化也，所以终归之于大涤也。”桂林山水在他童年记忆中打下的烙印，不知是否也深深影响了他一生的绘画艺术。
清顺治七年，孔有德率清军南下攻打桂林，留守桂林的大臣瞿式耜与学生张同敞坐守空城而被俘，后双双被孔有德杀害于独秀峰下。孔有德占领桂林后，屠城数日，改王城为定南王府。不久，农民军领袖李定国等率义军来攻，孔有德兵败，遂手刃全家，火烧王府，由此引出了一段孔有德之女孔四贞和清朝皇室的缠绵纠葛的情事。
时光转到近现代，王城成为了中国革命和社会变迁的见证者。1921年孙中山先生在桂林王城设立办公处，准备集师北伐。在这里孙中山“联俄联共扶助农工”的思想和建设黄埔军校的初步思想得以形成，他决定以青天白日满地红旗为中华民国国旗，并于1922年1月1日在王城举行了中华民国升国旗典礼。
“桂林山水甲天下，阳朔堪称甲桂林。群峰倒影山浮水，无水无山不入神”，这首著名诗歌就出自爱国志士吴迈笔下。这位曾冲进国民党中常会会场，当面斥责蒋介石“有独裁之心，无爱国之心”的民族义士，在游独秀峰时留下了“卓然独立天地间”的题词，将对独秀峰的赞美和对自己精神风骨的书写融为一体。