懷玉書院位于懷玉山金剛峰東麓，與玉琊峰相對，為江西上饒古書院之一。宋淳熙十五年（1188），朱熹在草堂講學，著有《玉山講義》一卷。陸象山、呂東萊、汪應辰、程珙等均曾在此講學；王安石、楊億等留下了詩篇。自此，懷玉書院與當時四大書院齊名。明嘉靖三十六年（1557）江西提學副使王宗沐來縣視學時，廢法海禪院為懷玉書院，由此懷玉書院之名，再傳于世。元、明、清各代均有眾多名人來此講學，留有題詠。明萬歷九年（1581）張居正當國，禁天下書院；天啟四年（1624）宦官魏忠賢進一步飛書院；書院遂盡歸于僧。清乾隆七年（1742）重建懷玉書院，贖回田產(chǎn)。后經(jīng)同治三年（1864）、光緒十六年（1890）兩次修葺，書院總面積達1萬余平方米，規(guī)模宏極一時。民國24年（1935）1月國民黨軍隊“圍剿”方志敏率領的工農(nóng)紅軍時，把書院當做兵營，繼而全部燒毀。
懷玉書院遺址為當今懷玉山場、供銷社、醫(yī)院、文化站、十家莊民居所在地。相傳原址古甜儲樹南邊底下，埋有古代寺僧被剿時窖藏的文物。書院遺址尚依稀可辨，泮池淤塞，泮橋已填為公路，傳為黑玉雕刻，朱熹手書的“懷玉書院”殘額尚存，“泮橋”、“一勺泉”石碑保存完整。位于芳潤堂遺址后有一顆朱熹當年手植的梨樹，被颶風所折，根旁萌發(fā)一枝，今已合抱。