宋淳煕间赵汝愚等闻朱熹“得道统之正”，乃建馆城冠山东峰，延朱熹主讲其中。从弟汝靓、子崇宪及曹建等师事之。朱熹题其堂曰“云凤堂”。后为人所据。李荣庭赎复之。后又为兵毁。
明初一度入于寺。弘治二年(1489)知县沈时重建于绝顶。不久又毁于战火，正德六年(1511)巡抚任汉命知县徐冠迁建于冠山之中峰。中构堂5间，南向有祠，堂之东仍构云凤堂，西筑讲堂，东西廊号房以处讲学者。规制为之一新。提学副使李梦阳为记。万历八年(1580)复废。继就二贤祠基址重建，明末圮。清顺治十一年(1654)兴屯道翟风翥堕修，题额“高风百世”。内祀朱熹，以赵汝愚、赵汝靓、曹建、柴元裕、饶鲁、胡居仁等配享。翟自为记。
康熙十二年(1673)知县江南龄会同邑士民增建，自为记。嘉庆十五年(1810)重修云凤堂、千越亭、集义堂、慎独堂、丽泽堂、文昌宫、魁星阁，后又在门外阶下建入德门坊，道光三年(1823)书“明体达用”横匾与“读书志在圣贤，为官心存君国”联语悬之。同治七年(1868)邑人重修。知县常山凤立《捐置东山书院膏火经费善后规条》，立定经费管理、生徒膏火额数与发放、扣除，考课取录及对生童的奖惩制度等。
因篇幅问题不能全部显示，请点此查看更多更全内容