始建于清乾隆四十年（公元1775年）。当时忻县称秀容县，故以此得名，为忻州市第一所学府。原书院东边是文昌寺，后书院逐渐扩建，文昌寺并于书院中。在书院西坡上先后修建三个风景亭：正中四角亭，南八角亭，北六角亭。六角亭为三亭中之最，每边长约三米，亭高约九米。六角亭旧称寥无阁，为全城最高点，立于亭上，可俯瞰全城。原六角亭前有一砖拱门，称天之衢，意取书院读书人，通过天之衢，登上寥天阁，飞黄腾达。