历史上也曾称天台寺，佛道二教都曾在此活动过。
    赵杲者，人名也，生平不详。民间流传有两种说法。相传春秋时，赵襄于灭代国，代君夫人摩笄自杀后，其余姬妾由丞相赵杲保护外逃，来到此地，隐居于石洞中。另一种说法是秦二世时，宦官赵高私藏于此。后来因赵高名声不佳，便改高为杲。近来又有人考证说，赵杲是隋炀帝幼子赵王杲，曾与隋炀帝被突厥困在代州。
    据《代州志》载，赵杲观创建于北魏时期，历代均有修葺扩建。现存建筑物为明代重修，可分北洞与南洞两大群落。北洞内容以道教为主，南洞内容以佛教为主。
    北洞是主体建筑部分。中区有大殿三间，座北向南。原为道教三清塑像，后被佛教改成三世佛。左右耳殿，另有东西配殿各三间，南阁一间。东侧迎面山壁上，自然形成庞大的三角形石缝，内有天然石洞，景观奇特。石缝上端，外建五层楼阁。依崖开凿卯洞，梁架结构与崖石交接构筑，建造精巧。阁内设有铁索，扶铁索可攀援而上。在阁的东边又有一洞，内建殿三间，名九仙女阁，塑九仙女像。箭阁外塑赵杲泥像，头顶距石崖仅二指半，故旧称“赵杲观，离天二指半”。再往南，就是赵杲观最险峻的景观了。峭峰高处，半山腰中，山洞前面，建楼三间。一眼望去，高阁悬空，上峭崖，下绝壁，左右山石如刀削。上下左右根本无路可通。山洞中垂下一条长约20米的铁索，成了进洞的唯一途径。只有勇敢的虔诚者或探险者，方可垂直攀索而登，一般人只能望楼兴叹，故铁索被誉为“仙阁云梯”。三层楼建筑后依山洞，前为砖木结构。上层内塑太上老君、无始天尊、通天教主。中层内塑关圣帝君。下层供修持者居住。当时修筑情景，真令人难以想像。北洞群落，地形险要，峰峦竞秀，古木参天，峭峻幽邃，设计大胆，造型奇特。人夸“雁北悬空寺，不及代州赵杲现”说的并不过分。
    南洞又名自在庵，取观自在之意。利用一天然石窟，内塑观音及十八罗汉像。洞内保存有明代观音救八难石刻画像18块，弥足珍贵。