环绣楼始建于明洪武九年（1376），楼高四层约30米，底为八卦形，底层直径18米、周长约31米。最顶层用八柱支顶成盔式亭状，上缀四节彩色葫芦，八角是雕花飞檐雕兽，飞檐悬铃，楼吊盆式顶，角檐下彩绘人物、山水、瑞兽狮、鹿、麒麟、豹等，工艺精美，栩栩如生。由学士解缙书额。整座亭楼造型古雅美观，画饰华丽。楼内有梯可盘旋至顶层，各层楼八面都开花窗，可从不同角度摄入秀丽景色。楼体砖石结构，基座为红砂石砌筑，楼身砖砌，一至三层每面设窗，二至四层每层设平座，栏杆为漏空砖砌，第四层以八根大柱构成八角形亭式结构，攒尖顶，上覆小青瓦，檐角高翅，檐下设卷棚，楼体庄重秀丽。故写一联：  

           八角亭，八角铃，八角亭铃悬八角；

          奎星楼，奎星阁，奎星楼阁藏奎星。

        现存的环绣楼建筑是在明成化年间（1465-1475）由知县张时谨重修。清康熙五十八年（1719）再修；民国十八年（1929）、新中国成立后，先后于1965年、1972年、1995年按原样进行修茸。此外于1950年8月，耒阳县将民众教育馆改民并在环绣楼成立人民教育馆，内设书报阅览室，后迁出为图书馆、文化馆，1962年又从文化馆迁至环绣楼（八角亭）内，1974年再从环绣楼复迁出至蔡侯祠。

      有《憩八角亭》诗云：

亦古亦香楼台阁，

是风是雨数春秋；

云烟欲迷大白旗，

紫霞纷扰子美舟。

月下把盏刘关张，

春仲吟诗桃李柚；

潮涨潮落浮沉世，

英雄何曾说过愁。

       有关“八角亭”的由来，传说与“青龙塔”有关。相传太上老君察访人间时，玉帝叫他把“宝撒四方”，太上老君错听为“宝撒耒阳”，于是就使耒阳出现一大批人才来，奸臣张太爷怕这样下去，自己会站不住脚，要想把耒阳的宝气压下去，首先就必须制服那条青龙，于是张太爷强迫民工建座塔压住龙颈。可是，青一翻身又把塔掀倒了。没办法，老奸巨猾的张太爷到处打尽，从一个妖道那里借来一部神书，书中每字重千斤，这样青龙就被这部神书活活压死了，于是“青龙塔”就砌成了。青龙被压死后，耒水连续三年发洪水，张太爷又惊又怒，又在龙尾上建一座亭，就是如今的“八角亭”，并在上面题了一首压制耒阳的诗：

金牛对金洲，

耒水两边流；

财主不三代，

清官不久留。

亦有陈录社题《望海潮＊登望江楼》诗：

莺啼晴野，
云闲碧臭，
春光正忒迷人。
花漫沃田，
风熏柳岸，
悠悠耒水环阑。
乘兴上重岑，
竹丝宛天簌，
摇魄消魂。
极目凭栏，
放由思绪向无垠。
～
千秋倜傥纶巾，
许堂前醉风，
署理衙门。
百里郭城，
牛刀小试，
看吾宰相风神。
从此知乾坤，
草莽雄夫勇，
终逊斯文。
但问今朝紫盖，

谁识劲松？