上海自元代建县后，未筑城墙，明代时多次遭到倭寇侵略。因此于明嘉靖三十二年（1553年）仅用3个月时间赶筑了一座周长9华里，高2.4丈的城墙，城上筑有雉堞3600余个，敌楼2座，沿城墙外面筑有阔6丈、深1.7丈、周长1500余丈的城壕。明嘉靖三十六年（1557年），又增筑敌楼3座、箭台20座。万历年间倭患平息，县城安宁，便在4座箭台上建造了丹凤楼、观音阁、真武庙和大境阁。大境阁建在大境箭台上，是一座结构精巧、造型别致的抱厦式三层楼阁。此阁始建于明万历年间，供关帝像（原称关帝殿），清嘉庆二十年（1815年），改建成三层高阁（即今日之阁）。道光元年（1821年），总督陶澍登阁观光后亲题“旷观”匾额悬于“熙春台”上，道光十六年（1836年），两江总督陈銮游此，题“大千胜境”四字刻于东首   石坊上。于是此阁名声大振，被列为沪城八景之一“江皋霁雪”景点，成为申城旅游热点之一。

    近代以来，大境阁为文人墨客云集之处。晚清至民初，此阁三层楼曾是著名画家吴逃禅、华墨龙、任伯年、朱屺瞻等作画、会友之所。1917年，著名昆曲教师陈风鸣、丁兰生，票友郁炳生等在此二楼成立“平声曲社”，昆曲家莫舒斋也在这里开办昆曲学习班培养昆曲新秀。1952年，由应云卫执导，史湘云主演的昆剧《桃花扇》，就是在此阁组团后公演的。

    清代后期，上海经济迅速发展，上海的有识之士认识到古城楼已成了阻碍城内外交通、影响经济发展的障碍，遂于1912年7月先拆南半城，1913年拆北半城，将拆城的泥土填没城壕，历时2年竣工。由于当年拆城指挥部——城壕路工事务所设在大境阁，又有人请求保留大境阁，后以九亩地的泥土充填大境阁下这段城壕的泥土，才使这段城墙和大境阁得以保留下来。1992年开始，南市区人民政府经三年的努力，动迁居民31户，单位9个，耗资900万元，将这段古城墙和大境阁按原样修复开放，供游人参观游览。

    现今的大境阁二楼还陈列了《上海老城厢史迹展览》，分城墙史话，设置沿革、东南重镇、城厢变迁、步入近代、文昌物华、南市展望等7个部分，以图片、图表、实物、模型、灯箱、置景等多种形式集中展现了上海老城厢700多年间在政治、经济、军事、教育、文化诸方面的变迁以及南市的今日和未来。