大连城位于凭祥市北面1.5公里处，又名大垒城，简称连城，大连城周围山头筑有中型炮台八座，犹如联合起来的环形长城，有“连城天险”之称，这就是“大连城”命名的由来。在山谷中，有当年修筑规模宏大的建筑群：提督衙门、演武厅、庆祝宫、练兵场、军械局、选锋蓬、牛蓬、公馆、戏台、武圣庙、财神庙、灶王庙。还挖了“福”、“禄”、“寿”、“喜”不同用途的四口井，均用料石砌就。1981年8月，大连城遗址被列为自治区重点文物保护单位。
中法战争结束后，朝廷任命苏元春为广西边防提督，苏元春考虑到巩固边防的需要，将提督府从柳州迁到龙州。因龙州离镇南关太远，为便于指挥和调动军队，便在凭祥开辟大连城，建立提督行署并亲自坐镇防守。大连城就这样成为了当时的广西边防军事指挥中心，相当于现在的广西军区司令部。
大连城旁边的白玉洞则是一处天然山洞，因洞中的钟乳石光洁晶莹，璀灿如玉，剔透玲珑而得名，是凭祥旧八景之一，叫“玉洞天然”。1885年苏元春督办广西边防军务，第二年开始带头捐奉修建大连城、白玉洞，1903年离开，在这里驻守了十九年，以大连城为广西全边的指挥中心，同时选择在白玉洞建“养心处”和军机要地，作为研究军机和避暑的地方。
