1858年6月26日、27日，《中英天津条约》、《中法天津条约》相继签订；1860年10月24日、25日《中英北京条约》、《中法北京条约》相继签订，第二次鸦片战争结束。
根据条约规定，英法军队要在清政府交清赔款后才撤出广州。然而，《中英北京条约》刚刚签字，英国驻华公使额尔金就写信给英国外交大臣罗素（Russel），要求联军尽早撤离广州。他还向陆军大臣赫贝特（Herbert）请求：“我希望你同法国政府达成协议，立即放弃这个地方（广州）。它对于我们毫无用处。”
当时，英国人一向锱铢必较，刻薄精明，怎么会一下子变了性，如此“宽宏大量”，钱还未拿到手就急如星火地主动放弃手中的抵押品（广州）呢？
1857年，广州水师对英军的反击
1856年，英国发动第二次鸦片战争。10月22日，海军上将西马縻各厘（MichelSeymour）率领英国舰队闯入虎门，翌日进犯广州。29日，英军攻入广州城，占领两广总督署，并大肆烧杀抢掠。但当时英国刚刚从“惨胜”的克里米亚战争脱身，全球战略布局一时未调整，在华总兵力不足2000，不敢深入，入城英军当晚即退出。此后两个多月，广州军民以游击袭扰战术频频发起局部反攻，连西马縻各厘的旗舰“科罗曼德尔”号也遭到攻击，英军不得不暂时采取守势。
1857年1月4日，广州水师首次向英国军舰发起大规模的主动进攻。下午1时，首先攻击英军盘踞的炮台。一大队沙船横列江上，约有70只大沙船和30只各配备40条到60条浆并在首尾安设重炮的兵船，猛烈而准确地射击西马縻各厘亲自率领的英军增援舰艇。直到涨潮的时候，中国沙船才开始退往小支流上去了。在另一处，自下午1点半起，约180只或200只沙船，配有同样的划艇，向英舰进攻；还有22只沙船，连同划艇，也从一条小河上开来。当它们距离英国船舰约1500码时，展开了灵活的炮击，英军也立即反击，一场激烈的战斗开始，一直继续到2时3刻，中国船艇才扬帆撤回到小河上去。
在以上两处战斗正进行时，一支由20只沙船组成的分遣队，从另一条小河开来，但为英军所阻，进攻没有成功。外国人在宁波办的《中外新报》报道说：“据英人云，中国人打仗，向无如此大胆，其战法亦较前为胜。”
这次战斗之后，火箭和火药瓶仍不断掷入英国船舰。西马縻各厘变本加厉地以攻击中国平民和非军事目标来报复，决定烧毁外国商馆附近（即十三行一带）的中国房屋，其中不少是贮存着货物的中国商民的货栈。
根据他的命令，1月12日清晨，英军放火队出发，先焚所赁居之洋行，渐延渐广，自西濠至西炮台，一昼夜毁数千家。西马縻各厘乘机派一支规模不小的军队进城。然而，中国人这次却是有戒备的，这队英军走近城墙时遭到射击，结果死了2人，重伤11人，轻伤2人，进攻被击退。
英军的暴行丝毫无助于改善其处境。化成废墟的商馆周围的英军阵地朝不保夕。1月14日，西马縻各厘决定放弃该阵地及在荷兰洋行的阵地，退守凤凰冈炮台和大黄滘炮台。次日，驻黄埔村的英军也被迫撤离。
陆上的战斗以英军的撤退告一段落，广州军民再接再厉，全力攻击水上目标。1月16日，当一只英船通过珠江左岸一条小河河口时，同120余只沙船和师船遭遇，后者即展开猛烈的射击，很快就重伤了英船的领港，还有3名水手为碎片所伤。在佛山，一艘为广州英军运送给养的轮船被截获。1月21日夜间，英军被迫再次收缩战线，除大黄滘炮台外，放弃了省河两岸和岛上的所有据点。
西马縻各厘在一份报告中哀叹，他已经“饱受数以百计的中国舢板的袭扰”和“火船以及其他设计巧妙而又凶险的兵器的攻击”。他深恐成为瓮中之鳖，终于在2月15日率舰队退往虎门之外，只保留了海军上尉贝德率领的大黄滘炮台300名守军。他们被中国水师围困，与外界隔绝，缺吃少喝，席不安枕。贝德颓丧万分，竟然声称“宁可进纽基特和潘敦威尔监狱，都不愿意呆在这个地方”。
5月下旬，琼州镇总兵黄开广募到红单船60余艘，合各巡船共百余艘，驻平洲三山河面，准备向大黄滘炮台的英军发动总攻。为了解除中国水师的威胁，5月25日，西马縻各厘不得已杀了个回马枪，率领20多条炮艇，首先攻击停泊在东江口北部的遯溪的一队中国师船。经过连续3天的战斗，有28艘师船被击毁，但英军的损失也不轻，每十人中就有一人被打中，即使在欧洲战争中，也算得上是一个很大的比例。
6月1日，英军一支1900人的舰队攻占了平洲附近三山滘两座炮台，摧毁了黄开广的72艘师船。当一支500人的英军分舰队到达佛山附近时，遭到当地炮台上20门发射32磅重弹的大炮和上百门小炮的猛烈轰击，同时还有89只师船支援这些炮台，战斗进行得非常激烈，有很长的时间不分胜负。英军最后虽攻下炮台，焚毁师船，但也在此死13人，伤40人。
西马縻各厘的侄子，即1900年曾率八国联军进犯北京、被义和团拦阻袭击后败退回天津的西摩尔（Seymour），当时作为一名见习生参加了佛山之战。他在回忆录中心有余悸地说：“领导我们的‘香港’号搁浅了……许多发炮弹马上击中它……（分舰队司令）凯佩尔准将的座舰被击成粉碎沉没……我所乘搭的敞篷汽艇同时也受一发炮弹穿透而沉没，而且恰在同时，‘高飞’号上的一个军官被一发炮弹炸成两截，他的尸体从我们头上抛过去。”
对这几场战斗，当时西方国家的刊物《两个世界杂志的年鉴》有如下评述：“中国舰队几乎全部被歼，然而和它进行的这三次战斗却是异常激烈的。英国人遭受到严重的损失。他们承认，在1842年的战争中曾目睹天朝帝国的师船和水兵不经一击，一触即溃；然而在这以后，中国人的军事训练和武装却已大有进步。大炮造得很好，口径很大，另外，火绳枪也由射程很远的欧洲枪所代替。”
另一位评论者说：“而中国人在佛山确实比人们所预料的要打得好了不知多少。正由于此，海军上将（西马縻各厘）才函告本国政府……‘这次战斗揭开了中国战史上的新纪元：中国人在防御方面极为灵活，而且很有勇气。’英国方面有84人阵亡或负伤。”
遯溪、平洲、佛山三役，英军虽达到了削弱中国水师以救援大黄滘炮台守军的目的，但却遭受了空前惨重的损失，这对兵力本已捉襟见肘的西马縻各厘来说，无异雪上加霜。何况当时中国水师的装备大部分技术含量低，可以就地取材生产补充，兼且后备兵员充足，虽受重创亦不难恢复，这与远离本土，武器装备、兵员补充均不易的英军的情况恰成鲜明对比。
