咸丰四年（1854）六月，上海海关落入外国人掌握之中。先是，咸丰三年八月，上海小刀会起义捣毁上海海关。外国侵略者借口代征税金，于八月初七日夺取上海海关管理权。次年六月初五日，清上海道吴健彰与英、法、美三国领事商定《上海海关章程》。根据这一协定，六月十八日，由英、法、美三国领事分别推举英国人威妥玛、法国人斯密司和美国人卡尔为委员，正式成立“上海海关税务管理委员会”，由威妥玛总负责。咸丰八年威妥玛去职，由曾任英国驻上海领事馆职员的李泰国接任。