14日下午，义和团对留守落垡车站的联军发起攻击。这批联军招架不住，便开动一辆轨道车到廊坊求援，迫使西摩派兵回来援助。待西摩的援军来到，义和团主动撤退。西摩又匆忙率领援军赶回廊坊，仍然幻想修复铁路，继续向北京进发。
6月14日晚上，在紧靠划分使馆区和外城的那部分城墙的外面，发生了义和团民示威事件。几千名团民在举行集会，高喊“杀死洋鬼子”的口号，使北京使馆区的安全受到威胁。夜间，这些团民曾对使馆区的哨兵进行过几次试探性的攻击，但都被使馆击退。
15日，留守落垡的联军又一次受到义和团的包围，情况十分危急。西摩意识到问题的严重性，于是命令部分联军立即返回落垡，以便确保廊坊——落垡——杨村之间的铁路畅通。这样，当陆路实在无法进京的时候，才能确保联军从杨村沿水路进京。否则，一旦落垡失守，联军就有可能被义和团团团围住，前进不得，后退不能，到那时，炎热、饥饿、伤病、义和团的攻击一起出现，困守廊坊、落垡、杨村的联军只能全军覆没。出于对最坏情况的顾忌，西摩于16日决定全军撤回杨村，试图在必要时从北运河乘船北上进京。联军在西摩的指挥下开始两线迎战，部分联军留守廊坊，西摩率领联军退到落垡。