然而，回首处已是逝水流年，前缘不再。“算潮水、知人最苦”，此时词人“小舟挂席，容与波上”，唯与潮水为最近。这历经千年滚滚东逝的潮水看尽了古往今来多少离情别恨。白石以为唯潮水能知其“最苦”处，亦兼以潮声呜咽低徊，好像为自己呜咽哭泣。“最苦”二字写此刻心情异常准确深刻。
“满汀芳草不成归，日暮；更移舟，向甚处？”江中小洲上斜阳西坠，芳草萋萋，令人怀思远方的佳人却难以回去和她相会。 “向甚处”是心绪茫然中随口一问，表现出惘然若有所失的情态。欲不离去而不能，就此离去又心中不忍，徘徊回顾，不知身寄何处。
1186年岁末到次年元旦，白石一连写了两首怀念恋人的情词，可见其心境。情天恨海之中，姜白石踟蹰行舟，茫然不知所向。
烟波江上，徒使人愁。
三十二、双桨来时，有人似、旧曲桃根桃叶
《吴都赋》云：“户藏烟浦，家具画船。”唯吴兴为然。春游之盛，西湖未能过也。己酉岁，予与萧时父载酒南郭，感遇成歌。