当英军进攻华盛顿时，麦迪逊到前线去了，多莉手忙脚乱地收拾文件，并忠贞地保护好华盛顿像，然后才匆忙奔向她朋友的家。不过，朋友这时翻脸了，她咒骂麦迪逊把她的丈夫送到前线去受死，大骂着让多莉滚开。可怜的总统夫人只好四处躲藏，最后跑到弗吉尼亚。麦迪逊此时也正在着急地寻找着多莉，由于战事很紧张，作为总司令他抽不出时间去照顾爱妻，但他又不能失去多莉这个给他许多帮助的女人，麦迪逊着实动了感情，他急得团团转，他们终于在分手36小时之后又团聚了。
麦迪逊在衣着方面甚为随便，既缺乏变化，也缺乏个性。他经常穿黑色的衣服，这使人常常联想到牧师，另外，他的发型也成为有些人嘲笑的对象。当然，这一切并不能说明麦迪逊的一切，也不能说明麦迪逊是一个古板而又严肃的政治家。和朋友在一起的麦迪逊总是有说有笑的，有时还开一些善意的玩笑，甚至还刻意嘲笑自己，是个不折不扣的“普通总统”。