埃勒曼有个比他年长15岁的姐姐，名叫威妮·弗雷德。也许是年龄差距过大，造成了日后姐弟俩意见不和，分歧颇多，种种矛盾直到埃勒曼辞世的那一天也没能缓解。
生活在如此富有的家庭中，埃勒曼接受的是非常严格的家庭及学校教育，但是却养成了他桀骜不驯的性格。他对音乐、戏剧都有极大的热情，尤其对歌剧《吉伯特与苏利文》情有独钟，因为他认为这个歌剧讽刺了他父亲那个阶层所表现出的傲慢和虚伪。
他讨厌学校里教条式的管理，还曾写书讽刺诅咒一切学校里的恶习。他的姐姐是个浪漫主义作家，他们在创作以及生活风格上完全不同，甚至达到互不相容的地步。
埃勒曼的爱情道路并不平坦，他喜欢上了一个叫埃丝特的女子，她出身加拿大富裕家庭，是西班牙犹太人的后裔。他们在伦敦的一个剧院相识，埃勒曼被这个深色皮肤活泼可爱的女子深深吸引，两人不久就坠入爱河。
但令他沮丧和愤怒的是，父亲极力反对这门亲事，父子之间因此发生了一场激烈的争论。他和姐姐也因此开始正面的对峙，甚至大打出手，毫不留情。姐姐曾回忆说：“我非常讨厌他，妈妈以前曾说他是个淘气不懂规矩的孩子，她说得太对了。”
正当埃勒曼的婚姻陷入两难境地时，老埃勒曼在1933年去世，在父亲尸骨未寒和家人反对的情况下，埃勒曼就不顾一切地和埃丝特秘密结婚了。