当然，并非所有人都喜欢这对组合。雁门主要的四家豪族就不喜欢，那时候李牧之后，成年不久的李行刚刚能光明正大出现在明面，所以李家并不是四大豪门世家。
那这四家是什么个成分呢？前任郡守桑家、前任郡尉顾家、前任郡丞郎家以及一个老派豪族庞家。三个前任的军政长官。这三大豪族约莫都是有百年积累的世家豪族，通过世代传承的军政势力，豪族势力自然稳固。最后一个庞家，是大梁庞涓之后的庞家分出来的旁支，也算得一个百年豪族。这四个，都是雁门郡赵国统治时期的豪族。
当赵国存留的时候，他们在雁门可以说是呼风唤雨，无所不能。别说被百姓告状敲“诉冤鼓”，就是被欺压了，还得面上陪着笑才行。
可蒲公一来，庞大的国家机器下，他们任何反抗都显得孱弱无力。于是，只能偃旗息鼓。甚至其中两家衰弱后被渐渐崛起另外两家取代。当扶苏来雁门时，城内豪族依旧是四家。却已经变成了：首要的是李家，其次就是跟随李牧隐退的部将司马家，再就以前的郡守桑穆桑家，以及老派豪族庞家。这四家构成了雁门本土派最强力力量。就算如今，庞家依旧占据着郡署郡丞之职。同样，其余几家几乎可以说掌控了民间主要的经济命脉，军政机构中充斥四姓门徒。