时牛仙客已死，刑部尚书李适之，进任左相，兼领兵部尚书，驸马张洎，系张说次子，曾尚玄宗女宁亲公主，入任兵部侍郎。林甫因二人升官，不由己荐，未免加忌。二人自结主知，也不愿巴结林甫，积久成隙，几同仇敌。林甫使人讦发兵部铨曹罪案，收逮六十余人，令法曹吉温、罗希奭等，锻炼成狱，悉加重典，当时号为罗钳吉网，无一幸免。但李适之自经此狱，面上很觉削色，越与林甫不和。租庸转运使韦坚，进补刑部尚书，御史中丞杨慎矜，兼代租庸转运使。坚为适之党，慎矜为林甫党，皇甫惟明本系太子故友，当然与坚相往来，林甫就此设谋，暗嘱慎矜上书告变，竟说惟明与坚，谋立太子。玄宗信以为真，即令林甫委吏鞫治。林甫仍遣慎矜等作为问官。看官试想！此时的韦坚及皇甫惟明，尚能辩明冤枉吗？慎矜诬假作真，妄定谳案，还亏玄宗顾及太子，不欲显布罪状，但贬坚为缙云太守。皇甫惟明为播州太守，亲党连坐，约数十人。太子因坚为妃兄，未免惶惧，表请与妃离婚。玄宗搁过不提，太子妃才得保全。李适之虽未株连，自知相位不固，乐得上书辞职，有制罢适之为太子少保，不令预政。既而将作少匠韦兰，兵部员外郎韦芝，均为兄坚讼冤。李林甫入白玄宗，挑动上怒，竟谪兰芝两人至岭南，再贬坚为江夏别驾，寻且流徙临封。适之亦坐党谪守宜春。