张位也是为了赵志皋早些离去，于是写信给吏部文选郎唐伯元让他手下留情。

哪知唐伯元根本不买张位的面子，还举出赵学仕在南京种种不堪之举。

张位闻此大怒，当即出手将唐伯元贬为饶州通判。

此事一出捅了马蜂窝。

给事中刘道亨仗义执言出面弹劾张位数十大罪，张位被弹劾后，向天子辞官。天子为了挽留张位将刘道亨罢官。

而赵学仕也免去从重处罚，仅仅是让家仆代为受过。

此事一出，不少官员义愤填膺。

当时户部侍郎张养蒙、邓光祚、洪其道、程绍、白所知、薛亨等官员去文渊阁请罢免赵学仕，恢复唐伯元的官职。

张位知道这些人曾与孙丕扬，吕坤交好，在朝中都属于清流，出了名的反对内阁。

事后御史朱吾弼弹劾吏部侍郎赵参鲁包庇赵学仕，给事中戴士衡又弹劾文选郎白所知赃私。

这时吏部尚书蔡国珍终于坐不住，他出任吏部尚书虽为张位所推举，但现在先是文选司郎中唐伯元被弹劾，现在连吏部侍郎赵参鲁，新任文选司郎中白所知也被弹劾，他如何能坐视不理。

于是他上疏天子将责任都揽在自己身上，请求将他罢免。

天子如蔡国珍所愿将他罢免，又以结党的罪名罢了吏部二十二名官。

若说之前陈有年，孙丕扬等也罢了，但蔡国珍是个老好人，却也不容于张位，再加上被罢二十二名官员，满朝上下对张位骂声一片，言其招权示威，将所有过错都归于张位一人。

此刻张位宅中景象可谓一片惨淡。

礼部侍郎刘楚先、右都御史徐作、右庶子刘应秋、给事中杨廷兰、礼部主事万建昆等坐于下首。