王黼失宠的原因有很多，比如他当政以后，宋国的情况每况日下，比如他推行的夫役钱搞的怨声载道，不过最重要的原因却是赵佶发现了王黼与梁师成居然是邻居，而且两家还有便门想通，换而言之，这一内一外两个重臣相交太密切了，有瞒上欺下的嫌疑。
任何朝代，大臣与内侍相交结都是犯忌讳的，皇帝对此皆是相当敏感。
朝官不得交结宦官，宦官也不宜与朝官交结，这是宋代防范宦官专权的一条重要原则。
按照规定，两者若相互往来，将受到惩处。
然而，宋徽宗时期，特别是宣和以来，宦官与朝官相交结，已经成为一种普遍风气，士大夫几乎无不奔走于宦官之门，已经相习成风，皆以附内侍为荣，但凡权势显赫的宦官，无不门庭若市，他们各立门户，公受货赂，以贩鬻官爵，只不过以前心思全都在书画和道家上的赵佶并没有注意到这些事罢了。
赵佶对王黼很失望。
当初，赵佶力排众议，破格提拔王黼，可以说对王黼是寄予了厚望。
赵佶给王黼的待遇也最高，不仅赐给他宅邸，还亲自给他的宅邸命名为“得贤治定”，甚至又亲自给他题写了“载赓堂”、“膏露堂”、“宠光亭”、“十峰亭”、“老山亭”、“荣光斋”、“隐庵”等七块碑额。
王黼与粱师成在赵佶面前很会表演。
王黼才智出众，能言善辩，既善于揽权敛财，又善于巧言献媚，逐步赢得了赵佶的信任。
而梁师成则是另一种风格，他愚讷谦卑，老实厚道，不能说不会道，但他善于察言观色，处事老道，也深得赵佶的宠信。
近几年来，王黼和梁师成在赵佶面前一唱一和，阳奉而阴违，赵佶觉得他二人把自己害惨了。
不久，年仅三十五岁的御史中丞史何栗挺身而出，他上疏弹劾王黼，连奏七章，列举了王黼奸邪专横、阳奉阴违、结党营私、巧取豪夺、骄奢淫逸等十五条罪状，请求朝廷罢免王黼，并按律治罪。
王黼的政治嗅觉很灵敏，他感到形势对自己越来越不利，于是在十一月初，他主动上章请求致仕，他在奏章中说：“陛下用臣不为不尽，任臣不为不专。缘臣薄祐，取戾阴阳，内积忧虞，外伤疲敝，扪心自悼，吊影生嗟，获戾天人，莫之可逭。倘许尽还印绶，退即里居，脱身于风波汹涌之中，收功于桑榆衰蹇之域，人非鬼责，少缓颠隮，永言此恩，是为终惠。”
赵佶很快便批准了王黼的请求，他在御笔中写道：“王黼陈乞致仕，其应恩人数、朝谒礼数等，一切并依蔡京例施行，仍给节度使俸”。
这年，王黼四十五岁。
王黼是宣和二年十一月正式出任少保、太宰兼门下侍郎即宰相职务的。
其实，早在宣和二年六月蔡京退休前，王黼就已经深得赵佶的信任，并开始掌控朝政大权。
王黼采取罢方田、毁辟雍与医学算学、并会要和六典诸局等一系列减轻赋税杂役和精简政府机构的改革措施，赢得了当时人们的广泛好评，人们觉得他很有魄力，都称赞他为“贤相”。
后来，王黼设置应奉局，自兼提领，以进贡赵佶为名，向各地官员摊派，要求进贡四方珍异之物，才逐渐引起了人们的反感——这些东西，能到赵佶手中的也就是十分之一，其余全都被他和粱师成瓜分。
随着权力地位的巩固，王黼越来越专权霸道，恣凶稔恶，说一不二，对于与他看法不一致的大臣，他毫不留情地予以打击迫害，中外畏之，无敢言者。
所以，王黼罢官的消息传开后，天下称快。
……