魏其、武安俱好儒术，推毂赵绾为御史大夫，王臧为郎中令。迎鲁申公，欲设明堂，令列侯就国，除关，以礼为服制，以兴太平。举适诸窦宗室毋节行者，除其属籍。时诸外家为列侯，列侯多尚公主，皆不欲就国，以故毁日至窦太后。太后好黄、老之言，而魏其、武安、赵绾、王臧等务隆推儒术，贬道家言，是以窦太后滋不悦魏其等。及建元二年，御史大夫赵绾请无奏事东宫。窦太后大怒，乃罢逐赵绾、王臧等，而免丞相、太尉，以柏至侯许昌为丞相，武强侯庄青翟为御史大夫。魏其、武安由此以侯家居。
武安侯虽不任职，以王太后故，亲幸，数言事多效，天下吏士趋势利者，皆去魏其归武安。武安日益横。建元六年，窦太后崩，丞相昌、御史大夫青翟坐丧事不办，免。以武安侯蚡为丞相，以大司农韩安国为御史大夫。天下士郡诸侯愈益附武安。
武安者，貌侵，生贵甚。又以为诸侯王多长，上初即位，富于春秋，蚡以肺腑为京师相，非痛折节以礼诎之，天下不肃。当是时，丞相入奏事，坐语移日，所言皆听。荐人或起家至二千石，权移主上。上乃曰：“君除吏已尽未？吾亦欲除吏。”尝请考工地益宅，上怒曰：“君何不遂取武库！”是后乃退。尝召客饮，坐其兄盖侯南乡，自坐东乡，以为汉相尊，不可以兄故私桡。武安由此滋骄，治宅甲诸第。田园极膏腴，而市买郡县器物相属于道。前堂罗钟鼓，立曲旃；后房妇女以百数。诸侯奉金玉狗马玩好，不可胜数。
