但随着卫家势力越来越大，汉武帝逐渐心生忌惮，有意削卫市势力。虽然卫青忠心耿耿，但终究还是受到猜忌，在惊惧中死去。
卫青死后，汉武帝的疑虑稍减，但是卫子夫也没了外援，随着年龄的衰老，逐渐丧失了武帝的宠信，成为一个孤独的皇后。
本来，这样也不错。但随着武帝年纪的增大，疑心病越来越重。卫氏虽然失了卫青这个主心骨，但仍势力遍布朝堂，这让汉武帝越来越不能容忍。后来在小人的挑唆下，武帝末年著名的巫蛊之祸爆发。
当时，宠臣江充因跟太子刘据不合，怕武帝死后刘据不放过自己，索性先下手为强，妄言武帝生病是因为有人行巫蛊诅咒所致。武帝盛怒之下，当即命江充为使者调查。江充借机陷害太子，和宦官苏文联手，在东宫“挖”出桐木人，作为刘据诅咒老爹的证据。
