许平君死后，霍成君顺利嫁给汉宣帝，外有霍家支持，内有皇帝宠爱，可以说是当时权利最大的女人了。可是霍成君最后为什么会落得一个独居冷宫自杀而死的下场。下面我们就来看看汉宣帝皇后霍成君是怎么走向死亡的。霍光去世后，汉宣帝立与许平君所生之子刘奭为太子，封许平君的父亲昌城君许广汉为平恩侯。霍成君母亲霍显气得吃不下饭，说：“刘奭是汉宣帝在民间时生的，怎么能当太子?如果现在的皇后生了儿子，反而为王吗?”然后叫霍成君把许平君是儿子毒死。霍成君回到宫中后，召见刘奭并赐下食物，可是每次刘奭身边的人都会先试菜验毒，霍成君也无法对刘奭下手。没多久霍显毒杀许平君的事情就被汉宣帝发现了，霍显便与儿子霍禹，霍家子弟冠阳侯霍云、乐平侯霍山、诸女婿度辽将军范明友，长信少府邓广汉、中郎将任胜、骑都尉赵平，长安男子冯殷等阴谋造反，但是东织室令张赦派魏郡豪家李竟向朝廷举报此事，霍显等人全都被汉宣帝诛杀。
汉宣帝派有关官员赐命令给霍成君，说她居心不良而失道，生性狠毒，持毒药与其母霍显同谋要暗害太子刘奭，无人母之恩，不能奉宗庙祭服，不可以承担皇后大位。于是废黜霍成君的皇后之位，收缴皇后玺绶，将其迁往上林苑的昭台宫居住。十二年后，汉宣帝再度下令将其迁往云林馆居住，但霍成君自杀而死，霍成君死后葬于蓝田县昆吾亭东部。
上官皇后的母亲在史书上没有关于她名字的记载，在电视剧《云中歌》中以霍怜儿作为她的名字。《云中歌》中的霍氏由阚清子饰演，一袭粉紫色的衣服，表情带着几分忧愁，也许跟她不能自主的命运有关。因为政治斗争，霍怜儿被霍光安排嫁进了上官家，被要求监视夫家，回报给父亲。她最后自尽，膝下有两子一女，其中一女即位上官皇后。