公元前68年，武帝托孤的首席大臣、四朝元老（含在位27天的汉哀帝刘贺）、权倾天下的霍光病逝，汉宣帝不动声色，依然以最高规格的诸侯王葬礼把霍光的后事办得风风光光的。接着，开始削弱霍氏家族的权利与势力了。

霍光的正妻霍显夫人出身低微，但有霍光宠着，变得飞扬跋扈起来，为了自己的小女儿霍成君能当上皇后，曾经指使宫廷女医生淳于衍毒杀了宣帝的第一任皇后许平君，这已经犯下了滔天罪行。霍光死后，她依然不知道低调做人、作派上没有丝毫收敛、性格上依然嚣张。

据传，霍显品行不端、不守妇道、妇德。霍家的家奴的冯子都长像清秀，细皮嫩肉的，以前很受霍光喜爱。没想到霍光一死，尸骨未寒，霍显竟与冯子都私通淫乱。有一首乐府诗《羽林郎》中便有如下诗句：“昔有霍家奴，姓冯名子都。依倚将军势，调笑酒家胡。······”流传甚广！说得是霍家奴才冯子都，狗仗人势，依倚着霍家的将军势力，调笑一位卖酒的少数民族女子的事。由此可见，霍家的衰败并非是天意，纯属霍家人尤其是霍显咎由自取。

不仅私生活放荡，显夫人还要继续发扬霍家的威风，狂妄地扩张霍光陵墓的地域范围，大兴土木扩大自己的豪华宅第，还时不时地和几个女儿昼夜出入长信宫，把富丽堂皇的皇宫当成了霍氏家园。

更匪夷所思的是，在汉宣帝册立许平君皇后的儿子刘奭为太子、赐封许皇后的父亲为侯时，显夫人很不爽，竟气得吐血。为避免女儿霍成君生的皇子将来只能当王的命运，她唆使霍皇后去毒死太子刘奭，但是，由于忠心的保姆事先品尝食物，霍成君屡屡都没有下毒的机会。

由于霍显的狂妄无知，破坏了家风。霍光的儿子霍禹、霍去病的两个孙子霍云、霍山都被封侯了还目无王法：大肆修建府邸，明目张胆地在皇家猎场狩猎，还动辄称病不上朝。霍光在世时候，汉宣帝对霍光拥立自己上位多少有感恩之情，再加上霍光权倾朝野，所以，对他们的不法行为睁只眼闭只眼，采取韬光养晦的态度，这是等待机会，霍家人竟然没有看出。

霍显夫人毒害皇后的事泄露出来后，宣帝不动声色，将霍氏家族子弟明升暗降，剥夺了兵权。还下诏，朝臣以后有事，不用通过尚书令，可以直接向皇帝上奏。种种迹象让霍氏家族成员张皇失措，霍显、霍禹、霍山不甘心束手就擒密谋造反。事发后都死于非命。皇后霍成君也被废黜。

就好回答了，霍光去世后，他的老婆霍显与家奴冯子都私通。霍显素质低，他与冯子都私通的目的与霍家其它子弟一样都是为贪图享乐。坏家风、坏习惯使然，这是败家的根本！