绍熙二年(1191)十一月，李氏趁宋光宗离宫之机，杀死了他宠爱的黄贵妃。光宗闻讯，虽万分伤心，却敢怒而不敢言，只能将痛苦埋藏于心。次日，宋光宗强打精神，主持祭祀天地的大礼。仪式进行过程中，突然刮起狂风，大雨倾盆而下，祭坛上的灯烛也燃起大火，祭祀被迫中断。
接连两次精神上遭受如此大的刺激，宋光宗“心疾”加重，精神疾病彻底发作了，对孝宗的疑惧也日甚一日。每到一月四朝的日子，他就托词不去，有时明明事先宣布过宫，可又言而无信，临时变卦。后来他干脆以孝宗的名义颁降免去过宫的诏旨。如此行为无疑有损天子“圣德”，大臣们纷纷上奏劝谏宋光宗要尽人子之道。
宋光宗偶尔也心有所感，绍熙三年十二月到次年正月，他三次赴重华宫朝见，但不久又故态复萌，数月不过宫问安。朝野上下，市井街头，对当朝天子的不孝之举议论纷纷，太学生们也加入了劝谏的行列，上百人上书要求宋光宗过宫，而光宗依然故我，根本不理睬外间舆论。
绍熙五年，孝宗得病，宋光宗仍一次也没有过宫探视。亲生儿子冷落自己到这种地步，孝宗心中充满了失望、悒(yì)郁与悲伤，病情急转直下。五月，孝宗病重。太学生们听说宋光宗此时竟然还在后宫玩乐，并不过宫省亲问疾，便写了一篇《拟行乐表》，其中两句说“周公欺我，愿焚《酒诰》于康衢;孔子空言，请束《孝经》于高阁”，辛辣地讽刺了宋光宗的不孝无德。
与此同时，群臣因宋光宗不从劝谏，纷纷上疏自求罢黜，居家待罪，“举朝求去，如出一口”，宋光宗统统下诏不许。丞相留正等大臣再三恳请宋光宗过宫探视孝宗病情，宋光宗不听，拂衣而去。留正紧拉宋光宗的衣裾，苦苦进谏，光宗仍不为所动，自回内宫，群臣只得恸哭而退。都城百姓对光宗的强烈不满至此也达到了顶点，不加掩饰地表露出来，曾经藏在心里的愤怒，如今“勃勃然怒形于色矣”。群臣在此事发生前只是私下里议论，而如今则个个“嚣嚣然传于道矣”。
六月，孝宗驾崩，宋光宗仍然不顾百官奏请，连丧事也不肯主持，只得由太皇太后吴氏代其主丧。实际上，宋光宗内心深处仍然畏惧着孝宗，他不相信孝宗已死，以为这是一个篡夺自己皇位的圈套。他不仅安居深宫，宴饮如故，不为孝宗服丧，而且担心遭人暗算，时刻佩剑带弓以自卫。然而，正在这位不孝的皇帝终日提防自己父亲的时候，他却万万没有料到，皇位已经被自己的儿子悄悄地取代。绍熙五年七月，嘉王赵扩在太皇太后的支持和大臣赵汝愚、韩侂(tuō)胄等人的拥立下即位，是为宁宗。