赵构退位后，自称不再问朝政，其实也干预一些政事。有一天，他去灵隐寺冷泉亭喝茶，有个行者对他照料得很殷勤，他打量了一番行者说：“我看你的样子不像个行者。”行者哭着诉说道：“我本是一个郡守，得罪了监司，被诬陷降罪，罚为庶人。为了糊口，得来此处投亲，干此贱活。”赵构当即说：“我明天替你去向皇帝说明。”回宫后果真对皇帝讲了，要复他的职。几天后他再去冷泉亭，见行者还在，他回宫后在宴饮时便怒容满面。孝宗小心翼翼地问赵构为何生气，赵构说：“我老了，没人听话了，那行者的事，我几天前就同你讲了，为何不办理?”孝宗回答说：“我昨日已向宰相讲起，宰相一查，说此人是贪赃枉法，免他一死已经宽大，再要复职实在不行。”
赵构却不顾这些，说：“那叫我今后怎么再见人，我已经答应他向你求情。”孝宗无奈，只得去对宰相说：“太上皇大发脾气了，那人即使犯了谋杀罪，你也得给他复职。”宰相只得照办。
赵构政治上昏聩，但是精于书法，善真行草书，笔法洒脱婉丽，自然流畅，颇得晋人神韵，明代陶宗仪《书史会要》称：“高宗善真行草书，天纵其能，无不造妙。”其书法影响和左右了南宋书坛，后人多效法其书迹。
淳熙十四年十月乙亥日(1187年11月9日)，赵构病死于临安行在的德寿宫，时年八十一岁，谥号圣神武文宪孝皇帝，庙号高宗。
赵构死后，棺木未下葬，直到淳熙十六年(1189年)三月丙寅日，才下葬于都城绍兴府会稽县之永思陵。宋光宗绍熙二年(1191年)，加谥号为受命中兴全功至德圣神武文昭仁宪孝皇帝。
揭秘：退位后的宋高宗赵构过着怎样的晚年生活