南宋淳熙九年，浙东常平使朱熹巡行台州，因唐仲友的永康学派反对朱熹的理学，朱熹连上六疏弹劾唐仲友，其中第三、第四状论及唐与严蕊风化之罪，下令黄岩通判抓捕严蕊，关押在台州和绍兴，施以鞭笞，逼其招供。严说：“身为贱妓，纵合与太守有滥，科亦不至死；然是非真伪，岂可妄言以污士大夫，虽死不可诬也。”此事朝野议论，震动孝宗。后朱熹改官，岳霖任提点刑狱，释放严蕊，问其归宿。严蕊作这首《卜算子》。岳霖判令从良，被赵宋宗室纳为妾。