外，通判台州。宁宗即位，除太府丞。
时韩侂胄浸用事，正言李沐论右相赵汝愚罢之。祖俭奏：“汝愚亦不得无过，然未至如言者所云。”侂胄怒曰：“吕寺丞乃预我事邪？”会祭酒李祥、博士杨简皆上书讼汝愚，沐皆劾罢之。祖俭乃上封事曰：“陛下初政清明，登用忠良，然曾未逾时，朱熹老儒也，有所论列，则亟使之去；彭龟年旧学也，有所论列，亦亟许之去；至于李祥老成笃实，非有偏比，盖众听所共孚者，今又终于斥逐。臣恐自是天下有当言之事，必将相视以为戒，钳口结舌之风一成而未易反，是岂国家之利邪？”
又曰：“今之能言之士，其所难非在于得罪君父，而在忤意权势。姑以臣所知者言之，难莫难于论灾异，然言之而不讳者，以其事不关于权势也。若乃御笔之降，庙堂不敢重违，台谏不敢深论，给、舍不敢固执，盖以其事关贵幸，深虑乘间激发而重得罪也。故凡劝导人主事从中出者，盖欲假人主之声势，以渐窃威权耳。比者闻之道路，左右nj御，于黜陟废置之际，间得闻者，车马辐凑，其门如市，恃权怙宠，摇撼外庭。臣恐事势浸淫，政归幸门，不在公室。凡所荐进皆其所私，凡所倾陷皆其所恶，岂但侧目惮畏，莫敢指言，而阿比顺从，内外表里之患，必将形见。臣因李祥获罪而深及此者，是岂矫激自取罪戾哉？实以士气颓靡之中，稍忤权臣，则去不旋踵。私忧过计，深虑陛下之势孤，而相与维持宗社者浸寡也。”
疏既上，束檐待罪。有旨：吕祖俭朋比罔上，安置韶州。中书舍人邓驲缴奏，祖俭罪不至贬。御笔：“祖俭意在无君，罪当诛。窜逐已为宽恩。”会楼钥进读吕公著元祐初所上十事，因进曰：“如公著社稷臣，犹将十世宥之，前日太府寺丞吕祖俭以言事得罪者，其孙也。今投之岭外，万一即死，圣朝有杀言者之名，臣窃为陛下惜之。”上问：“祖俭所言何事？”然后知前日之行不出上意。侂胄谓人曰：“复有救祖俭者，当处以新州矣。”众莫敢出口。有谓侂胄曰：“自赵丞相去，天下已切齿，今又投祖俭瘴乡，不幸或死，则怨益重，曷若少徙内地。”侂胄亦悟。祖俭至庐陵，将趋岭，得旨改送吉州。遇赦，量移高安。二年卒，诏令归葬。
祖俭之谪也，朱熹与书曰：“熹以官则高于子约，以上之顾遇恩礼则深于子约，然坐视群小之为，不能一言以报效，乃令子约独舒愤懑，触群小而蹈祸机，其愧叹深矣。”祖俭报书曰：“在朝行闻时事，如在水火中，不可一朝居。使处乡闾，理乱不知，又何以多言为哉？”在谪所，读书穷理，卖药以自给。每出，必