所以乞封潘罗支为六谷王而厚以金帛者，恐继迁旦暮用兵断彼卖马之路也。苟朝廷信使得达潘罗支，则泥埋等族、西南远蕃，不难招集。西南既廪命，而缘边之势张，则鄜、延、环、庆之浅蕃，原、渭、震戎之熟户，自然归化。然后使之与对替甲兵及驻泊军马互为声援，则万山闻之，必不敢于灵州、河西顿兵矣。万山既退，则贺兰蕃部亦稍稍叛继迁矣。若曰名器不可以假人，爵赏不可以滥及，此乃圣人为治之常道，非随时变易之义也。”
齐贤又请调江淮、荆湘丁壮八万以益防御，朝议以为动摇，兼泽国人民，远戍西鄙亦非便，计遂寝。
齐贤又言：“灵州斗绝一隅，当城镇完全、碛路未梗之时，中外已言合弃，自继迁为患已来，危困弥甚。南去镇戎约五百余里，东去环州仅六七日程，如此畏途，不须攻夺，则城中之民何由而出，城中之兵何由而归？欲全军民，理须应接。为今之计，若能增益精兵，以合西边屯驻、对替之兵，从以原、渭、镇戎之师，率山西熟户从东界而入，严约师期，两路交进。设若继迁分兵以应敌，我则乘势而易攻。且奔命途道，首尾难卫，千里趋利，不败则禽。臣谓兵锋未交，而灵州之围自解。然后取灵州军民，而置砦于萧关、武延川险要处以侨寓之，如此则蕃汉士人之心有所依赖。裁候平宁，却归旧贯，然后纵蕃汉之兵，乘时以为进退，则成功不难矣。”时不能用。未几，灵武果陷。
闰十二月，拜右仆射、判汾州，不行，改判永兴军兼马步军部署。时薛居正子惟吉妻柴氏无子早寡，尽畜其货产及书籍论告，欲改适齐贤。惟吉子安上诉其事，上不欲置于理，命司门员外郎张正伦就讯，柴氏所对与安上状异。下其事于御史，乃齐贤子太子中舍宗诲教柴氏为词。齐贤坐责太常卿、分司西京，宗诲贬海州别驾。
景德初，起为兵部尚书、知青州。上幸澶渊，命兼青、淄、潍州安抚使。二年，改吏部尚书。上疏言曰：“臣在先朝，常忧灵、夏两镇终为继迁并吞，言事者以臣所虑为太过，略举既往之事以明本末。当时臣下皆以继迁只是怀恋父祖旧地，别无他心，先帝与以银州廉察，庶满其意。尔后攻劫不已，直至降麟、府州界八部族蕃酋，又胁制贺兰山下帐族，言事者犹谓封奖未厚。洎陛下赐以银、夏土壤，宠以节旄，自此奸威愈滋，逆志尤暴。屡断灵州粮路，复挠缘边城池，数年之间，灵州终为吞噬。当灵池、清远军垂欲陷没，臣方受经略之命。臣思继迁须是得一两处强大蕃族与之为敌，此乃以蛮夷攻蛮夷，古今之上策也。遂请以六谷名目封潘罗支，俾其展效。其时近