法行，士子计等第，颇事告讦。公弼言：“设学校者，将以仁义渐摩，欲人有士君子之行。顾使之相告讦，非所以建学本意也。”又言：“删定敕令官、寺监丞簿等，皆以执政近臣子弟为之，未有资考，不习政事。请一切汰遣，以开寒畯之路。”从之。
由右正言改左司谏。论东南军政之敝，以为“有兵之籍，无兵之技。以太半之赋，养无用之兵，异日惧有未然之患。”其后睦盗起，如其言。太史保章正朱汝楫冒奉得罪，而内侍失察者皆不坐。公弼言：“是皆矫称诏旨，安得勿论？请自今中旨虽不当覆者，亦令有司审奏。”
迁侍御史。苏杭造作局工盛，公弼陈扰民之害，请革技巧之靡丽者，稍罢进奉，帝纳之。蔡京始与公弼有连，故因得进用，至是，意浸异，京恚焉。徙太常少卿，迁起居郎，兼定王、嘉王记室。故事，初至宫，例得金缯之赐二百万，公弼辞不受。
大观二年，拜御史中丞。执政言：“国朝未有由左史为中执法者。”帝曰：“公弼尝为侍御史矣。”时斥卖元丰库缣帛，贱估其直，许朝士分售，皆有定数，从官至二千匹。公弼得券，上还之。宰相有已取万匹者，即日反其故。
水官赵霆建开直河议，谓自此无水忧，已而决坏钜鹿，法当斩。霆善交结，但削一官，犹为太仆少卿。公弼论为失刑，霆坐贬。京西转运使张徽言欲因方田籍增立汝、襄、邓三州税，公弼以为“方田之制，奠天下之地征，正欲均其赋耳，而徽言掊克重敛，民何以堪？”诏罢之。遂劾蔡京罪恶，章数十上，京始罢。又言吏员猥冗，戾元丰旧制。于是堂选归吏部者数千员，罢宫庙者千员、都水知埽六十员，县非大郡悉省丞，在京茶事归之户部，诸道市舶归之转运司，仕涂为清。
京虽上相印，犹提举修《实录》。公弼复言：“京盘旋京师无去志，其余威震于群臣。愿持必断之决，以消后悔。”又因星变言之，竟出京杭州。及刘逵主国柄，公弼复论其废绍述良法，启用元祐邪党学术，人以是知其非一意于正者。进兵部尚书兼侍读。上疏言：“崇宁以来，臣下专务生事，开边兴利，营缮徭役，蹶民根本，因之饥馑。汴西挽运花石，农桑废业，徒弊所有，以事无用。宜使之休息，以承天意。”
张商英入相，欲引为执政，何执中、吴居厚交沮之。以枢密直学士知扬州。群不逞为侠于闾里，自号“亡命社”。公弼取其魁桀痛治，社遂破散。江贼巢穴菰芦中，白昼出剽，吏畏不敢问。公弼严赏罚督捕，尽除之。改述古殿直学士、知襄州。蔡京再辅政，罗致其罪，责秀州团练副使，台州安置。