，至京师，受《春秋》业于夏镇，遂入成均为国子生。时陈旅为助教，喜其文，数以语于奎章阁侍书学士虞集，集亟欲见之，旅令以己马俾遵驰诣集。集方有目疾，见遵来，迫而视之，曰；“适观生文，今见生貌，公辅器也。吾老矣，恐不及见，生当自爱重也。”元统改元，中进士第，授将仕郎、翰林国史院编修官。明年，预修泰定、明宗、文宗三朝实录。后至元四年，升应奉翰林文字。五年，辟御史台掾。

    至正改元，擢太常博士。明年，转中书检校，寻拜监察御史。扈从至上京，上封事，言天子宜慎起居，节嗜欲，以保养圣躬，圣躬安则宗社安矣。言甚迫切，帝改容称善。又言台察四事：一曰差遣台臣，越职问事；二曰左迁御史，杜塞言路；三曰御史不思尽言，循叙求进；四曰体覆廉访声迹不实，贤否混淆。帝皆喜纳之，谕台臣曰：“遵所言甚善，皆世祖风纪旧规也。”特赐上尊旌其忠。遵又言江浙火灾当赈恤，及劾火鲁忽赤不法十事，皆从之。复上封事，言时务四事：一曰法祖宗，二曰节财用，三曰抑奔竞，四曰明激劝。奏入，帝称善久之，命中书速议以行。是岁，言事并举劾凡七十余事，皆指讦时弊，执政者恶之。三年，自刑部员外郎出为陕西行省员外郎，以母病辞归。五年，丁母忧。八年，擢佥淮东肃政廉访司事，改礼部郎中，奉使山东、淮北察守令贤否，得循良者九人，贪懦者二十一人，奏之。九人者，赐上尊币帛，仍加显擢；其二十一人悉黜之。九年，改刑部郎中，寻迁御史台都事。时台臣有嫉赃吏多以父母之忧免者，建论今后官吏，凡被案劾赃私，虽父母死，不许归葬，须竟其狱，庶恶人不获幸免。遵曰：“恶人固可怒，然与人伦孰重？且国家以孝治天下，宁失罪人千百，不可使天下有无亲之吏。”御史大夫是其言。升户部侍郎。

    十年，迁中书右司郎中。时刑部狱按久而不决者积数百，遵与其僚分阅之，共议其轻重，各当其罪，未几，无遗事。时有令输粟补官，有匿其奸罪而入粟得七品杂流者，为怨家所告，有司议输粟例，无有过不与之文，遵曰：“卖官鬻爵，已非盛典，况又卖官与奸淫之人，其将何以为治。必夺其敕，还其粟，著为令，乃可。”省臣从之。除工部尚书。先是，河决白茅，郓城、济宁皆为巨浸。或言当筑堤以遏水势，或言必疏南河故道以杀水势，而漕运使贾鲁言：“必疏南河，塞北河，使复故道。役不大兴，害不能已。”廷议莫能决。乃命遵偕大司农秃鲁行视河，议其疏塞之方以闻。十一年春，自济宁、曹、濮、汴梁、大名，行数千里，掘井以量地形之高下，测岸以究水势之浅深，遍阅史籍，博采舆论，以谓河之故道，不可得复，其议有八。而丞相脱脱已先入贾鲁之言，及遵与秃鲁至，力陈不可，且曰：“济宁、曹、郓，连岁饥馑，民不聊生，若聚二十万人于此地，恐后日之忧又有重于河患者。”脱脱怒曰：“汝谓民将反耶！”自辰至酉，辨论终不能入。明日，执政者谓遵曰：“修河之役，丞相意已定，且有人任其责矣，公其毋多言，幸为两可之议。”遵曰：“腕可断，议不可易也。”由是遂出为大都河间等处都转运盐使。初，汝、汴二郡多富商，运司赖之，是时，汝宁盗起，侵汴境，朝廷调兵往讨，括船运粮，以故舟楫不通，商贩遂绝。遵随事处宜，国课皆集。

    十四年，调武昌路总管。武昌自十二年为沔寇所残毁，民死于兵疫者十六七，而大江上下，皆剧盗阻绝，米直翔踊，民心遑遑。遵言于省臣，假军储钞万锭，募勇敢之士，具戈船，截兵境，且战且行，籴粟于太平、中兴，民赖以全活者众。会省臣出师，遵摄省事，于是省中府中，惟遵一人。乃远斥候，塞城门，籍民为兵，得五千余人，设万夫长四，配守四门，所以为防御之备甚至，号令严肃，赏罚明当。贼船往来江中，终不敢近岸，城赖以安。十五年，擢江南行台治书侍御史，召拜参议中书省事