魏知古为人正直，二十岁便考中进士，历任著作郎、凤阁舍人、卫尉少卿，参与编修国史，又兼任检校相王府司马。神龙元年(705年)，魏知古担任吏部侍郎，进位银青光禄大夫，因母丧离职，后被起复为晋州刺史。

　　疏谏时政

　　景云元年(710年)，相王李旦继位，是为唐睿宗。魏知古因曾任相王府属官，被拜为黄门侍郎，兼修国史。景云二年(711年)，魏知古又改任右散骑常侍。

　　当时，唐睿宗为女儿金仙公主、玉真公主修建道观。魏知古上疏进谏道：“安养百姓是治政之本。为公主修建道观，是要树功德来祈求福佑，但却占用民宅，使百姓无处安身，这既背人事，也有违天时，陛下为人父母，怎能安心。君主言行都要记载在史书中，因此非礼勿言，非礼勿动。臣有谏诤之责，又负责修史，如记下陛下不合常理的举动，后人会怎么看?臣认为盛暑修观非常不妥。请陛察民意、罢去劳役，造福于民。”唐睿宗不听。

　　不久，魏知古又进谏道：“臣听说百姓以君为天，君以百姓为本。陛下登基后，百姓都以为朝廷会施新政，但如今却风教衰败，府库空虚，人力凋敝，劳役不止，官员日增。为二位公主修建道观，并非急务，臣此前请求停止这一劳役，但仍未停止。今年水旱成灾，五谷不熟，若到明年春天，一定会发生饥荒。陛下为人父母，想用什么方法来拯救呢?为患，为时已久，如今又遣使来朝，请求和亲。他们乘中国饥虚，在和亲之际，倘若窥测侵犯，国家应怎么提防呢?”唐睿宗认为他言辞恳切，任命他为同中书门下平章事，兼任太子左庶子。

　　担任宰辅

　　先天元年(712年)，魏知古担任户部尚书、同中书门下三品。八月，太子李隆基继位，是为唐玄宗，尊父亲唐睿宗为太上皇。魏知古又被擢拜为侍中。不久，魏知古随唐玄宗到渭川打猎，赋诗讽谏。唐玄宗下诏褒扬魏知古，对他大加赏赐。

　　开元元年(713年)，魏知古进封梁国公。当时，太平公主与宰相窦怀贞等人意欲作乱，密谋废立。魏知古向唐玄宗告发，唐玄宗遂抢先，诛杀太平公主等人。政变成功后，魏知古获赐实封三百户。

　　遭馋罢相

　　魏知古早年曾得到姚崇的引荐，后与姚崇并列相位，受到姚崇的轻视。姚崇奏知皇帝，任命魏知古为吏部尚书，让他到东都洛阳主持选官，魏知古非常不满。姚崇之子认为父亲对魏知古有恩，便趁机请托于他。开元二年(714年)，魏知古从洛阳回京，将此事告知唐玄宗。

　　不久，玄宗假意问姚崇道：“你儿子才能如何?现在何处?”姚崇揣知玄宗的心意，便答道：“臣有两个儿子在洛阳任职，欲望很多但不谨慎。臣早年曾有恩于魏知古，他们一定是借此请托于魏知古。”唐玄宗认为姚崇公正无私，而魏知古却有负于姚崇，便欲罢免他的官职。姚崇道：“臣的儿子行为失检，扰乱法纪，陛下却罢免魏知古，天下人一定会以为陛下偏私于臣。”唐玄宗最终还是在同年五月将魏知古罢为工部尚书。

　　病逝

　　开元三年(715年)，魏知古病逝，终年六十九岁，追赠幽州都督，谥号为忠。

　　轶事趣闻

　　魏知古有知人之鉴，曾先后举荐洹水令吕太一、蒲州司功参军齐璟、前右内率府骑曹参军柳泽、密县尉宋遥、左补阙袁晖、右补阙封希颜、伊阙尉陈希烈等人，这些人后来都担任清要官职。

　　人物评价

　　宋璟：叔向古之遗直，子产古之遗爱，能兼之者，其在魏公。

　　刘昫：魏知古、卢怀慎、源乾曜、李元纮、杜暹、韩休、裴耀卿，悉蕴器能，咸居宰辅。或心存启沃，或志在荐贤，或出爱子为外官，或止屯田于关辅，或不受蕃人之赂，或坚劾伯献之奸，或广漕渠以充国用：此皆立事立功，有足嘉尚者也。

　　宋祁：夫志满则忽其所谋，意骄则乐软熟、憎鲠切，较力虽多，课所效不及姚、宋远矣。终之胡雏乱华，身播边陬，非曰天运，亦人事有致而然。若知古等皆宰相选，使当天宝时，庸能有救哉!

　　赵元僖：唐太宗有魏玄成、房玄龄、杜如晦，明皇有姚崇、魏知古，皆任以辅弼，委之心膂，财成帝道，康济九区，宗祀延洪，史策昭焕，良由登用得其人也。