赵贵的曾祖父 赵达，曾任 北魏库部 尚书，封爵临晋子。祖父 赵仁，以良家子弟的身份镇守 武川(今内蒙古武川)，并安家武川。赵贵从小就聪慧过人，有志节气概。北魏 孝昌年间(525年—528年)，天下战乱，赵贵带领乡人南迁避难。正值 葛荣攻陷中山，于是赵贵被拘禁。葛荣失败后， 尔朱荣任命赵贵为别将，随从征讨 元颢有功，赐爵燕乐县子，授官 伏波将军、武贲中郎将。又跟随 贺拔岳平定关中，赐爵魏平县伯，食邑五百户。多次升迁至 镇北将军、 光禄大夫、 都督。

　　永熙三年(534年)，贺拔岳被 侯莫陈悦杀害后，将领官吏各自逃散，没有人忠于职守。赵贵对他的亲信们说：“我听说仁义之道难以 持之以恒，实行它就是君子，违背它就是小人。朱伯厚、王叔治感激意气恩惠，还能保持名望节操，何况我们承蒙贺拔公待以国士之礼，难道能混同于其他人吗?”说到这里，赵贵痛哭流涕。于是有五十人随从赵贵，到侯莫陈悦处假装投降，侯莫陈悦信以为真。赵贵乘机请求为贺拔岳收葬，言词慷慨。侯莫陈悦认为他很有勇气，答应了他的请求。赵贵于是收殓贺拔岳尸体而归，与 寇洛等人纠集部众，逃往 平凉，共同商议抗拒侯莫陈悦。赵贵首先提议迎接 宇文泰。宇文泰来到后，任命赵贵为大都督，兼任府司马。侯莫陈悦被平定后，赵贵以原来的军职代理秦州政务，担任秦州大都督。赵贵治事清平恬静，百姓和下属官吏都很怀念他。

　　当时 高欢发兵进攻洛阳，派都督 韩轨进占蒲坂。宇文泰任命赵贵为行台，与 梁御等人率军征讨。还没有渡过黄河，而北魏孝武帝 元修已经西入 函谷关。赵贵授任 车骑大将军、 仪同三司，兼任右卫将军。当时曹泥据守灵州抵抗，赵贵担任大都督，与 李弼等人率军征讨。晋封侯爵，食邑增加五百户。 大统元年(535年)，因参与奉立西魏文帝 元宝炬的功劳，晋封公爵，食邑增至一千五百户。不久任岐州刺史，当时因为军国大事繁多，要借助赵贵的力量，便没让他前往岐州就职。并仍然兼任大丞相府左长史，加 散骑常侍衔。

　　宕昌国君主 梁仚定在河西叛乱，朝廷任命赵贵为陇西行台，率军将其击败。赵贵跟随宇文泰收复弘农，攻克沙苑，因功被任命为侍中、骠骑大将军、开府仪同三司、雍州刺史，晋封中山郡公。宇文泰征战 河桥，赵贵与 怡峰为左军，作战失利，率先退回。又跟随宇文泰支援 玉壁，迫使东魏权臣高欢逃走。高仲密献出 北豫州归降西魏，宇文泰率军迎接，在 邙山与东魏军队作战。赵贵为左军，作战失利，导致全军溃败。因罪被罢免官职，以骠骑、大都督衔统率本部兵马。

　　不久恢复官爵，任 御史中尉，加大将军衔。东魏将领 高岳、 慕容绍宗等把王思政包围在 颍川，赵贵率军支援，东南各州兵马也归赵贵调度。东魏军堵住 洧水来灌颍川城，援军无法靠近，王思政全军覆没。赵贵撤军返回。不久任柱国大将军，赐姓乙弗。 柔然侵犯广武，赵贵将其击败，斩杀数千柔然士兵，缴获其军用物资，整顿军队凯旋而回。六官建立后，任命赵贵为 太保、 大宗伯，改封南阳郡公。

　　西魏恭帝三年(556年)，西魏恭帝 拓跋廓被迫禅位于宇文泰之子 宇文觉。次年，宇文觉正式即位，建立 北周，是为孝闵帝。升任赵贵为 太傅、 大冢宰，晋封楚国公，食邑一万户。

　　当初，赵贵与 独孤信等人都与宇文泰的地位资历相等。孝闵帝宇文觉即位后，晋公 宇文护把持朝政，赵贵自认为是元勋重臣，对此愤愤不平，便与独孤信策划杀死宇文护。到了约定日期，赵贵准备动手，独孤信却制止了他。不久，被开府 宇文盛告发，遭到宇文护杀害。