杨阜早年就与同郡的尹奉、赵昂声名在外，一起在凉州担任从事。建安四年(199年)，袁绍发动官渡之战，杨阜为凉州牧韦端所派，到了许昌，被任命为安定长史。自许昌回来，关右各位将领问他袁绍和曹操谁会胜利，他说：“袁公宽厚但不果断，喜好谋略但缺乏决策，不果断就没有威严，缺乏决策就会误事。现在虽然势力强大，然终究不会成就大业。曹公有雄才远略，决断应变豪不犹豫，法令统一而军队精良，能使用不循常规的人，所任用的人都各尽其力，他必定是能成大事的人。”他并不想任长史官，就辞职了。韦端又征召他为太仆。韦端儿子韦康任刺史，又征召他为别驾。被举荐为孝廉，在丞相府供职。州里上表把他留在州里参谋军事。

　　击败马超

　　建安十六年(211年)，马超在渭南战败后，逃到边塞胡人那里，曹操追剿到安定，苏伯又在河间反叛，曹操要率军东还。这时，杨阜正作为使节在曹营，对曹操说：“马超有韩信、黥布的勇猛，极得羌、胡等民族的拥戴，西部边境的人都敬畏他。如果您的大军回师后，不作周密准备，陇上诸郡恐怕就不再为国家所有了。”曹操深表赞同，但军队撤离得仓猝，没有来得及作周密的布置。马超便率各部胡人首领带兵攻击陇上诸郡，各郡纷纷响应，只有冀城一郡坚持固守。马超集中陇右的全部兵力，张鲁又派大将杨昂协助马超，大约万余人攻城。杨阜率领官员和宗族子弟中能打仗的千余人，又让从弟杨岳在城上修筑偃月营，与马超苦战。从正月到八月，死守城关，救兵不至。州里派别驾阎温沿水路逃出求援，结果被马超杀害。刺史、太守大惊失色，开始考虑向马超投降。杨阜流泪劝谏说：“我率父兄子弟以节义相鼓励，死守不降，田单死守，还没有如此坚固呢!而今放弃马上就要建立的功名，给自己蒙上不义的罪名，我愿以死相守。”于是号啕大哭。刺史、太守最终还是派人求降，打开城门让马超进来。

　　马超进城，把杨岳抓起来，又让杨昂杀死刺史和太守。杨阜内心怀着复仇的志向，只是一时寻不着机会。不久杨阜告假，请求埋葬亡妻。杨阜的外兄姜叙屯兵历城。杨阜从小在姜叙家长大。他见到姜叙和叙母之后，叙说了冀城陷落的经过，悲泣不已。姜叙说：“何以如此悲恸?”杨阜说：“守城却又守不住，君长已死而不能同命，我还有什么脸活着呢?马超背叛父辈，背叛国家，烧杀将士。这何止是我个人怕受人指责，全州士大夫都要蒙受耻辱。您带兵专管一方却没有讨杀贼逆之心，这正是史书上所说的‘赵盾弑其君’的情形。马超虽强，却无视信义，部下矛盾重重，所以打败他并非很困难。”姜叙的母亲很感慨，敦促姜叙听从杨阜的劝说。定下计谋后，又与同乡姜隐、赵昂、尹奉、姚琼、孔信，武都人李俊、王灵等联络结盟，共同讨伐马超。又派从弟谟到冀城告诉杨岳内情，并联络了安定的梁宽，南安的赵衢、庞恭等。盟誓以后，于公元212年(建安十七年)九月，杨阜和姜叙在卤城起兵。马超闻讯后亲自率兵出击。赵衢、庞恭等救出杨岳，关闭冀城大门，抓住马超妻儿。马超袭击历城，抓住姜叙的母亲。姜叙母亲骂道：“你是个背叛父亲的逆子，你是杀害君长的叛贼，天地不容，还不早死，还有什么脸见人!”马超大怒，杀死姜叙母亲。杨阜与马超作战，五处受伤，宗族兄弟死了七人。马超南逃，投奔张鲁。

　　刚正不阿

　　陇右平定，曹操封赏讨伐马超的功臣，封侯者十一人。杨阜为关内侯。杨阜推辞说：“我杨阜没有保护好州君性命，他们死后，我也没有尽节报孝。在道义上我应被罢黜，在法律上我应被诛杀。马超又没被杀死。我实无权再受爵禄。”曹操说：“你与君臣共创大功，西部百姓至今挂在嘴边，作为美谈。子贡辞让封赏，孔子认为不妥。你尽心报国可嘉。姜叙的母亲劝姜叙早日起兵，实在是明智之举，杨敞的妻子也不过如此。实在贤能!实在贤能!有良史记录忠义，是不会忘记你们的节义的。”

　　曹操征讨汉中，任杨阜为益州刺史。回洛阳后，杨阜又被任命为金城太守，还未去赴任，又被转任为武都太守。武都临近西蜀，杨阜请求依据龚遂的老办法，仅仅采取安抚政策。这时刘备派张飞、马超等从沮道逼近下辩，氐族雷定等七个部落响应马超。曹操派都护曹洪抗击马超，一举击退马超的进犯。曹洪大摆酒宴，让歌女穿着很薄的衣服踏鼓，在场的人大笑。杨阜严厉斥责曹洪说：“男女有别，这是国家的大节，怎么能在大庭广众面前让女人裸露形体!即使夏桀、商纣的败乱，也不及如此。”于是愤然辞出。曹洪马上下令女伎停演，又请杨阜还座。在场的无不肃然起敬。

　　刘备攻取汉中，逼近下辩。曹操考虑到武都距敌人太近，想把百姓迁移至内地，但又怕当地官兵眷恋故土。杨阜很有威望，迁移工作极为顺利，迁居到京兆、扶风、天水等界内的，多达万余户。治所移到小槐里，百姓扶老携幼相随而行。杨阜做太守仅抓大事，下属也不忍心欺骗他。

　　魏文帝曹丕问侍中刘晔等人：“武都太守怎么样啊?”大家都一致称赞他是德才兼备的人。还未来得及重用，曹丕就死了。杨阜在郡职呆了十几年，才被召任为城门校尉。

　　劝谏明帝

　　杨阜经常看见魏明帝戴着绣帽，穿着半袖的缥绫衣服。他就问明帝：“这是行的什么礼仪呢?”明帝默不作答，但是后来不按礼法穿朝服就不敢再见杨阜。迁任将作大匠。

　　魏明帝大兴土木，选美女以充后宫，还不断出宫到禁囿中巡猎。这年秋天，一场大雨，加上罕见的雷电，竟劈死很多鸟雀。杨阜上书说：“我听说君主圣明，群臣都敢直言不讳。唐尧、虞舜都是圣明的君主，他们公开叫群臣提意见，征听劝谏。大禹多创功业，而自己的宫室却很窄小;成汤王遇上旱灾，把责任归在自己身上;周文王用礼法感化妻子，汉文帝崇尚节约，着布衣。所有这些，都是能听取好的建议，为子孙后代谋虑的举动。臣愿陛下能奉行武皇帝开拓的伟业，恪守文皇帝始终如一的传统，向古代圣贤的善政看齐，力避末代帝王放荡亡国的恶政。所谓善政，即指崇尚节约，重视百姓的生产;所谓恶政，即指随心所欲，任意而为。臣愿陛下细心考察古代治世所以明达、古代末世所以衰弱以至灭亡的历史原因，对于近代如汉末的巨大变故有所省悟，就可以引起警惕了。假使汉桓帝和汉灵帝不废弃汉高祖的法则以及文帝、景帝的恭俭品节，那么即使我太祖曹操再英明伟大，也无施展才能的机会。而陛下哪还有机会位居帝王呢?当今吴、蜀还未平定，在外还有大军，愿您要三思而后行，进宫出宫要慎重。以古代的成败来作为治理朝政的借鉴，说来容易，但确实关系到成败大事。刚刚下过大雨，暴死的生灵很多。雷电如此厉害，以致击死麻雀。天地神明，把帝王作为它的儿子。凡是政治有所失当的，它就会降灾谴责。应该深刻反省自己，这是圣人的教导。愿陛下在事前就早做思考，在事情初露端倪时就谨慎对待。效法汉孝文帝让汉惠帝的后宫佳丽出去嫁人的办法，把刚选进的美女放出宫去。不久前征入宫的小女孩，我听说不太温驯，应该作长远打算。

　　建宫室和制作器物，一定要本着节约的原则。《尚书》说：‘九族和睦，万国也就协和了。’凡事应考虑周全，拿出妥善的方法，精心计划，以便节省费用。如果能平定吴、蜀，则君民同乐。如此以往，祖先也会欢心，尧舜恐怕还得妒嫉呢!今后应开启信义于天下，安抚百姓，用以昭示边远之人。”当时雍丘王曹植怨言深重，认为各藩王之间，城府太甚，所以杨阜又上书，略陈九族亲戚的大义。魏明帝下诏回报杨阜说：“看过密表，先是陈述古代明王圣主业绩，用以讽刺时政，言辞恳切，心地坦诚。我退思补过，将有所匡正，会悉心考虑的，你能苦言衷告，我尤为赞许。”

　　后来迁任少府。太和四年(230年)，大司马曹真率兵伐蜀，因天遇大雨，不得前进。杨阜上疏说：“从前周文王时有赤乌出现，是种好的征兆，但他忧虑得时至黄昏还顾不上吃饭。武王伐纣时，有白鱼跳进船里，君臣都为之变色。行动时有吉祥征兆出现，他们尚且忧虑不已，更何况有灾异情况，怎能不恐惧呢?而今吴、蜀未平，而天灾不断，陛下应当深以反省，专精应答，侧席而坐，用以昭示德行，对内则崇尚节俭。大军刚刚出发就遇上大雨，被阻隔停留在艰险的崇山峻岭之中，已经有很多天了。转运粮草很艰辛，负荷重，费用特多，如果不能提供后继，一定事与愿违。《左传》说：‘见可而进，知难而退，军之善政也。’徒然将大军在山谷中困着，进退不得，这不是用兵之道。武王见白鱼跳船而还师，殷商最终还是被灭掉，因为武王知道天意。而今年歉收，百姓饥苦，应发布告示，减少宫庭中食物和衣服的花销，技巧珍玩之物，都可以免掉。从前邵信臣生活在太平时代，但还是奏表，要求减省多余的食物。而今军用不足，更应节俭。”明帝下诏让各路大军班师回朝。

　　后来明帝下诏，让大臣议论哪些政治措施不便于民。杨阜认为：“好的政治在于任人唯贤，使国家振兴的根本在于发展农业。如果置贤于不顾，只用自己的亲信，这是最坏的政治。如果大兴土木，修建宽敞的宫殿，高高的台榭，妨害人民正常的劳作，这是伤害农业生产的。那些工匠不务正业，而是竞作奇巧，以迎合皇帝的私欲，这是最为危害国家的根本的。孔子说：‘苛政猛于虎。’当今官吏不论雅俗与否，治理国家的时候都不了解统治的基本原则，只是喜好烦琐和严厉，这是最为乱民的办法了。当务之急是要根除上文提到的‘忘治、害农、伤本、乱民’的四个弊端，昭示于公卿百官与各州郡及藩国，推举贤良方正、朴实敦厚的士子，这是求取贤人的一个重要办法。”杨阜又上书要求那些失宠宫人出宫，于是召集御府吏问后宫人数。御府吏恪守过去法令说：“这是秘密，不能泄露。”杨阜大怒，对这个官吏处以杖打一百的惩罚，并训斥说：“国家从不把九卿排在国家机密之外，难道还有让小吏知道的秘密，而不让九卿知道?”明帝闻讯后更加敬畏杨阜了。

　　明帝的爱女曹淑，不幸夭折。明帝哀痛不已，追封她为平原公主，在洛阳专为她修庙，把她埋葬在南陵。明帝要亲自送丧，杨阜上疏说：“文皇帝、武宣皇后死时，陛下都未送葬，因为以国家为重，以备有变。为什么为一个小孩去送葬呢?”明帝没有听从。

　　明帝在许昌营建新宫，又在洛阳修建宫殿观阁，杨阜上疏说：“尧居茅屋而天下安居，禹住低宫而百姓乐业。古代圣帝明王，没有人为自己建造高大华丽的宫殿而劳民伤财的。夏桀修筑璇室、象廊，商纣建造倾宫、鹿台，结果亡国丧身。楚灵王因为修筑章华台，结果身受其祸;秦始皇营造阿房宫，结果殃及儿子，天下背叛，帝位仅传到二世就亡国了。凡是不顾惜老百姓只图自己快活的人没有不自取灭亡的。陛下应当效法尧、舜、禹、商汤、文王、武王，吸取夏桀、殷纣、楚灵、秦始皇的教训。高高在上，当修德行。要谨慎地守护王位，才能继承祖业。否则，巍巍皇权，岌岌可危。不早晚警惕，抚恤臣民，仍自我逸乐，崇尚华丽的宫室，则必有颠覆危亡的灾祸。《周易·丰卦》说：‘盖起大屋，遮蔽家人，从外望进去，好像没人。’大王应以天下为家，说大屋无人，这是灾祸的征兆。而今吴、蜀二贼联合，危害国家，十万大军，东西奔走，边境无安宁之日。农民不能从事生产，面有饥色。陛下不忧虑这些大事，而是大兴土木，无休无止。如果国亡而我们大臣都能活下来，我也就不说什么了。但是君王为首领，大臣为肢体，存亡一体，生死与共。《孝经》说：‘天子有敢于直谏的大臣，只要七人，那么即使他治国不当，也不会失去天下的。’我虽然愚笨怯弱，但又怎敢失为臣的本分呢?言语不切直，就不能感动陛下。如果陛下不听劝告，恐怕祖先打下的天下会败亡的。假如让我身死，而能对国家有所补益，那么，我虽死犹生。我这是在敲着棺材劝谏，等待杀戮。”明帝为他的忠言所感动，亲笔写诏书作答。

　　每当朝廷会议大事，杨阜总是侃侃而谈，以天下为己任，反复谏诤，明帝不听，于是他反复乞求辞职，未得允许。杨阜死的时候，家里没有多余的财产。孙子杨豹继嗣。