杨绾出身弘农杨氏原武房，幼年时便以聪慧闻名，等到长大后，好学不倦，博通经史。九流七略，一览无遗。尤其擅长文辞，词藻结构清新韵足。崇尚玄理，沉静寡欲，经常独处一室，左右摆满经书，凝视满席书籍，非常宁静。内心明晰而运用隐晦，不求声名，每次写文章，羞愧于自白，不是知己的人不可看见。早年孤苦贫寒，以孝敬母亲而闻名，有时缺乏美味食物，脸上即显出忧虑。亲友劝说他去谋求俸禄，于是考取进士，调补为太子正字。

　　天宝十三载(754年)，玄宗御驾勤政楼，考试录用博通坟典、洞晓玄经、辞藻宏丽、军谋出众的贤人，命有关部门提供食物，天黑才结束。选取辞藻宏丽外，还加考诗赋各一首。制举考诗赋，就是从这里开始的。此时登科有三人，杨绾为第一名，被破格授予右拾遗。

　　疏议贡举

　　天宝末年，安禄山反叛，肃宗在灵武即位。杨绾在贼军中冒着危险，披榛求食，赶着路程。此时朝廷正急需贤臣，等到杨绾赶到，大家都感到很高兴，升为起居舍人、知制诰。历任勋员外郎、职方郎中，仍然是知制诰。升为中书舍人，兼修国史。过去，对年龄大的舍人称为“阁老”，官署杂乱难以统计，称为“阁老”的人有五分之四。杨绾认为他们品秩同列，待遇同等，全都应平均分配，此举深受当时称赞。又升为礼部侍郎，向肃宗分条目上奏贡举的弊端。

　　代宗诏令左右丞、各司侍郎、御史大夫、中丞、给事中、舍人共同商议此奏文。给事中李讷、给事中李栖筠、尚书左丞贾至、京兆尹兼御史大夫严武所奏议的内容与杨绾相同。

　　李讷等人的论述与杨绾相似。宰臣们上奏说明举人旧业年月已久，很难速改，如今的举人还望能同意进行，来年再奉诏停止，仍然诏令礼部立即分条目上奏。代宗以废止进士科问题询问翰林学士，对答说：“进士制度由来已久，立即废除它，恐怕会耽误学业。”于是诏令孝廉与旧举同时进行。杨绾又上奏关于史贡孝悌力田以及童子科等考试，其孝悌力田应该具有实际意义，童子越来越多，不在常科，而都在岁贡，担心助长侥幸风尚。代宗诏令停止。又升为吏部侍郎，根据法则推举选用，精心考察人物，以办事公道受到称赞。

　　移风易俗

　　此时元载执掌大权，公卿大多依附他，杨绾孤立中道，清贞自守，未曾私下拜谒元载。元载认为绾平时声望很高，在外表示对他尊重，内心实际却对他疏远忌恨。鱼朝恩死后，元载认为鱼朝恩曾经出任国子监一事，玷污了太学，应该用名儒主理国子监，以明晰秩序，于是上奏提拔杨绾为国子祭酒，实际上是想以将他放置在散官职位上。元载贪财冒犯之举越来越盛，天下之人都对杨绾评论称赞，代宗非常清楚这些，考虑到载在枢衡任职已久，没有马上将其罢免。仍将杨绾升为太常卿，任礼仪使，凭借杨绾用以将久废的祭祀礼节振兴起来，同时以观察其成效。

　　同年三月，代宗定计逮捕元载，将其诛杀。四月初一，代宗任命将杨绾为中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。杨绾多次表示恳请让位，代宗不同意。

　　杨绾德高望重，且质朴忠贞、车服俭朴，素以品德举止著称。任命他为相的诏令公布后，朝野之人相互祝贺，朝中权贵移风易俗的例子有许多：

　　御史中丞崔宽是剑南西川节度使(今四川省西部)崔宁的弟弟，家境富有，在长安之南建有别墅，其中的池馆台榭，在当时被称为第一，崔宽得知杨绾拜相后，在当天就暗中派人将其拆毁。

　　中书令郭子仪驻守邠州(治今陕西彬县)，他正在宴请宾客时听说杨绾为相，便将在座助兴的声乐队减去五分之四。

　　京兆尹黎干受代宗宠信，每次出入车马有一百多辆，但也在杨绾拜相当日减少车马，只留十匹而已。

　　除此之外，其余闻风而动、将奢变俭的人不可胜数。杨绾又与常衮向代宗举荐被贬的湖州刺史颜真卿，代宗当即颜真卿入京担任刑部尚书。二人还向代宗举荐淮南判官关播(唐德宗朝官至宰相)，使其被召为都官员外郎 。杨绾在相位不到数月，便为人心所归。

　　中风离世

　　杨绾患有痼疾，拜相不久后便中风，代宗优诏令他在中书省休养。代宗每次在延英殿引见杨绾时，都特许由人扶入。代宗内心看重杨绾，一心任用他，对他非常礼遇宠爱。改革朝政的弊病，惟杨绾是瞻。杨绾多次上奏请求辞位，代宗多次下诏回绝。等到杨绾病重时，代宗每天派遣宦官前往询问病情，并命御医在其身旁时刻守候。每次听说他的病有起色，代宗便喜形于色。

　　同年七月二十日(777年8月27日)，杨绾病逝，享年六十岁。前来探望的宦官急驰回宫奏报。代宗闻讯后，惊愕悲悼许久，为他辍朝三日，并下诏追赠杨绾司徒。

　　其后，代宗又命文武百官前往杨绾的宅第，与特派内常侍吴承倩会同吊唁，并赐其家绢千匹、布八百端。代宗非常惋惜，对朝臣们说：“上天不让朕致力于太平，为什么将朕的杨绾夺走这样快!装殓之时，朕与众卿悲痛之情正同啊。”宰相死后受到如此恩遇，长久以来少有人能与杨绾相比。

　　太常最初为杨绾拟定的谥号为“文贞”，但宰相常衮平素便忌恨杨绾得到代宗宠任，至此时更唆使比部郎中苏端上疏大肆诋毁杨绾。代宗发怒，将苏端贬为广州(一作巴州)员外司马，仍谥杨绾为文简。

　　同年十月，杨绾下葬长安少陵南岗。

　　早而夙慧

　　杨绾天生聪慧，四岁时就敏识过人。一次晚宴上，宾客们各自提出将座位中的器物以音韵四声读出来，各位宾客都没有说话，杨绾应声指着铁灯对应说：“灯盏柄曲。”众人都很惊奇。

　　好杀减寿

　　据苏辙回忆，宋英宗治平(1064年—1067年)年初时，他在东京，曾梦到自己入三清殿，殿上有老子像，高三二尺，相貌非常奇怪，可以和人说话，去问他的人有很多。苏辙也前去拜谒询问，老子问苏辙：“你知道杨绾吗?”苏辙回答：“是唐朝的贤相。”老子又问：“你知道高郢、严震吗?”苏辙回答：“高郢是文臣，严震是功臣。”老子问道：“三人谁更贤能呢?”苏辙回答：“高郢、严震虽然贤能，但他们远不及杨绾啊!”老子说：“这些人都位至宰相。但杨绾未至上寿，而高郢、严震都在耆艾之年才死，你知道原因吗?”苏辙说：“不知道。”老子回答：“杨绾喜欢杀生，而高郢、严震都不喜杀生，这就是他们不同的原因。你要记着!”苏辙在梦中本来不懂三人的好坏，醒后阅读《唐书》，三人的官秩、寿考他都信，唯独没有见到老子所说的好杀与否。