1867年(同治六年)进士，授编修。出为陕甘学政。1877年(光绪三年)赴山、陕襄办赈务，不辞劳苦，亲赴灾区察勘，得左宗棠、曾国荃等保荐，次年，授河北道。1880年(光绪六年)，诏给三品卿衔，随吉林将军铭安办理宁古塔、三姓、珲春等东陲边务。次年，授太仆寺卿。是年4月，吴大澂为三品卿衔，赴吉林随同铭安帮办一切事宜，旋即改为“督办”。于6月行抵吉林，即与吉林将军铭安商酌防务事宜，于整军吏、守边强边等方面多有建树。

　　吴大澂与吉林将军铭安于吉林建立边防军队。改原有八旗兵，废除世袭制，改为招募制，共建防军马步13营，5000人。次年防军增至9000人，后统称靖边军，经过严格训练，己“悉成劲旅”。于珲春开始修筑东、西炮台。为防御沙俄从水上入侵，还创建图们江、松花江水师营。同时设立招垦局，移民垦荒，推行实边政策。他经过实地勘查，确定以珲春和三岔口所属边地为招垦中心，设立珲春招垦局，下设五道沟和南岗分局。招垦范围广泛，且规定许多优惠政策。为给垦民、商旅和军队提供方便，1880年底，修筑从宁古塔至吉林省城长达600里的大道及北、东线大道，建有百余座木桥，同时还增加许多驿站，加强了边疆的防务力量。

　　1883年(光绪九年)，法国从越南向中国扩张，奉命会办北洋军务。1884年迁左副都御使。诏令赴朝鲜处理甲申事变，抵制日本对朝鲜的侵略活动。

　　勘界谈判，据理力争

　　1885年(光绪十一年)，吴大澂会同宁古塔副都统容山、珲春副都统依克唐阿重勘东部边界。经吴大澂、依克唐阿再三辩驳，据理力争，终于达成协议。于1886年10月12日正式签订《中俄珲春东界约》及《中俄查勘两国交界道路记》。含补立“土”字牌，添立“啦”、“萨”、“玛”字界牌和一至十八记号;收回黑顶子;争得图们江口通航权等，从而捍卫了祖国的神圣领土。矗立在珲春市区的龙虎石刻及具清代建筑风格的五角碑亭，就是珲春人民为纪念爱国大臣吴大澂谈判胜利而建立的。石刻正面篆书阴刻“龙虎”二字，左下竖刻“吴大澂书”，字体流畅，气势磅礴。吴大澂于谈判期间曾多次书写“龙”、“虎”二字，抒发其“龙骧虎视”的大无畏的爱国精神。1886年，任中国首席代表在岩杵河-珲春同俄国进行勘界会谈。与沙俄代表据理力争，收回了被沙俄非法霸占的黑顶子百余里的领土，纠正了“土”字界牌。又争得了中国船只在图们江口的航行权。

　　1887年(光绪十三年)，调任广东巡抚，又同葡萄牙强占澳门和香山七村的侵略活动作斗争。

　　微服视察，贪吏束手

　　1887年(光绪十三年)八月，郑州十堡黄河决口南泛，为害严重。先是署河南山东河道总督李鹤年、河南巡抚倪文蔚主持堵口，朝廷复派礼部尚书李鸿藻到工督修，1888年(光绪十四年)五月，口门埽占失事，功败垂成。李鹤年等均革职。七月，皇帝命吴大澂署河南山东河道总督，接办堵口大工，于当年八月到任视事。他认为河工堵口收发料物弊端甚多，乃只身微服，混杂在送料民工中，背运秸料，进行私访。发现发料短缺，克扣工钱，吴大澂有意率众与管料官员争吵，该官员正拟将大澄推下鞭杖时，他的随从立即站出高呼：他是河帅，谁敢动手?这时吴大澂喝令对管料的官员予以杖责，并带枷在工地示众，以儆效尤。

　　治理黄河，筹划有方

　　吴大澂对堵口工程筹划有方，措施得当。对在工的官吏，分工明确，严限完成。他誓言：如依限不能完成者斩，自己也将以身殉职。在工人员无不凛然，于是日夜赶堵，于当年(1888年)十二月合龙。该工程较拨发款银节约60余万两。吴大澂任河督时，对郑州、中牟、开封一带险工甚为重视。他说：中河厅头堡大王庙顶冲之石堤，……八堡之人字坝、托头坝(中牟境)，下南厅七堡之顺二坝，十九堡之盖坝(开封境)均甚紧要，是防御省城之门户。他提倡用水泥砌筑砖石坝，加固工程，这是黄河上使用水泥修工程之始。

　　1885年(光绪十一年)时，他曾奏请用新法测绘黄河图，自河南省阌乡县(今灵宝境)金斗关到山东利津铁门关海口，测量河道长1021公里。次年图成，呈光绪帝浏览，命名《御览三省黄河全图》。

　　郑州十堡大工完成后，因河势南趋，行将塌至堤身。吴大澂审时度势，在荥泽八堡(今郑州李西河一带)老滩前，筑石坝一座，工竣立一石碑，碑文是：“老滩土坚，遇溜而日塌，塌之不已，堤亦渐圮，今我筑坝，保此老滩，滩不去则堤不单，守堤不如守滩。”阐明了他的固滩保堤的治河思想。

　　吴大澂治河成功后，实授河道总督，赏头品顶戴。

　　暮年兵败，抱恨辞世

　　1894年(光绪二十年)，甲午战争爆发，吴大澂时任湖南巡抚，奏请从军。8月15日、17日连电“奏请统率湘军赴朝督战”。不久，获清廷允准，“带勇北上”。旋被任为帮办东征军务。

　　1895年(光绪二十一年)1月，吴大澂率新老湘军二十余营出关，2月11日到达田庄台。从2月21日开始，吴大澂与黑龙江将军依克唐阿、吉林将军长顺及宋庆等部合军，进行第四次反攻海城。当时集中在海城附近的清军共一百余营，三万余人。兵力虽多，但因系统复杂，有湘军、楚军、淮军和东北军队，互不统属，缺乏统一指挥。吴大澂名义上为帮办军务，但无法指挥全军。诸将多“拥兵据要害，徘徊观望，乍却乍前，不能出死力以决一胜”。归吴大澂节制的军队只有二十营，而他所率领出关的湘军将领又多系庸劣无能、贪生怕死之徒。被调遣时，“迟不赴命”。亲军统领刘树元临敌“诓怯不前”，炮队统领吴元恺闻战“相率而退”。加以吴大澂低估了敌人，对战争全局缺乏认真部署。正当吴大澂等集中兵力会攻海城之际，日军利用清军的弱点，采取“佯攻辽阳，实取牛庄”的声东击西战术，3月3日派第3、5两个师团进犯牛庄。吴大澂等未能识破日军阴谋，置牛庄于不顾，全力围攻海城。由于牛庄防务空虚，致使一日之内就被日军攻陷。牛庄失守当天，吴大澂匆匆由田庄台奔往石山站，“沿途溃勇络绎，其势已成瓦解”，吴大澂退走石山站后，宋庆也把守营口的主力撤往田庄台，致使营口兵力空虚，3月7日日军又轻易的攻取营口，田庄台随后也被攻陷。田庄台即失，“湘军力战而败，死伤过多，人心不振”。吴大澂愤湘军尽覆，欲拔剑自裁，被左右格阻之。乃自叹曰：“余实不能军，当请严议”。清廷以吴大澂“徒托空言，疏于调度”，3月17日下令撤去其帮办军务职，交部议处。旋革职留任，寻命开缺。1898年(光绪二十四年)，复降旨革职，永不叙用。

　　此后，他为生计所迫，曾任上海龙门书院山长，授徒自给，又变卖个人所藏字画、碑帖、古铜器以补日用。

　　1902年(光绪二十八年)，吴大澂辞世，时年68岁。蛰居虞山的翁同龢得知吴大澂去世的消息后，特遣人送去挽联：

　　文武兼资，南海北海;

　　汉宋一贯，经师人师。

　　横批：一卧沧江