秦汉时，本县境域包括今浙讧淳安、遂安、安徽休宁、屯溪、绩溪、黄山风景区，以及江西婺源一部分。

    汉建安十三年(208)，吴取黟、歙，分歙东乡地置始新县<今淳安)，分歙南乡地置新定(今遂安)县，分歙西乡地置休阳(今休宁)县、黎阳县(今屯溪)。

    梁大同元年(535)，分歙北华阳镇地置良安县。

    隋开皇九年(589)，本县并入海宁县；十一年复置，以相湖岭与海宁分界。

    唐武德四年(621)，罢良安县，其地仍属歙；永徽五年(654)，邑人蒋宝起兵响应睦州清溪陈硕真农民起义，事平后，分歙东竦口地置址(音荡)野县；大历元年(766)， 分歙西、休东八乡地置归德县，并分歙县华阳镇地置绩溪县。

    大历五年(770)，废址野县，其地复属歙县，并废归德县，其地归属休宁。

    此后直至清末，境域基本稳定，据民国《歙县志》所载为：东至昱岭关浙江昌化县界六十公里，西至长充铺(今槐源)休宁县界十八点五公里，南至街口浙江淳安县界五十公里，北至箬岭关太平县界四十公里，西北至汤岭(关)太平县界六十公里，东北至界牌岭绩溪县界十七点五公里，西南至危峰 岭(危峰关)浙江遂安县界四十五公里，至相湖岭休宁县界十五公里。

    建国后，1949年10月，本县璜尖乡划属休宁县。

    1952年8月，屯溪市草市村划属 本县；本县上源、茶源乡划属绩溪县，黄口村划属屯溪市，旃田、呈田划属休宁县。

    1955 年12月，坦头、大源两乡划属绩溪县。1956年元月，本县溪头乡的溪东、洪塘、汪村，竦口乡的江村环村划属绩溪县；同年4月，本县金坑乡划属绩溪县；11月，休宁县白际乡的结竹营划属本县，本县旃田乡的湖驾划属休宁。

    1964年3月，休宁县柿树岭生产队划属本县。

    1973年3月，本县草市大队划属屯溪屯光公社。

    1984年元月，本县黄山乡(含黄山风景区)共154平方公里范围，划属县级黄山市(原太平县)。

    1988年1月歙县篁墩乡划属屯溪区；并划出歙县洽舍区所属富溪、杨村、洽舍所，岩寺区所属岩寺镇、罗田、呈坎、潜口乡和郑村乡瑶村，成立黄山市徽州区。