春秋战国时期，桃源地域属楚。郡。西汉时为临沅县的一部分。东汉建武二十六年(公元50年)，桃源地域从临沅县析出，置沅南县，隶属武陵郡。三国、两晋、南北朝时期，县名均为沅南县。隋文帝开皇三年(公元583年)，合临沅、沅南、汉寿三县为武陵县，隶属朗州。唐、五代时期，今桃源地域均为武陵县的一部分。

宋太祖乾德元年(公元963年)，桃源地域从武陵县析出，因其境内有著名的桃花源而定名桃源县。县治设于沅水北岸，即今漳江镇。桃源得县名至今已有1039年历史。