郡、县为春秋战国至秦代，逐渐形成的地方政权组织。春秋前期，楚、秦、晋等诸侯国开始在国内一些地方设县;春秋末期，各诸侯国开始在边地设郡。郡的面积虽比县大，但因地处偏远，行政建制一般比县为低。战国时，各诸侯国在边地分设郡、县，逐渐形成县统于郡的两级制。
“郡”字，从邑、君声。君本义为至尊，奉守军令以行君政之地为郡。“县”字，从系持，为倒首，倒首系挂之为悬。“悬”、“县”古时通用。县与王城悬隔千里，取遥远之意。楚庄王灭陈置县，县名至此始。
《说文》曰：周制，天子地方千里，分为百县，县有四郡。《春秋左传》曰：克敌者，上大夫受县，下大夫受郡;说明春秋前期县大于郡。公元前350年，秦国商鞅变法，迁都咸阳，置三十一县。其后变法图强，兼并一日千里：公元前327年，秦灭西戎设义渠县;公元前278年，占郢城置南郡;公元前277年，定黔中设黔中县;公元前272年置南阳郡;公元前249年置山川郡;公元前248年置太原郡;公元前242年置东郡;公元前230年置颍川郡;公元前223年置楚郡;公元前222年置会稽郡。至公元前221年，秦兼并天下。
秦始皇采纳李斯建议，将天下分为三十六郡。郡设守、尉、监各官。三年后，攻克南越陆梁地，增置桂林郡、南海郡、象郡，同时收取河套以南土地，设置四十四县。是为一统天下，大功告成。
郡的辖属初本无定制，代有更替。秦统一天下后，确立郡、县两级制，郡比县大。汉代以后承袭，至宋代改郡为府，郡制遂废。秦汉以后，县的行政长官，万户以上称县令，万户以下称县长。唐代之县分上、中、下各级，故不再以令、长分称。宋代称为知某县事，元代称县尹。明清称知县，为正七品，俗称“芝麻官”。
春秋前期，各国始设郡、县，意在固边。近畿之地，肥硕之地均已分封，故设置郡县以畴边，管理悬隔千里之地。秦一统天下以后，丞相绾奏曰：“燕、齐、荆地方遥远，不设置王，无法镇守，请立诸子为王。”秦始皇将事交付臣下商议，李斯力陈分封之弊，强调统合为一，设置郡、县，永保天下安宁。郡县制是对分封制的否定，强调中央集权，保障政令畅通，确实优于封建制，深得秦始皇的肯定。但秦始皇想通过实行郡县制，防止分裂，消弭混乱，永保江山社稷太平，岂不是异想天开。
秦始皇采纳李斯建议 分天下为36郡