为了应付越来越多的职务分配要求，政府只得把州、郡的区划分割得越来越小，《宋书·志序》形容当时这种情形说，“一郡分为四五，一县割成两三”，造成普遍的“虚号相假”的局面。但直至南朝梁朝前期，问题还未到十分严重的地步。梁天监元年(公元502年)共有23州，326郡，1300县。然而不到半个世纪，形势大变，州郡数的增加达到恶性膨胀的地步。梁中大同元年(公元546年)已有104州，586郡。就在这一年，北朝的东魏、西魏对峙政权也共有116州，413郡。这样，南北朝合计，共有220州郡，比两个半世纪以前的西晋，州膨胀11倍，郡膨胀10倍。
这种极端混乱的状态也是南北朝政府中央权力衰败的征象。中央政府对地方政权已经失控，地方权力也近乎解体。在此期间，虽然也出现过打算改革的皇帝，如代东魏而立的北齐文宣帝，就针对当时的混乱局面说：“牧守令长，虚增其数……百室之邑，便立州名；三户之民，空张郡目。”(《北齐书·文宣帝纪》)揭示由于州牧、郡太守、县令长职位大量增加，而不得不膨胀州郡县政区的反常现象，于是动手并省了部分州、小半的郡及半数的县。
但当时的问题已经非常严重，所需改革的是整个体制，而不是简单地并减州郡。齐文宣帝的行动并不能完全遏制政区混乱状况的进一步恶化，在取代西魏的北周统一北方之后的大象二年(公元580年)，就共领有属州211个、郡508个、县1124个。此时不但州数已接近30多年前南北朝双方州数的总和，而且三级政区数目之比已降至1：2：6的最低水平。换句话说，平均每州只辖两个郡，每郡只辖三个县。这是就平均的情况而言，若从特殊现象来看，甚至出现两郡共管一县或两州合管一郡的怪事，这种现象被称为双头郡县或双头州郡。
政区的层级和管理幅度达到如此不协调的地步，说明三级制至此已是穷途末路，必须改弦更张了。改革的办法也很简单，只需将中间郡一级政区撤销就可以。事实上，在州刺史大量增加以后，郡太守在许多地方?已不管事，仅只备员领俸而已。但是撤销郡一级政区的行动却直到全国统一的前夕才付诸实行。隋代周以后，大臣杨尚希向隋文帝上表，陈述“当今郡县，倍多于古，或地无百里，数县并置，或户不满千，二郡分领”的不正常现象，建议“存要去闲，并小为大”，对行政区划进行一番整顿。隋文帝接受这个建议，但不是采取并省州郡的简单措施，而是“罢天下诸郡”(《隋书·杨尚希传》)，釜底抽薪，丢掉三级制这个包袱，使行政区划层次再次回到二级制来。当隋灭陈，由北到南重新统一中国后，州一县二级制便推行到全国。