这句成语，一般多认为来源于东汉郑玄《诗谱•序》的一句话：“举一纲而万目张，解一卷而通篇明。”其实，早在战国末期的《韩非子?外储说右下》就有这样的话：“善张网者引其纲，不一 一摄万目而后得。”同是战国末期的 《吕氏春秋•杂俗览•用民》也有： “用民有纪有纲。一引其纪，万目皆起，一引其纲，万目皆张。”还有，生于东汉初年比郑玄早约一百年的班固参加编撰的《白虎通义?三纲六纪》说：若罗网之有纪纲而万目张也。”后来，隋朝王通的 《文中子?中说》，更简练地说作“举一纲,万目张”，这与现在通行的成语“纲举目张”非常近似了。
纲，是鱼网上的总绳（《尚书•盘庚上》： “若网在纲”）。目，是网的孔眼。提起网上的纲绳，许许多多网眼 会全都张开，这叫做“纲举目张”。比喻干任何事情，只要抓住它的关键，其余环节便能随之带动起来。
同时，人们比喻凡事能抓住要点，就叫“提纲”，与另一个同义词“挈领”，组合而为成语“提纲挈领”，意思也就是抓到了要领。挈〔qiè〕，提起来；领，衣领。挈领，就是抓住了衣服的主要部分。《荀子?劝学》：“若挈裘领， 屈五指而顿之，顺者不可胜数也（好比拎起皮衣的领子，屈着五个指头勾住领子抖一抖，无数的毛就顺溜了）。”
北宋高僧道原《景德传灯录》卷二十六作“提纲举领”。南宋名儒朱残《朱子全书•诗，纲领》：“挈领提纲，首尾该贯。”《宋史?职官志八》：“提纲而众目张， 振领而群毛理。”清李宝嘉《官场现形记》第六十回：“那人说是，‘……中国四万万多人，一时哪能够通通救得。因此便想到一个提纲挈领的法子。' ”
