绿帽子的由来大约是从元朝开始的。当时的蒙古是没有娼妓的，大草原上的男女只要愿意，马上就会天当被子地当床。等到挥军南下进了中原，就很是看不惯号称礼仪之邦的中原人开设的妓院了。于是元朝统治者规定妓女着紫衫，在妓院里做工的男人戴绿头巾，以示与正常人的区别。延续至今，就诞生了中国男人最怕的一顶帽子：绿帽子。我们现在经常挂在嘴边的“绿帽”最早是唐朝一个叫李封的县官发明的，据说他任职延陵县令期间，规定若官吏有罪，可不加杖罚，但须令头裹绿头巾以羞辱，且期满后才能解下。这大概就是“绿帽”的最早来源了。
在中国人的语境当中，绿帽子一词有羞辱含义。绿色在中国古代被视为低贱者的用色，《汉书·东方朔传》提到馆陶公主刘嫖的情夫董偃，头戴绿帻，颜师古注道：“绿帻，贱人之服也。”唐朝诗人李白在《古风》中也有“绿帻谁家子，卖珠轻薄儿”之句，可见当时绿色为低贱者所用的颜色。