袜子奶茶得名字源自香港得奶茶，港式奶茶是一种将煮好的红茶用尼龙网过滤，之后再加入牛奶和糖制成的奶茶。在这一种奶茶中，就有一种是用来过滤奶茶的棉纱网。通过这种方法，不但能够滤掉茶渣，还能让红茶更加香甜。在经过多次拉茶撞茶之后，棉纱网的颜色和形状都会变成类似于丝袜的东西，所以才会被称为丝袜奶茶。
自英国开始在香港的殖民统治，英国人就把“下午茶”这个概念带到香港。和一般华人在早上喝茶的习惯不同：西方人习惯在下午三时左右，午饭至放工中间的一段时间，享受西茶之馀，再佐以西点。由于锡兰出产的红茶味道较好而价钱又便宜，所以锡兰红茶在香港十分流行。西方人喝茶习惯加淡奶和糖，使茶入口更香更滑，这也成为了香港奶茶的基本。