菖蒲因生长地不同分为泥菖蒲、石菖蒲、水菖蒲，皆具有香气，丛叶翠绿，叶形似剑，端庄秀丽。《本草图经》曾这样描述它：“其叶中心有脊，状如剑。”据传，春秋战国时期，铸剑鼻祖欧冶子曾受到菖蒲的启发，铸就了“纯钧”宝剑。一阵风起于水波之上，那些直挺挺的叶子随风而动，如一支支宝剑纷纷出鞘，泛起一道道凛然的光芒。也难怪，有些地方的人会把菖蒲叫做“水剑”。
古人爱食用菖蒲。《抱朴子》中记载，周文王特别喜欢吃的这一口叫“菖蒲葅”，就是用菖蒲做成的腌菜。汉代已有诗云：“石上生菖蒲，一雨八九节。仙人劝我餐，令人好颜色”；梁代江淹《采石上菖蒲诗》中云：“冀采石上草，得以驻衰颜”，可见服食菖蒲以驻颜、长生，曾是一种很流行的观念。《道藏》中甚至有《菖蒲传》一卷，开头即云：“菖蒲者，水草之精英，神仙之灵药也。”还详细叙述了服食菖蒲的方法。
古人日常生活中大部分也离不开菖蒲。古人常用菖蒲酿成“菖蒲酒”饮用，尤其是端午，饮菖蒲酒或雄黄酒是一种习俗，五月初五甚至被称为“菖蒲节”，那时还有在端午头戴菖蒲的习俗，如古小说《风月梦》中描述扬州风俗云，“那些村庄妇女，头上带着菖蒲、海艾、石榴花”；或者将菖蒲、葱韭和艾叶捆在一起，做成老虎、人偶状，后者代表即张道陵。端午这一天，亦可将菖蒲连带韭菜、大葱和艾叶混在一起放在门口、窗户甚至屋顶上，其辛辣气味足以让鬼祟避之唯恐不及。而且菖蒲形状类剑，亦有辟邪除祟之效。《燕京岁时记》云，“端午日，用菖蒲、艾子插于门旁，以禳不祥，亦古者艾虎蒲剑之遗意。”古代端午还有烧煮菖蒲水洗浴或擦洗身体的风俗。古人重视菖蒲，更看中的是菖蒲的药用价值。
菖蒲除了可以食用外，古人对菖蒲的品性也相当推崇。菖蒲与兰花、水仙、菊花并称为“花草四雅”，因菖蒲“忍寒苦，安淡泊，伍清泉，侣白石”，而居“四雅”之首。远在尧时菖蒲就受到人们的尊崇：“尧时天降精于庭为韭，感百阴之气为菖蒲，故日：尧韭。”据说尧韭生于农历四月十四日，这菖蒲有了生日，便有了不朽的魂灵。修剪了根茎整了形，被文人雅士供在庭前案上，青翠挺拔励志养神。李时珍认为，石菖蒲置一盆于几上，夜间点灯观书，能收烟气，不伤眼睛；置星露之下，早晨取叶尖露水洗目，有明目之效。
养菖蒲也有学问，不能用河水和井水，要用泉水和雨水，最好是用一大缸存雨水，慢慢撇掉杂质，水纯净后再用来浇菖蒲；晚上放在外面接露水，早晨再搬到屋内。古人有《绝句》云：“一窗凉气如清雾，起看菖蒲叶上珠”，说的就是这种养种习惯。又石菖蒲喜洗根，常洗则叶细而秀。千万不可近烟，烟熏则烂死；也怕冻，冻则苗槁。菖蒲养得好，活几十年都不成问题。