三、四两句脱开，转而去写如丝细雨一春幽梦，尽日灵风飘摇旌旗。从字面上看，很难判断此联与上联的关系，所以也很难说清诗中写的是李商隐的梦境还是圣女祠的实景。这两句写得极其飘忽轻灵、朦胧迷离，被称为“有不尽之意”（《紫薇诗话》）。诗中可以感到一种深深的缺憾与怅惘，绵绵细雨最勾人情思，而这一春的细雨又无声地洒在瓦上，似无根般飘荡，又不知是醒时眼见还是梦中所思，偏偏一天里这高悬的旗帜也在似有似无的轻风中似垂似飏。一个“梦”字一个“灵”字把两句诗点染得幽冥缥缈，像一支轻灵的梦幻曲，使诗歌有了一种神秘的朦胧感。
五、六句再回到“圣女”即女冠身上来，萼绿华和杜兰香都是仙女，且不必去追寻她们的故事，因为她们不过是一个象征用来指代女冠，关键是“来无定所”和“去未移时”所形容的来去匆匆，它究竟意味着什么？从李商隐其他诗中常有“星使追还不自由”（《和韩录事送宫人入道》）、“来是空言去绝踪”（《无题》）等句子来看，似乎他与那位女冠曾有一次金风玉露般的匆匆相会与匆匆离别，这在他心里留下了极深的痛苦，所以这两句似乎是在回忆那一次相逢与别离。
七、八句则意义不明，如果说“玉郎”为李商隐自比，那么，也许是李商隐设想自己由此登上仙界，去与自己心中的恋人会合，一道回忆当年在玉阳山学道的时光，因为“向天阶问紫芝”即寻长生方，即学道。如果说“玉郎”为女冠的称号，那么，也许是说圣女将像萼绿华、杜兰香那样一去不归，永返仙界，那时请她长忆当年一同度过的美好时光。
在有关圣女祠的三首诗中，这首诗是最难懂的，却也是最有滋味的，它的滋味正在于它的难懂。它不仅吟咏的“本事”不明确，而且又蒙上了三层雾一般的轻纱：一层是隐喻，那些美丽但又深妙的典故往往把语义的指向遮蔽起来，而只把那些毫不着边的故事弄来分散人们的注意力。一层是句子结构，李商隐常常把事情写得七颠八倒，句与句之间、联与联之间似乎毫不相干，弄得人们无从寻绎其中的脉络，仿佛入了迷宫找不到通途。一层是朦胧的氛围，尤其是“梦雨”、“飘瓦”、“灵风”、“不满旗”、“来无定所”、“去未移时”，一下子就烘托出一种梦幻般的气氛，把人们引入迷离恍惚之中；正是在这样的诗句里，李商隐心中那难言之情、怅惘之思便在这迷离恍惚之间飘进了读者心中。梁启超在《中国韵文内所表现的情感》一文中谈到读李商隐诗的感受：
我理会不着，拆开一句一句叫我解释，我连文义也解不出来，但我觉得它美，读起来令我精神得到一种新鲜的愉快。这就足够了，因为诗歌的意义并非要告诉人们什么，而是以情来感染人，使人从中领略某种情感、哲理和感受，所以前面煞费苦心的索隐推敲也许都是多余。