辞去了弘农县尉，武宗会昌二年(842年)，李商隐以书判拔萃复入秘书省为正字，旋丁母忧居家。李商隐必须离职回家守孝三年。这意味着年届而立的李商隐不得不放弃跻身权力阶层的最好的机会。这次变故对李商隐政治生涯的打击是致命的。李商隐闲居在家的三年（会昌二年末至会昌四年末），是李德裕执政最辉煌的时期。错过了这个时期，随着不久之后武宗的去世，李德裕政治集团骤然失势，李商隐已经难以找到政治上的知音。[5]
会昌三年（843年），李商隐的岳父王茂元在代表政府讨伐刘稹叛乱时病故武宗朝。王茂元生前没有利用自己的影响力帮助李商隐的升迁，但他的去世无疑使李商隐的处境更加困难。[12]
会昌四年（844年）暮春，自关中移家永乐。五年冬(845年)，服阕入京，
李商隐
李商隐
仍为秘省正字。这一次，他的职位（“正字”）品阶比之前的（“校书郎”）还低。即便如此，李商隐毕竟又有了一个新的发展起点。在唐代，大家普遍认为在京城里的任职会比外派的官员有更多的机会升迁，而李商隐所在的秘书省，又比较容易受到高层的关注。对李商隐而言，另一个好消息是，宰相李德裕获得了武宗充分的信任，这位精干的政治家几乎被授予全权处理朝政。李商隐积极支持李德裕的政治主张，他踌躇满志，有理由期待受到重用的机会。[13]
李商隐在闲居的几年里处理了一些家庭的事务，其中最主要的一项工作，就是将一些亲属的墓葬迁回了故乡的家族墓园。这种维护家族荣誉的努力多少使他获得心理上的满足。从现存的部分诗文中可以看出，李商隐尽量调整自己的心态，淡化对政治生涯的兴趣和期待。他有时从事农耕，声称自己“渴然有农夫望岁之志”，模仿陶渊明的风格写作田园诗歌。不过，纷乱的时局始终吸引着李商隐的注意力。他有非常鲜明的政治倾向，几乎无法隐藏。
幕府游历
会昌五年（845年）十月，李商隐结束了守孝，重新回到秘书省。此时，武宗
清代三十六诗仙图卷之李商隐
清代三十六诗仙图卷之李商隐
与宰相李德裕富有效率的合作关系已经到了晚期。次年三月，武宗去世，传言他是由于长期服用道士进献的长生药而中毒身亡。经过一系列的宫廷斗争，宣宗李忱即位，并反对武宗的大部分政策，尤其厌恶李德裕。因此，几乎整个会昌六年（846年），都持续新一轮政治清洗，曾经权倾一时的宰相李德裕及其支持者迅速被排挤出权力中心。在宣宗本人的支持下，以白敏中为首的牛党新势力逐渐占据了政府中的重要位置。
会昌六年（846年），李商隐在秘书省任正字。三十五岁的李商隐终于有了儿子（李衮师），他的堂弟李羲叟也在这一年中了进士，这两个好消息大概只能让他兴奋一时。由于支持李德裕的政治纲领以及之前就被令狐绹等人视为背叛，他不大可能分享牛党的胜利。此时李商隐的职位几乎低得不值得在权力斗争中被排挤，他仍为仕途不得志而郁郁寡欢。
大中元年（847年），桂管观察使郑亚邀请李商隐往赴桂林任职。五月，李商隐同郑亚来到距京城大约5000里以外的南方。郑亚的这次南迁，是牛党清洗计划的一部分。李商隐愿意主动跟从一位被贬谪的官员，表明他同情李德裕一党。另一方面，也显示对自己的升迁不再抱有信心了。在桂林不到一年，郑亚就再次被贬官为循州刺史，李商隐也随之失去了工作。
大中二年秋（848年），李商隐回到长安。[14]据说，他在穷困潦倒之际，写信给故友令狐绹（他已经进入权力的核心）请求帮助，但遭到拒绝，结果只能通过自己考试得到一个盩厔县尉的小职位。具有讽刺意味的是：10年之前，他正好也是一个相当的职位（弘农县尉）。[8]李商隐担任盩厔尉时间不长，又被调回京城。此时，与大中元年他在秘书省的情形非常相似：低微的官职，渺茫的前途，落寞之余，期盼着出现变化。
大中三年九月（849年），李商隐得到武宁军节度使卢弘正的邀请，前往徐州任职。卢弘正是一位有能力的官员，对李商隐也非常欣赏。如果他的仕途顺利，李商隐可能还有最后一次机会。然而不巧的是，李商隐追随卢弘正仅仅一年多后，后者就于大中五年春天病故。这样，李商隐不得不再一次另谋生路。[15]
夕阳晚景
大中五年（851年），李商隐的妻子王氏在春夏间病逝。从李商隐的诗文上看，他和王氏的感情非常好。这位出身于富贵家庭的女性，多年来一直尽心照料家庭，支持丈夫。由于李商隐多年在外游历，夫妻在很长的一段时间里聚少离多，李商隐对于妻子是有一份歉疚的心意；而李商隐仕途上的坎坷，无疑增强了这份歉疚的感情。
大中五年（851年）年秋天，被任命为西川节度使的柳仲郢向李商隐发出了邀请，希望他能随自己去西南边境的四川任职。李商隐接受了参军的职位，在简单地安排了家里的事情之后，李商隐于十一月入川赴职。在四川的梓州幕府生活的四年间，大部分时间李商隐都郁郁寡欢。他曾一度对佛教发生了很大的兴趣，与当地的僧人交往，并捐钱刊印佛经，甚至想过出家为僧。梓幕生活是李商隐宦游生涯中最平淡稳定的时期，李商隐