大业十二年（616年），翟让在东郡（今河南滑县东）发动农民起义，因以韦城瓦岗寨（滑县南）为根据地，故称瓦岗军。
这支军队在历史上极其有名，不知道翟让，但知道瓦岗军的人很多。
李密辗转投奔于翟让的军中，这时，他热切地希望在这有实力的军中，发挥自己才能，实现自己的抱负。
但，总有人跟他过不去，有人知道李密是杨玄感的逃亡部将，不知道那里看不惯他，私下怂恿翟让把他宰了。
翟让很听话，把李密关押起来，准备择日宰了他。
李密最擅长的就是谋略，欲要踏进鬼门关的节骨眼儿上，他通过献谋略征服了翟让，也挽回了自己的一条命。他通过王伯当跟翟让说：“当今皇帝昏庸，百姓恨他入骨。皇帝在辽东用光了精锐部队，还和突厥断绝了友好关系。皇帝撇下洛阳长安，在江都享受生活，现在就像是刘邦、项羽那样争夺天下的时机。凭您经天纬地的才能，加上精兵强将，眼下一鼓作气攻取洛阳长安，消灭横行的势力，灭隋是轻而易举的事。”
翟让听了李密对他的夸赞和献上的计策，不由地对他大为敬重仰慕，赶紧释放了他，这简直就是把一个活生生的智囊绑缚着了，简直就是一大损失。
接着，翟让要考验一下李密的实际能力，于是派他去游说附近几小股义军，不料，李密去一说就来归降了。翟让对他刮目相看。
事实证明，李密是一个不可多得人才。从此，翟让深深地信任李密。
李密又向翟让建议道：“眼下军中人马已经很多，但没有源源不断的粮草供给，如果长时间下去，会人困马乏。等真正面对大敌时，会无力抗争。不如我军赶紧直接夺取荥阳，在那里休整部队，筹积粮草，等到兵强马壮，有了这样的实力，再跟人争天下。”
翟让采纳了他的建议。
翟让带军攻打荥阳等县城镇，基本都攻克。
荥阳太守杨庆和被翟让打败，气的不行，便联合通守张须陀一起讨伐翟让。翟让曾被张须陀打败过，有心理阴影。听说他来了，翟让很是害怕，准备做缩头乌龟。
李密镇定道：“张须陀没有什么好害怕的，他虽骁勇但没有谋略。他带领人打了几次胜仗，现在骄狂得很，只要跟他打一仗，就能捉住他。你只管摆开阵势等着，我来替你收拾他。”
——李密满满的自信。
翟让给了李密一千多名士卒，他带军埋伏在树林里。翟让跟张张须陀的部队直接开战，边打边退，然后李密的伏兵到敌后袭击，跟翟让前后夹攻，大败张须陀，当场将他宰了。
从此，翟让十分信任依赖李密，便让他单独统率一支队伍。
李密本人衣食节俭朴素，得到的金银财宝都分发给部下，所以大家都愿意替他卖力。而且他的队伍军容整齐严肃，比一般起义军严明。李密有干大事的风范。