“少有气力，好游侠”。但他不务正业，他常聚合一伙轻薄少年，自任首领。他们成群结队，携弓带箭，头插鸟羽，身佩铃铛，四处游来荡去。当时，百姓一听铃响，便知是这帮人到了。时人以“锦帆贼”称呼他们。[2]
在郡中，轻侠杀人，藏舍亡命，大有名声。他一出一入，威风
炫赫。步行则陈列车骑，水行则连接轻舟。侍从之人，披服锦绣，走到哪里，哪里光彩斐然。停留时，常用锦绣维系舟船，离开时，又要割断抛弃，以显示其富有奢侈。[3]
所在城邑的地方官员或那些跟他相与交往之人，如果隆重地接待，便倾心相交，可以为他赴汤蹈火；如果礼节不隆，便放纵手下抢掠对方资财，甚至贼害官长吏员。这种情况，一直持续到他二十多岁。后不再攻掠别人。他读了一些书，钻研诸子百家之说，想有所作为，便率领八百多人，去依附刘表，留驻南阳。[4]
刘表是东汉末年颇有名气的“八俊”之一，时为荆州刺史。但正如诸葛亮在《隆中对》里分析刘表终不能守住荆州一样，也发现刘表不习军事，在当时天下不宁、群雄纷争的形势下，终将无成。这时，他听说孙权在江东“招延俊秀，聘求名士，鲁肃、诸葛瑾等始为宾客”，便决定前去投效。
路经夏口（今湖北武汉），部队不得过，只好暂且依靠江夏太守黄祖。
建安八年（203年），孙权领兵西攻江夏，黄祖大败，狼狈逃溃。将兵为其断后。他沉着冷静，举弓劲射，射杀孙权的破贼校尉凌操。孙军不敢再追，黄祖性命这才得以保全。立下大功，可黄祖仍不重用，也想弃之而去，只是没有一条万全的途径，因而，独自忧愁苦闷，无计可施。[5]
弃黄归孙
苏飞察知之意，邀请，置酒欢宴，酒酣之际，对他说：“我数次推荐，主上不肯任用您。日月流逝，人生几何？应该早做长远打算，寻一个知己，成一番大事！”停了一会，说：“我也想走，可惜没有合适的机会。”苏飞说：“我请主上派你去做邾（今湖北黄冈西北）长，那时，你可以自己决定去就。”非常高兴。
于是，苏飞提出让任邾长，黄祖同意。招回原来离去的一些手下，又聚集一些愿意相从的人，带着他们投奔了孙权。[6]
由于周瑜、吕蒙的推荐，孙权对十分器重，对待他如原来那些老臣一般。心情愉快，立即向孙权献计：“如今汉家运数日益衰微，曹操更为骄横专断，最终要成为篡汉的****。荆州这个地方，山势屏障利便，江河流畅通行，这是我们东吴西面的屏障啊！我是在刘表手下干过的。据我观察，刘表这个人，自己既没有深谋远虑，接班人有差，根本守不住那地方。将军应该先下手为强，不可落在曹操之后。图谋刘表的计划，第一步先从黄祖下手。黄祖如今年老，昏聩无能，军资粮食都很缺乏，身边的人在愚弄欺瞒他，而他一味地贪图钱财，在下属官吏兵士们头上克扣索取。这些人都心怀怨恨，而战船及各种作战器具，破损而不加修整，荒误农耕，军队缺乏训练有素的队伍。主上现在前往进取，必定将他打败。一旦击败黄祖的队伍，即可击鼓西进，前据楚关，军势即增大扩广，这样可逐渐谋取巴蜀之地了。”孙权很赞赏这一意见，坚定了用兵的决心。
当时张昭在座，对的意见不以为然。他说：“江东自身危急，如果军队真的西征，恐怕必然导致国内大乱。”不客气地反驳：“国家将萧何那样的重任交给阁下，而您却留守担心出乱子，用什么来追慕古人呢？”孙权见二人争执，就举杯向劝酒，并说：“兴霸，今年即出征西进，如同这杯酒，我决定把它拜托给你了。你尽管勉力提出作战方略，使我们一定能打败黄祖，如此就是你立了大功，何必计较张长史的话呢？”
建安十二年（207年），孙权第二次西征黄祖，虏其人民而还。《三国志·吴主传》此次战斗没有彻底展开，原因是孙权的母亲病危，而不得不撤军。
建安十三年（208年）春，孙权第三次西征黄祖，战斗打的很激烈，但最后果然擒获黄祖。胜利后，孙权分拔一支部队给指挥，屯兵当口。[7]
孙权攻破黄祖，曾做好了两个匣子，用来盛黄祖和苏飞的首级。苏飞托人向求告。说：“就算苏飞不说，难道我会忘记他的恩情吗？”时孙权摆酒，为诸将庆功。走下席位向孙权叩头，血泪交流，对孙权诉说苏飞过去对自己的恩义，并且说明：“我如果不遇苏飞，早已死填沟壑，当然也就不能尽忠报效您了。如今苏飞罪当斩杀，我冒昧地向您求情，免他一死。”孙权感动，说：“我可以放过他，可是他若逃跑，怎么办呢？”担保：“苏飞免受斩杀，受您再生之恩，即使赶他走，他也不会离开，哪有逃跑之理！如果他跑了，就把我的首级代替他的装入匣中！”孙权同意的请求，赦免了苏飞。[8]
言笑解惧
同年冬，曹操进兵荆州，跟随周瑜在乌林大破曹操（参见赤壁之战），立下了战功。接着，又到南郡攻打曹仁，但未能攻克。献策，由他率兵从小路取江陵上游的夷陵（今湖北宜昌），以便东西夹击曹仁，迫使其北撤。周瑜命他统兵前往，日夜兼程，果然一举占领，于是，据守城中。
曹仁见势不妙，立即派五六千人去围攻夷陵，企图一举夺回这一战略要地。时手下只有数百军