粟裕认为，开展抗日民族统一战线工作，应首先在开明士绅中找对象，通过他们去扩大统一战线更容易收效。有些士绅、地主吃过日、伪军的亏，心中有一股怨气，去做他们的工作往往是容易成功的。新四军英勇善战和模范遵守纪律的影响、教育作用很重要，这样会使这些人正确地认识共产党、新四军，并对共产党、新四军产生向心力。政策和力量是做好统一战线工作之根本。对开展抗日民族统一战线工作的方式和细节，粟裕也总结出不少新经验。他认为，对象不同，方式不同，要有适当分寸。有时要负责人亲自出马，同他们接触周旋，给他某种面子，甚至抬他一下；有时负责同志就不能出面，以免增加他欺骗群众的资本。
新四军对日、伪作战取得一系列胜利，在江南敌后百姓之中树起了崇高的威信。日、伪军连遭打击再也不敢轻易出动，群众的利益得到了某些保障。随之而来的便是群众积极要求抗日和参加新四军，部队迅速发展壮大。
粟裕对那些勾结日伪、阻碍抗战、残害群众的土匪武装，经多次教育无效的，采取了坚决的打击行动。粟裕认为，非此不能更好地发动群众，非此不足以平民愤，非此不足以严惩汉奸卖国贼。国民党溃军军官朱永祥率众千余人，自称“苏皖游击司令”，名为抗日救国，实则扰民诈财，不亚寇匪。群众恨之入骨，称之为“小日本”。后来朱永祥竟发展到与日伪沆瀣一气，勾结日伪袭击新四军。1938年7月6日，新四军一支队一部与二支队一部在当地民众武装配合下，将朱部一举歼灭。朱永祥被活捉，解送国民政府第三战区司令长官部法办。百姓无不拍手称快。
挺进江南敌后的新四军经过半年多的斗争，在敌后先后建立起了茅山、丹北、横山、江句、句北、小丹阳等十多块小型的游击基地，拥有40万人口。