新四军编成后，国民党军事当局规定新四军的任务是在苏南、皖中敌侧后进行游击战争，在这些地区构成游击网，袭击敌人，破坏敌人交通，以牵制敌人。划定的具体活动地域是：第一、第二支队在长江以南，芜湖以东，高淳、溧水、金坛支线以北，丹(阳)金(坛)公路以西，东西不过百余公里，南北仅约五六十公里；第三支队在东起芜湖、宣城，西至铜陵，南至青阳，北临长江的狭小地带；第四支队在皖中的淮南铁路沿线一带。

根据中共中央、毛泽东关于开展华中敌后抗日游击战争的方针部署，以及国民党军事当局赋予的任务，新四军领导人决定由第一、第二、第三支队各一部组成先遣支队，由粟裕率领，于1938年4月28日出发，开赴苏南敌后实行战略侦察。

5月初，叶挺、项英向全军下达命令，要求所属各部队“深入敌人后方，开展广泛的游击战，达到牵制和分散敌人的兵力，配合国军主力正面作战，在持久战中，争取最后的胜利”；并强调要“积小胜为大胜，团结群众以游击动作进行胜利的战斗”。

据此，新四军各支队开始向华中敌后挺进，实施战略展开。陈毅首先率第一支队由岩寺出发，向苏南敌后挺进。6月中旬，该支队进抵茅山一带，随即展开于镇江、句容、金坛、丹阳地区。张鼎丞指挥第二支队于7月进入苏南敌后，展开于京芜铁路以东、京杭公路以西的江宁、当涂、溧水、高淳地区。谭震林率第三支队在策应第一、第二支队挺进苏南之后，于7月开赴皖南前线，活动于东起芜湖、宣城，西至青阳、大通，南起章家渡，北至长江的横宽100余公里、纵深约60公里的地带。高敬亭指挥第四支队已于4月初由立煌县流波疃向皖中开进，先后展开于舒城、桐城、庐江、巢县、无为地区。

1938年5月12日，江北日军第六师团坂井支队巢县守备队乘船前往裕溪河西岸。新四军第四支队第九团一部设伏于巢县东南蒋家河口，乘日军下船登岸时，突然以密集火力发起袭击，全歼敌20余人。这是新四军挺进敌后的第一仗。蒋介石闻讯，于5月16日致电叶挺、项英说：“蒋家河口出奇挫敌，殊堪嘉慰。”

5月中旬，粟裕率领的新四军先遣支队到达苏南镇江地区，奉第三战区司令长官顾祝同之命，破击南京至镇江间铁道，以阻京沪之敌。6月17日上午，先遣支队在镇江西南的韦岗伏击由镇江乘汽车前往句容的日军。经半小时激战，毙伤日军土井少佐以下20余人，缴获长短枪10余枝。新四军挺进江南敌后，首战告捷，犹如炸响一声春雷，使沉闷的沦陷区人民看到了光明。陈毅兴奋之余，赋诗祝贺：

故国旌旗到江南，

终夜惊呼敌胆寒。

镇江城下初遭遇，

脱手斩得小楼兰。

蒋介石亦致电叶挺说：“所属粟部袭击韦岗，斩获颇多，殊堪嘉尚。”此后，在苏南敌后，特别是在京沪铁路、京芜铁路和京杭国道两侧，新四军第一、第二支队乘日军主力西进、后方空虚之机，发挥近战、夜战特长，连续对日军展开夜袭、奔袭、突袭和伏击作战，6月至8月，先后取得了新丰、新塘、句容、珥陵、高资、仓头、永安桥、江宁、当涂等大小百余次战斗的胜利。就连南京的城郊机场、麒麟门外、雨花台畔，也燃起了新四军游击战的烽火。

新四军在袭击、伏击敌人的同时，还频繁破击敌人的交通和通讯设施，致使日军列车出轨倾覆，交通屡屡中断，其进攻武汉的兵力机动和给养转运因此受到影响。第一、第二支队还广泛发动群众，开始了创建根据地的工作。

1938年7月，成立了镇(江)句(容)丹(阳)金(坛)四县抗战总会，所属各县、区、乡成立了分会。中共苏南工作委员会同时成立。随后，当涂县抗战动员委员会、宣城县水阳抗战动员委员会及江(宁)溧(水)句(容)三县抗敌自卫委员会也相继成立。这些组织，后来逐步转变为抗日民主政权。为动员各界共同抗战，陈毅亲自出面做社会名流、开明绅士和民族资产阶级代表人物的工作，争取他们的支持。部队派出战地服务团和民众运动工作组，利用戏剧、歌曲、漫画等形式，配合地方党组织宣传共产党的方针、政策，动员各界群众和游击武装参加抗日斗争。支队还与地方党组织合作成立租息调解委员会，实行减租减息，使农民群众的抗战热情更加高涨。“吃菜要吃白菜心，当兵要当新四军”，这个广为流传的说法充分表达了人民群众对新四军的拥戴之情。许多青壮年纷纷要求参军，绝大部分游击武装也愿与新四军合作共同抗日。其中管文蔚领导的丹阳县抗日自卫总团在新四军指导下迅速发展到4000多人，扩编为丹阳游击纵队。

8月22日至26日，日军4500余人分别由袜陵关、溧水、当涂、采石、江宁等地出动，水陆并进，分八路“扫荡”小丹阳，企图消灭新四军第二支队。第二支队遂以主力隐蔽在内线，伺机打击日军之一路；另以一部转至外线，与第一支队相配合，袭击敌人据点和交通线，迫敌回援，从而挫败了敌之“扫荡”。

9月初，日军将新调来华的第十五、第十七师团和驻杭州地区的第一一六团一部及伪满军5000余人，增调至南京、芜湖、苏州地区，使这一地区的兵力由原来的3个联队增至近3个师团。随后便开始对新四军第一、第二支队进行反复“扫荡”。针对敌强我弱的情况，新四军紧紧依靠人民群众，运用机动灵活的游击战术，分散穿插转移，乘虚袭击敌人，先后取得天王寺、禄口、白兔镇等战斗的胜利，至12月，共粉碎日军“扫荡”近30次，沉重打击了敌人，初步巩固了以茅山为中心的苏南抗日根据地。

在皖南前线，日军为保障进攻武汉的水上交通，经常出动“扫荡”。9月，新四军第三支队在担任青弋江阵地防御战中，多次击退小股敌人的袭扰。10月30日，日军500余人向新四军第三支队青弋江阵地发动进攻，第三支队先后在清水潭、马家园等地与敌激战，毙伤敌300余人，迫敌后撤。

活动于江北的新四军第四支队，在徐州会战结束后大部转移到安(庆)合(肥)公路和六(安)合(肥)公路两侧抗击敌人，配合友军保卫武汉。6月至10月，第四支队采用伏击、袭击战术，连续在无为以东运漕，桐城以南棋盘岭、铁铺岭和六安以东三十里铺等地作战数十次，歼敌1000余人，毁敌军车150余辆，并缴获大批武器和军用物资。

10月下旬，第四支队主力又攻克庐江、无为两县城，歼灭反动武装3000余人。经过半年作战，第四支队初步打开了皖中敌后的抗战局面。在此之前，第四支队第八团于9月进入淮南铁路以东的肥东、全椒一带，开展游击战争，在皖东敌后也燃起了抗日烽火。武汉会战开始后，日军主力向武汉推进，豫东、皖北大片地区沦为敌后，针对这一情况，中共中央长江局负责人周恩来、叶剑英于1938年9月2日指示中共河南省委将抗日武装斗争的重心移向豫东，与八路军冀鲁与部队沟通联系。据此，河南省委决定以八路军从临汾派来竹沟的部分干部和当地招收的新兵共370余人，组成游击支队，由省委武装部长彭雪枫率领，向豫东挺进，开辟豫皖苏边根据地。

9月30日，游击支队由竹沟誓师东征，10月11日抵达华西县杜岗镇，与豫东游击第三支队一部及先遺大队合编为新四军游击支队，彭雪枫任司令员兼政委，辖3个大队，共1000余人。随后，彭雪枫率支队东渡新黄河向鹿邑挺进。10月27日进至淮阳以北窦楼，与日军遭遇。激战两小时，毙伤日军林津少尉以下数十人。游击支队首战告捷，给当地人民以很大鼓舞。11月下旬，游击支队进入睢县、杞县、太康地区，连战连捷，初步打开了豫东敌后的抗战局面，为开辟豫皖苏边抗日根据地创造了有利条件。

新四军自成立至1938年底，在中共中央和中央军委的领导下，成功地完成了集中改编、挺进华中敌后、实施战略展开等各项任务。其间作战280余次，歼敌3800余人，初步建立了苏南、皖南和皖中抗日根据地，开辟了华中敌后战场。华中敌后战场的开辟，有力地牵制了华中日军，配合了正面战场友军的作战，也为进一步发展华中敌后抗日游击战争奠定了基础。