云南巡抚刘岳昭、记名四川布政使刘岳睃、记名道员刘镇楚等七十营滇勇在云南，贵州巡抚曾璧光、贵州提督周达武、道员唐炯等五十营黔勇驻贵州。1870年1月28日，魏宣武任命古大力为讨伐云贵大都督，成立讨伐云贵都督府，以第八野战师及朱志鑫的第二野战师、任三应的第二骑兵旅、一个独立炮兵旅组成讨伐云贵大军，先进了云南。四川省统制金彪带省制驻重庆，防贵州黔勇。时清云贵总督兼云南巡抚刘岳昭、贵州提督周达武带督标、提标及二十营黔勇共三万余人在与贵刘州回民白旗军作战，金万照，张定中，张自知在新城、张福禄、张福荫在兴义府抗击清军，贵州巡抚曾璧光、道员唐炯则带抚标及三十营黔勇共二万多人在赤水一带驻扎防御太平军。记名四川布政使刘岳睃、记名道员刘镇楚等七十营滇勇则聚集在威信扎西地区，与古大力部相持。古大力以探子卒和第四野战旅绕过滇勇营垒，攻取昭通府城恩安，刘岳睃及刘镇楚见后路被断，大惊，刘镇楚忙带四十营滇勇来争恩安。古大力趁机用炮兵轰击清军扎西营地，然后发起全线攻击，滇勇虽勇，仍是冷热兵器混合使用的部队，伤亡颇重，刘岳睃抵挡不住，向恩安而去。恰值刘镇楚攻恩安不下，两人商议一番，收拾残兵往昆明而去。这是云南省天道教总教邢道理发动云南各地天道教徒起义，古大力以朱志鑫第二野战师分掠云南各地，支持天道教义军攻取云南各地，自率其余大军包围昆明。1870年2月13日，古大力部已作好攻城各项准备，古大力一声令下，各类攻城炮集中在东门发出震耳欲聋的咆哮，昆明城头一片混乱，第八野战师各部蜂拥而上，用云梯、飞抓等蚁附登城，又用冲车撞城门，很快，多处登上了城头，东门也被撞开，太平军潮水般涌入城内，经过半日巷战，刘岳睃战死，刘镇楚负伤被俘，云南府昆明城被太平军攻克。到1870年3月10日，云南十四府三直隶州六直隶厅均归了太平天国，魏宣武任命李翰章为云南省刺史、邱维城为云南省统制，与云南省总教邢道理一起建立云南省地方各级政权和地方部队，推行太平天国各项政策。
古大力留下第二野战师教导旅，协助李翰章、邢道理、邱维城开展工作，自率大军进入贵州。贵州巡抚曾璧光、道员唐炯则带抚标及三十营黔勇共二万多人在赤水，云贵总督兼云南巡抚刘岳昭、贵州提督周达武带督标、提标及二十营黔勇共三万余人在兴义、新城，贵州省其他地方兵力空虚，古大力从云南省曲靖府平彝县几乎兵不血刃先占领了胜境关，又连克普安厅、安顺府、贵阳府罗斛州，将在兴义、新城的云贵总督兼云南巡抚刘岳昭、贵州提督周达武带督标、提标及二十营黔勇共三万余人与贵阳府完全隔开，并与白旗军金万照等取得联络，夹击清军。刘岳昭、周达武眼见前后失据，且已得到清帝退位、李鸿章降的消息，只好同意古大力的提议，进行和平改编。刘岳昭、周达武等数百名各级将官被送往开封教导营学习，其余部众愿归家者发给盘缠归家，愿留下者编入地方部队。接着，古大力直属部队与第八野战师攻入贵阳府城，朱志鑫第二野战师到赤水攻击巡抚曾璧光、道员唐炯则所带抚标及三十营黔勇二万多人。这时，古大力夫人秀云挺着九个多月的孕肚赶来贵阳，古大力接到府中不知秀云突然到来所为何事。秀云见古大力问，扶着孕肚哭着要给古大力跪下，古大力忙扶住她，道：“夫人这是为何，有话请讲，不必如此。”秀云哭着说了一个秘密。原来，秀云是唐炯之妹，本名叫唐孟端，她听说太平天国男女平等，一夫一妻，女人又不缠足，就想来看看究竟，恐哥哥不肯，就假说太平军招女营，愿混入女营做清军内应，替父报仇。唐炯本待不肯，禁不住唐孟端再三恳求，只得允了。结果，孟端与古大力一见钟情，遂嫁给了古大力为妻。唐孟端现闻古大力与唐炯在贵阳相持，不顾有孕在身赶往贵阳，希望丈夫与哥哥两全。古大力听完，感慨万端，感叹造化弄人啊。当下，唐孟端修书一封，古大力遣精细探子冒用清兵身份混入清营，送与唐炯。这日唐炯巡营归来，侍卫来报：“有兵称有紧急军情相告。”唐炯让带进来，来兵进账左右顾盼，唐炯明白，吩咐左右退下，来兵呈上书信，唐炯看毕，骂道：“不知廉耻的贱人，忘了国仇家恨，以身事贼。”就要唤人抓捕来兵。那兵见唐炯出言不善，面色不对，忙道：“大人息怒，今太平军非往昔太平军，现太平军信奉天道教，倡导中外一体，遵崇圣贤神明，非拜上帝教可比，令尊之仇是与拜上帝教之仇，与天道教无干，现清帝退位，曾国藩、李鸿章俱已成擒，李翰章已是天国云南省刺史，令妹与古大帅一见倾心，天作之合，目今大半中华已属天国，请大人细思祥察，审时度事，无误兄妹之情，不伤无辜之命。”唐炯见说，细思良久，长叹一声：“罢罢罢，此乃天意。”当下修书，与太平军约定内应时间，交下书人带回。书尚未毕，人报曾璧光到，唐炯忙让下书人回避，已是不及。曾璧光带十多名亲卫闯进帐来，一把抢过案上书信看毕，大骂唐炯，捉了唐炯，又命左右去拿下书人，不知下书人已趁众人不备偷转到曾璧光身边，一手挽住曾璧光脖子，一手掏枪顶住了曾璧光太阳穴，把他一下拖到墙边站住，喝令兵勇放了唐炯，唐炯叫入亲兵侍卫，缴了曾璧光亲兵的军械，绑了曾璧光，传齐亲信将佐，宣布投降太平军。唐炯留下部队接受改编，自与几百名将官到贵阳，唐炯兄妹相见，然后曾璧光、唐炯等人均到了开封入教导营学习。1870年4月20日，贵州全境归了太平天国，魏宣武任命赵烈文为贵州省刺史、赖文鸿为贵州省统制，与贵州省总教颜萨蕃一起组建地方各级政府及地方部队，推行太平天国各项政策。
鉴于云贵川甘四省少数民族较多，魏宣武专门成立少数民族司，以金万照为总司，马化龙为副总司，制定各项少数民族政策，予以实施，并从白旗军及马化龙回民军中抽调精锐补入野战部队，余者充入太平天国各地方部队。