早在1871年，沙皇俄国乘阿古柏匪徒侵犯我国南疆和乌鲁木齐之机，派兵侵占了伊犁，宣布“伊犁永远归俄国管辖”，但沙俄驻华公使为了掩盖其强盗面孔，也不得不在照会清朝总理各国事务衙门时说些外交辞令，称这次行动是为了“安定边疆秩序”，“只因回乱未靖，代为收复，权宜派兵驻守，俟关内外肃清，乌鲁木齐、玛纳斯各城克服之后，当即交还”。俄方以为乌鲁木齐很难收复，声称将来归还伊犁，不过是掩人耳目的谎言。不料，清军果真收复了乌鲁木齐、玛纳斯等城。后来俄方虽考虑归还伊犁的问题，但又表示，在获得中国在通商、割地、赔款和再次调整天山以北边界等方面做出让步后，才能交还伊犁。左宗棠明知沙俄借归还伊犁进行敲诈勒索，但还是把希望寄托在谈判上，通过外交途径，强调俄方有归还许诺在先，或许可以和平解决伊犁问题。
　　但事实井非如此，沙俄一边谈判，一边唆使白彦虎和伯克胡里不断武装侵扰中国边境，制造事端，进行外交讹诈。并公然野蛮地恫吓说，对中国人“要举起拳头”，要“把剑拔出来”，“用大炮来提出明确的要求”，“用枪口来发言”。还威胁说，如不满足他们的要求，“就宣布条约被撕毁，不交还伊犁”。沙俄的强盗行径和无赖手段，使左宗棠怒不可遏，拍案而起。他说伊犁之事，“先之议论，尚是空谈；继之兵威，乃有结束也”，“伊犁我之疆索，尺寸不可让人”。继而，这位年近古稀的老人，朗朗宣称：“壮士长歌，不复以出塞为苦也，老怀益壮。”
　　1880年5月，左宗棠毅然移师关外，设行营于新疆东部重镇哈密。
　　哈密是联系西域与中原的交通枢纽，是东西交通要冲，素有“中华襟喉”，“嘉关锁钥”之称，为历代兵家必争之地。
　　左宗棠雄踞新疆东大门，对中俄谈判的中方代表是一个巨大的精神力量，对沙皇俄国则是一块卡进咽喉的硬骨头。这时，中方更换了谈判代表，派出驻英法公使曾纪泽为钦差大臣，赴俄谈判。1880年7月，曾纪泽到达彼德堡。谈判一开始，俄方就设置重重障碍，无理取闹，使谈判陷入僵局。
　　左宗棠出关时，让兵士“舁榇以行”，即抬着棺材行军。与前次征讨阿古柏时，他以马革桐棺出行一样，表现了他誓死决胜的大无畏英雄气概。他在哈密运筹帷幄，积极筹备战事。如果曾纪泽与俄人谈判破裂，他就向伊犁发动进攻，把沙皇俄国侵入伊犁的敌寇赶出境外。
　　左宗棠在哈密生活了四个月时间，他大力改善天山运道，修筑盘曲山路；多方筹集粮秣，发动军民屯田垦荒，兴修水利，增粮积谷，减轻内地长途调运军粮的困难。在哈密大营加紧训练，提高部队战斗力。据记载，上海“泰来洋行”的德国技师福克，曾在哈密与左宗棠会面，他观看了部队的演练，见清军纪律严明，操练得法，军火枪炮也不落后，于是感慨地说：“清军若与俄国交战于伊犁，必获全胜。
　　左宗棠胸怀开阔，不仅志在夺回失去的疆土，更悉心于经营边陲，美化西域。左宗棠两次率部西征，一路进军，一路修桥筑路，沿途种植榆杨柳树。不出几年工夫，从兰州到肃州，从河西到哈密，从吐鲁番到乌鲁木齐，凡湘军所到之处所植道柳，除戈壁外，皆连绵不断，枝拂云霄，这就是被后人所称的“左公柳”。
　　清代诗人肖雄有一首名诗，专为咏顼“左公柳”而作：
　　　　十尺齐松万里山，
　　　　连云攒簇乱峰间。
　　　　应同笛里迎亭柳，
　　　　齐唱春风度玉关。
　　左宗棠的同乡及暮僚杨昌浚，应邀西行，见道旁柳树成林，即景生情，吟七绝一首：
　　　　大将筹边来肯还，
　　　　湖湘于弟遍天山。
　　　　新栽杨柳三千里，
　　　　引得春风度玉关。
　　正当左宗棠在哈密积极准备收复伊犁的反侵略战争时，在投    降派的破坏下，清政府动摇了武力攻克伊犁的决心，以“现在时事乱亟，俄人意在启衅，正需老于兵事之大臣，以备朝廷顾问”为由，下诏将左宗棠从新疆前线调回北京。左宗棠将钦差大臣关防移交给刘锦棠后，怅然离开哈密。 正是：“将军一去，大树飘零。”
　　左宗棠被调离前线，本是朝廷改变武力收复伊犁的作法。不    料却给作贼心虚的沙俄造成错觉，认为清朝召回钦差大臣是为了    决定对俄战争事宜。沙俄刚刚结束俄土战争，大伤元气。一方面强打精神，让俄方谈判代表放风说，“只有痛打他们一顿，才能使他们老实下来。”私下里却说，“但是我得承认，这种必要的做法，对于我们涸竭的财政来说是十分困难的。”这时的沙俄其实已是色厉而内荏，左宗棠的突然回京，使沙俄不摸底细，十分震惊，所以在谈判桌上，不得不有所收敛。
　　1881年2月28日，左宗棠返回北京。就在几天前的2月24日，   曾纪泽与俄方代表订立了《中俄伊犁条约》和《陆路通商章程》这一条约是明显的不平等条约。
　　沙俄归还伊犁，但却割去了伊犁霍尔果斯河以西、伊犁河以    北的大片领土，中国赔偿俄国兵费九百万卢布(折合白银五百余    万两)；俄商在中国新疆各城贸易，暂不纳税，对于伊犁居民，规定“愿仍居原处为中国民，或愿迁居俄国入俄籍者，均听所便”。 虽然这一条约是沙俄强加给中国的，但曾纪泽确实也尽了最大的努力，中国收回了伊犁九城及特克斯一带地方。左宗棠说，其原因主要是害怕中国出兵“径取伊犁，彼中草木皆兵，遂弭首归诚，退就议和”。但对这一不平等条约大为不满，他说：“伊犁仅得一块荒土，各逆相庇以安，不料和议如此结局，言之腐心。”
　　但无论如何，曾纪泽在办理弱国外交时，比前次卖国派与俄签定的《里瓦几亚条约》，还是为祖国争回了一些权益。
　　在外寇长期奴役之下，新疆大地满身疮痍，民生凋蔽。十室九空，土地荒芜，水利荒废，一片荒凉景象。
　　左宗棠有先见之明，在收复失地过程中，设立善后局和分局，重建地方秩序，医治战争创伤，发展生产，恢复经济。各地善后局在安置难民、招民垦荒时，一方面招抚当地流散人员，给予土地耕种，另一方面招募内地人民，收留清军中老弱士卒，鼓励地方军队中有妻室者解甲归田。务农人员的增加和内地先进农业技术的传播，给新疆各地恢复和发展生产带来了活力。
　　大规模发展生产，必须全面整治水利。左宗棠始终把“兴修水利以除民患”，列入“最为切要之务”。新疆各地全面整修旧有渠道灌溉系统，清理淤毁河道，同时还兴建了不少新的水利工程。
　　荒地开垦为良田，戈壁变成了绿洲，新疆各族人民过上了安居乐业的太平生活。
　　这些举措为稳定局势、恢复经济发挥了作用。但这毕竟是临时性和局部性的成果。要在各地实施行政管理职能，建立有效的统治，就必须对新疆前景做出通盘筹划。为此，左宗棠提出在新疆建立行省制度的主张。他说：“为划久安长治之策，纾朝廷西顾之忧，则设行省、改郡县，事有不容己者。”
　　 但此时左宗棠已不在新疆，而是身居两江总督的高位。1882年，左宗棠再次向清朝政府奏请新疆建省，提出乘新疆收复伊始和西征大军未撤之威，不失时机地建省设县。这样顺应民心，有利于百废待举，恢复元气，实行切实有效的管理。
　　左宗棠恳切陈词，终于说服了清朝政府，同意着手在新疆建省。
　　时任新疆巡抚的刘锦棠，制订了建省的具体方案。省会设于迪化(今乌鲁木齐市)，下设镇迪道、阿克苏道以下设府、厅、州、县。
　　伊犁仍设将军府，但不再统帅全疆的军政事务，政治中心移至迪化。
　　清朝政府正式批准了新疆设省的方案。
　　1884年11月16日，是新疆历史上一个重要的日子。户部奏请添设新疆巡抚、布政使各一人，除刘锦棠任巡抚外，又调甘肃布政使任新疆布政使。从此，新疆省正式建立。
　　新疆省实现了新疆与国内其他行省制度的统一，使地方封建割据势力受到重挫和削弱。同时取消了新疆与全国各地人民来往的限制，使新疆进入了一个新的历史发展时期。