匈奴人又举兵侵犯汉朝边境，烧杀抢掠。残害汉民。汉武帝知道张骞熟悉道路，了解地形，就委派他和飞将军李广率领一万名骑兵，组成了东路大军去配合霍去病率领的西路大军夹击匈奴，但是由于张骞求胜心切，只顾追击小股敌军，耽误了与李广会合的时间，结果伤亡惨重，大败而归。张骞贻误战机遭到失败，按当时的军令应当斩首，但由于他出使西域立过大功，所以只被罢了官，贬为平民百姓。后来，西汉政府又派卫青和霍去病各率五万人马夹击匈奴，取得了辉煌的胜利，迫使匈奴人退出了河西走廊和祁连山地区。从此，通往西域的大门才算敞开了。在这种情况下，具有战略远见的汉武帝知道只有联络西域国家，结好抗击匈奴的联盟，才能从根本上消除匈奴人的威胁；于是他又召见张骞，经过缜密的研究，决定由张骞第二次出西域，联络乌孙国共同抗击匈奴。 
　　乌孙也和大月氏一样，居住在祁连山下的敦煌一带，后来向西迁移到伊犁河一带，并建成了一个强大的国家。乌孙目前国王叫猎骄靡，他血气方刚，对匈奴人的百般欺凌毫不示弱，这在当时匈奴人称王称霸的时候，的确是一支可以联合的力量。一切准备就绪之后，于公元前119年，张骞第二次出使西域。这时候，由于西汉政府国势强大，经济力量雄厚，所以张骞率领的使团阵容庞大，共有三百多人，六百多匹马，其中副使就有十几位。除了每人两匹马，以便路上轮流骑乘之外，还有供使团使用的牛羊一万多头，牛背上驮载着送给乌孙和其他各国的金银首饰和绫罗绸缎，羊只是预备路—上食用的。因为准备的比较充分，加上张骞熟悉地形和道路，所以沿途没有遭到太大的障碍，几个月后就到了目的地——乌孙国。
　　当张骞率领外交使团来到乌孙国的国都赤谷城的时候，既看不到城墙和街道，也没有房屋和楼字，原来这里是一条赭红色的狭长山谷。山谷里疏星散落布满了穹庐式的毡房，无论男女老幼都骑着马，很少有人徒步。张骞一行的出现，使这些乌孙人感到新奇，一下子有很多人围观他们。张骞立即下马施礼，并用当地语言向他们询问王宫的所在地。  这时，有一位中年男子自告奋勇为他们当向导去见国王。乌孙，国王的驻地座落在峡谷中间一个半坡的松树林里，远远望去只见数座金黄色的高大园顶，驻地四周插满了五颜六色的旌旗，加上碧绿树海的陪衬，显得格外宏丽壮观。那位向导进去通报之后，不六一会儿，就听得号角齐鸣，只见走来一队披甲挎刀的武士，把张骞等正副使节领进宫去，让其他人员在外等侯。
　　张骞进宫之后，只见乌孙王虽然年过半百，  仍仪表堂堂，两眼炯炯有神，其威武不减青年。他知道这就是乌孙国内具有至高无上权力的国王猎骄靡了。可是万万没有想到，猎骄靡竟然对汉朝使臣摆起大国君主的架子，命令张骞按照乌孙人的习俗对他们行“嫠面涂炭”的大礼。所谓“嫠面涂炭”就是要把脸皮割破再涂上黑炭色向国王叩头朝拜。张骞对这种蔑视汉王朝的无礼刻求，便义正严词地抗议道：“我乃是汉朝天子委派的钦差大臣，奉命千里迢迢来拜见大王，是为了加深友谊。现在大王用不平等的态度来接待我们，这不仅失去了友好的意义，而且将会继续隔绝各国之间的往来关系，这样的参拜大礼我们是不能照办的!”乌孙王听完这番话后，哈哈大笑起来，改变了态度说：“久闻张公大名，果然名不虚传。得罪得罪，孤王失礼了!”说完后便请张骞等人入座，重新以贵宾的礼节相符。接着张骞便让随从抬进珍贵信礼品献给乌孙王，其他的王公大臣也人人有份。在会谈中双方的气氛都很融洽。当谈到要乌孙国迁回敦煌故土，汉乌两国结成联盟以便共同抗击匈奴这个实质性问题时，猎骄靡却推托其词，不予明确答复。后来双方又陆续会谈了几次，尽管猎骄靡有思念故乡之心，但总是面有难色迟疑不决。原来猎骄靡有两点顾虑：第一，不了解汉朝的经济和军事实力，恐怕草率签订盟约，会招致匈奴人更凶残的报复；第 二，不愿意舍弃这块水草丰美的地盘。张骞见此情景，也不好强求，便派出几位副使到邻近的各国去进行访问和联络活动，自己留下来等侯乌孙国王的答复。张骞在乌孙等了好几个月，虽然每天都受到上宾的待遇，但始终得不到真切信息，只好向乌孙王辞行，准备回国。乌孙王也不强留他们，挑选了几十匹上等好马。让张骞带回去送给汉武帝作为答谢礼物。临行时，猎骄靡还派了几名使臣随张骞去长安。使臣回到本国向猎骄靡汇报了汉朝的繁荣富足和兵多将广等情况，才使乌孙王坚定了与汉朝友好的决心。
　　从这以后，他先后迎娶了汉朝的细君公主和解忧公主做为夫人。在军事上，两国也结成了联盟，共同挟击匈奴，并取得了几次大的胜利。使匈奴人在西域地区再无法称王称霸为所欲为了。后来解忧公主的儿孙都当了乌孙王，为汉朝和乌孙两国人民世世代代的友好互助，奠定了坚实基础。
　　当张骞回到长安后的第二年(也就是公元前114年)，这位不辞劳苦，富有献身精神的探险家，闻名中外“丝绸之路”的开拓者，不幸因病逝世。汉武帝因为失去一位功勋卓著的外交家而难过了许久。
　　又过了一段时间，张骞在乌孙时派到西域各国去的友好使节也各自带着西域各国的使节陆续回到了长安，加深了他们对汉朝的友谊和相互了解。从此以后，西域各国的使臣和客商络绎不绝地来到长安。他们把西域丰富的物产，如骏马、骆驼、苜蓿、葡萄、胡麻、西瓜、大蒜、驼鸟、大象等运到汉朝；也把汉朝的丝绸、瓷器、茶叶等各种名贵物品运到西域各国以及欧洲和非洲。过了不久，西汉政府又在西域地区设置了西域都护府，并派兵保卫这条连结亚、欧、非三大洲陆路交通。两千多年以来，这条举世闻名的“丝绸之路”为促进东西方的物质文化交流起到了巨大地推动作用。而张骞这位百折不挠、为传播中外人民友谊的光辉名字，也随着“丝绸之路”的日益深远和不断扩展而名扬四海，驰誉古今。