裴行俭生于公元六一九年(唐高祖武德二年)，是唐代绛州闻喜县(今山西境内)人。出生于仕宦之家，在他出生不久，其父被害去世。
　　裴行俭自幼天资聪明，刻苦好学，看了很多书，写得一手好字，又通晓武艺。稍大后便被被举为明经（举明经是唐代选拔人材的一种制度，是和考进士相辅而行的。当时，以诗书取才的叫进士，以经义入仕的，就叫做明经）。
　　不久，裴行俭就到军队里服役，担任左屯卫仓曹参军，就是做后勤部门的参谋。他的办事才能很受大将军苏定方的赏识。于是，苏定方就把自己数十年来积累的用兵作战的经验全部传授给他，这给裴行俭以后的建功立业、保卫边疆打下了良好基础。
　　公元六五七年(唐高宗显庆二年)，裴行俭升为长安令。不久，调往外任为西州都督府长史。当时的西州，就在今天的吐鲁番一带。长史就是一州的最高武官。
　　到了公元六五年，裴行俭升任安西大都护，负责处理整个西域的军政事务，当时，安西大都护的驻所就设在龟兹(今库车一带)。裴行俭为官清正廉洁，很受西域各族人民的爱戴。就连西域各部落的首领酋长们都很仰慕他的名声，愿意让他来领导。
　　因为他对西域管理有方，功绩显著，不久，唐高宗就把他调回京师长安，担任中央政府的吏部侍郎。   
　　公元六七七年(唐高宗仪凤二年)，西突厥的两个部落酋长阿史那都支和李遮訇不顾祖国的统一和民族的团结，阴谋举行叛变，并且勾结吐番(读“拨”)侵逼安西四镇，眼看就要堵塞东西交通，割断唐朝中央政府和西域地方的联系。朝廷的大臣们听到这个消息以后，大多数人都主张发大兵讨伐两个叛徒，裴行俭见到这种情况，就向朝廷建议说：  “这件事何必兴师动众呢！最近，我听说大食(即波斯)国王死了，他的儿子泥湟师还在我们这里，何不护送他回国呢！到波斯，正从这两个叛徒的所在部落经过，到那里，可以见机行事，就便捉拿叛徒。”  
　　唐高宗采纳了他的建议。考虑裴行俭在西域做官时期和西域人民相处得很融洽，交往深厚，就派裴行俭承担这个任务。   
　　裴行俭接受使命，带领人马护送大食的王子上路了。一路上晓行夜宿，历尽了千辛万苦，很快就到了西州。西州各族官吏和人民，一听裴大都护回来了，都不约而同地出城迎接。裴行俭一见人们这样真诚热情地接待他，他就直言不讳地说明了来意。西州人民一听，当即就有一千名青壮年自报奋勇，愿意跟裴行俭去捉拿叛徒。
　　为了不打草惊蛇，裴行俭先把大家安顿下来，一面练兵，一面积极和焉耆、龟兹、疏勒、于阗四镇各部落酋长取得联系，请他们密切配合，约好等过了暑天，共同行动，去捉拿叛徒。
　　到了秋天，裴行俭就带领人马向叛徒阿史那都支的部落靠近，阿史那都支的驻地就在今天的额敏一带。当叛徒发觉，他们已经逼近了阿史那都支的营帐。弄得叛徒毫无准备，只好故作镇静带领子弟和亲近出来迎接。裴行俭一见叛徒，怒不可支，一声令下，将叛军全部捆绑起来。接着，他派人把这个消息去告诉李遮匐，晓以大义，叫他放下武器，前来投降，李遮匐见大势已去，别无出路，也只好归降了。
　　这时，被迫胁从阿史那都支和李遮匐一起造反的各部落群众，纷纷前来诉苦，揭发叛徒的罪行。就这样，裴行俭没动干戈，就平定了两起叛乱，重新安定了祖国西部边陲的社会秩序。裴行俭凯旋回京以后，唐高宗夸他能文能武，智勇双全，任命他做礼部尚书兼检校右卫大将军。
　　 裴行俭知人善用，凡是遇到有德才的，不分民族，他都尽心培养，大胆提拔。象唐朝名将程务挺、张虔勖、王方翼、郭待封、李多祚、黑齿常之，都是经他培养、提拔起来的。其中李多祚是秣揭酋长，黑齿常之是朝鲜百济人。
　　裴行俭平时对待下级非常宽厚。有一次，皇帝赐给他一匹骏马和一付极为珍贵的马鞍，他派令史去取，令史为了早点回来，把鞍子备在马上，骑着马飞快地往回跑，一不小心，马跌倒了，把这付鞍子摔得七零八碎。事发后令史畏罪逃跑，他就派人把令史找回来，对他宽和地说：“你为什么这样轻视自己呢?一时不慎损坏了东西，本来算不了什么大错，可是，逃跑就不对了。”他把令史又收留下来。
　　裴行俭在生活上也很注意俭朴，皇帝有所赏赐，他常常拿出来分给部下，自己除了研究兵法以外，就是练习书法，埋头著作。因此，很受部下敬仰。
　　裴行俭活了六十四岁，他是一个政治家，也是一个杰出的军事家，又是著名的书法家。他为唐朝制定了科举制度和官吏考核制度，并著有文集二十卷，兵法四十六诀，他草写的隶书，可以不择笔墨，写出来的字迹形体鲜妍瑰丽，他的书法与当时的大书法家虞世南、褚遂良等人齐名。真可谓是能文能武，有了他，还有谁能再说：“百无一用是书生”！