六月二十五日，李世民因高士廉致仕一事烦恼，想到凌烟阁二十四位功臣，现在死的死，退的退，甚至还有像侯君集一样谋反被杀的，留在朝廷做事的只剩下长孙无忌、房玄龄、唐俭等寥寥数人而已。于是，他就召长孙无忌、房玄龄、唐俭、袁天纲（高士廉女婿）进宫下围棋。
在棋局里，是由李世民与唐俭对弈，李世民用白棋子先行，唐俭用黑棋子。长孙无忌、房玄龄、袁天纲在一旁观棋。
当对弈开始后，李世民与唐俭的眼神凝重而专注，只听见叮叮咚咚的棋子落子声在大殿内回荡，一场犹如战场厮杀的紧张对决开始。黑白两色的棋子在棋盘上不断落下，棋局如同战场局势一样变幻，君臣两人的杀机交织在一起，双方都精心设计着各自的攻防策略，每一次下子都如同挑战命运的冒险，两人目光炯炯，深思熟虑，各自思考下一步的着法。
下了好一会儿，棋盘上黑白相间的棋子形成了错落有致的格局，两人局势的变化在棋盘上展现出来，每一个眼位、劫争都体现了他们的智谋和杀伐果决的意志。围棋对弈的激烈场面让旁观者都屏息凝神，长孙无忌、房玄龄、袁天纲在棋盘边看得都跃跃欲试，沉浸在棋局中。
李世民一边落子，一边赋诗一首《五言咏棋》：
“手谈标昔美，坐隐逸前良。
参差分两势，玄素引双行。
舍生非假命，带死不关伤。
方知仙岭侧，烂斧几寒芳。”
长孙无忌与房玄龄纷纷夸赞道：“好诗！”
这时，李世民看到棋局上自己略胜唐俭一筹，便龙颜大悦，再赋诗一首：
“治兵期制胜，裂地不要勋。
半死围中断，全生节外分。
雁行非假翼，阵气本无云。
玩此孙吴意，怡神静俗氛。”
又下了好一会儿，双方对弈进入最后阶段，棋盘上已经布满了棋子，黑白两方之间的较量越发激烈，双方的攻守虚实交错，战局渐渐趋于唐俭一方占上风。只见唐俭一改落下风时的焦虑不安，现在落棋子时信心十足、得意洋洋；而李世民在落子时，也不再意气风发地赋诗，而是渐渐地眉头紧锁、如履薄冰，手指微微颤抖。当最后一步棋落定，唐俭胜！李世民惜败。
作为胜利者唐俭的喜悦，与作为失败者李世民的无奈情绪在空气中交织。这时候，唐俭得意洋洋的神情使得李世民大为生气，随即将手中的一颗未下的棋子抛在棋盘上，当即恼怒地下诏：“将唐俭贬为潭州刺史，即刻赴任！”。
唐俭听罢，顿时没有了眉飞色舞的神情，吓得赶紧拜伏于地，高喊道：
“臣万死，请圣上息怒。”
长孙无忌、房玄龄、袁天纲都被这突如其来的场面震呆了，大气都不敢呼，整个大殿都静悄悄的。
须臾之后，李世民在余怒未息的情形下，对长孙无忌、房玄龄、袁天纲说道：“前日御史大夫韦挺弹劾唐俭，说他位居高官，常常耽误公事而去饮酒作乐，甚至为了谋私利，他托盐州刺史张臣合购买其养的羊。今日唐俭下围棋时不尊重朕，朕想杀了他，卿等要替朕作证。”
长孙无忌、房玄龄都唯唯诺诺地答应着。
但唯有袁天纲拜伏于地说道：
“臣认为唐俭确实有罪，罪在两条：一是，贞观四年差点成了大唐的郦食其；二是劝谏圣上不要过度游猎。”
袁天纲说的两个史实：一是，贞观四年（公元630年），唐俭出使突厥劝降颉利可汗。而唐军主帅李靖趁着突厥军队受降松懈时，竟然以“将在外，君命有所不受。” 的理由，效仿楚汉相争时期韩信趁谋士郦食其去劝降齐王田广的时机，率领汉军去偷袭齐军的先例。李靖如法炮制地不顾唐俭死活，率领唐军去偷袭突厥军队，将突厥军队消灭，活捉了颉利可汗，还好命大的唐俭从乱军中安全脱身逃出来。
二是，贞观五年（公元631年），唐俭随从李世民狩猎，一群野猪从林中冲出，李世民射出四支箭，射杀四头野猪。有一头野猪唐突到李世民马前，甚至将要触及马镫，唐俭不顾性命地及时下马搏击，李世民才有空拔出剑斩杀野猪，李世民还笑着对唐俭说：“你没见过朕上阵杀敌吧，为何如此担心？”
唐俭回应道：“汉高祖刘邦在马上得天下，而不在马上治天下。圣上以神武平定天下，怎能还逞雄于一头野猪呢？”
唐太宗为此而停止狩猎。为感谢唐俭护驾有功，下诏命其子唐善识娶豫章公主为妻。
李世民听罢袁天纲的话非常恼火，气得将前面的棋盘摔碎在地上，拂袖而去。长孙无忌、房玄龄、唐俭都吓得拜伏于地有一会儿才起身，而袁天纲却神情自若。
离开皇城后，唐俭仍惶恐不安，他拉着袁天纲的手，硬是邀请袁天纲去他的国公府一叙。等进了国公府的厅堂，唐俭竟然不顾尊卑有别，向袁天纲深深地鞠了一躬，诚挚地说道：
“今日在宫中，感谢贤