這個成語來源于《呂氏春秋.察今》，楚人有涉江者，其劍自舟中墜于水，遽契其舟曰：是吾劍之所從墜。舟止，從其所契者入水求之。
戰國時，楚國有個人坐船渡江。船到江心，他一不小心，把隨身攜帶的一把寶劍掉落江中。他趕緊去抓，已經來不及了。
船上的人對此感到非常惋惜，但那楚人似乎胸有成竹，馬上掏出一把小刀，在船舷上刻上一個記號，并向大家說：這是我寶劍落水的地方，所以我要刻上一個記號。
大家都不理解他為什么這樣做，也不再去問他。
船靠岸后那楚人立即在船上刻記號的地方下水，去撈取掉落的寶劍。撈了半天，不見寶劍的影子。他覺得很奇怪，自言自語說：我的寶劍不就是在這里掉下去嗎？我還在這里刻了記號呢，怎么會找不到的呢？
至此，船上的人紛紛大笑起來，說：船一直在行進，而你的寶劍卻沉入了水底不動，你怎么找得到你的劍呢？
其實，劍掉落在江中后，船繼續行駛，而寶劍卻不會再移動。像他這樣去找劍，真是太愚蠢可笑了。
《呂氏春秋》的作者也在寫完這個故事后評論說這個，刻舟求劍的人是太愚蠢可笑了！
