司馬遷的《史記》讓荊軻等刺客名揚天下。作為第壹部用文字贊美俠客的作品，毫不誇張地說，《遊俠傳·刺客列傳》是武俠的開端。《遊俠傳》以傳記的形式記錄了許多真實的刺客遊俠的英雄事跡，從中出現了描寫和歌頌俠客的文學作品。雖然魏晉時期盛行的神魔小說也被視為武俠小說的範疇，但在今天的思維中，武俠小說中壹般是沒有鬼怪的，很多人把有鬼怪的小說歸為童話或者玄幻小說。
如果說先秦兩漢乃至魏晉是奇奇怪怪的，為武俠小說的出現構築了堅實的基礎，這是以前玩過的；然後當唐傳奇率先出現在文學史上的時候，武俠小說才真正開始萌芽。在唐傳奇中，《甘澤歌謠的紅線》被稱為中國第壹部武俠小說。傳說是大師，其中《聶隱娘》、《昆侖奴》等佳作更是家喻戶曉。其中聶隱娘的練武之法對後世影響深遠，很多武俠作品都沿襲和模仿這種方式。
唐傳奇及之後的宋元明清武俠小說，講究的是消暴安良，以快感表達恩恩怨怨的思想，壹直延續至今。那時候，俠客是人民心中的英雄。他們可能不會被權貴所容忍，但是他們深受人民的愛戴。他們經常對帝國政治有不同的看法。他們行走江湖的原因各不相同，靠自己的努力挑戰權貴邪惡，幫助有需要的人。這壹開始並沒有錯，但也有因為所謂的對感情的執著和忠誠而迷茫的時候，他們可以僅僅為了償還或者報復而無視國家法律和他人的利益。這就是韓非子說的:“俠以武違禁。”但由於這些人很少與普通人發生矛盾，反而他們的英雄事跡和扶危濟困得到了民眾的肯定。
宋代以後，以俠義形式出現的小說少了，因為文言俠義逐漸衰落，白話公案、俠義小說成為中下層勞動人民中流行的文學樣式。對於中下勞動人民來說，白話文通俗易懂，所以明清時期白話小說開始流行。當然也有很多文人根據唐朝的傳說進行創作，但並不是主流。比如的《傾城劍舞》、宋濂的《秦時錄》、宋的《劉善東》都是很好的作品。
明清時期，武俠小說多以故事的形式出現，如《清代貓王》、《兒女英雄傳評點》等，奠定了武俠小說的基本形式和模式，但真正發展起來並呈現出繁榮景象是在民國時期。
古代武俠小說中不乏佳作，文筆古樸優美，人物性格突出，追求自由和平的思想強烈。可惜今天已經很少有人關註這些作品了，電影電視劇也是以當代武俠作品為主。