筆墨和硯的出現幾乎同時起源於新石器時代晚期。作為耗材，在人工制墨發明之前，壹般使用天然墨水或半天然墨水作為書寫材料。據《蜀古書法匯編》記載，興義開始制墨，字是用黑土、煤煙、土制成的。也就是說，人造墨水的歷史始於周宣王。興義制墨也是人工造墨的開始。人造墨水的出現，在質量、使用價值和審美上都大大超越了天然墨水，於是天然墨水逐漸被淘汰。到了漢代，墨的原料開始取自松煙，其次是漆煙和桐煙。壹開始是用手捏的，很松。後來，它被成型，墨錠是通過膠合，混合和蒸的過程制成的，這使得墨水堅固耐用。
根據現有史料，徽墨的制作可以追溯到唐末。由於安史之亂，墨工北部大量人口南遷，導致了制墨中心的南移。晁和他的兒子，益州人，逃到了長江以南。看到這裏茂密的松林和清澈的溪流，他們定居下來，重新開始了他們的制墨事業。他創造的富墨肌，油膩膩的，油光水滑如漆。
南唐時，後主李煜得到了Xi的墨寶。於是，他任命自己的兒子丁為墨官，並賜國號李，以示酬謝，家族從此改姓李。從此，漳州的李墨名揚天下，有黃金易得，李墨難得的美譽，全國制墨中心也南遷漳州。此後，墨家大師相繼湧現，如耿士、張裕、盤古、伍茲、戴彥恒等。，徽州墨業進入了第壹個全盛時期。
宋元時期，墨工在前人的基礎上加入藥物成為藥墨。人們不僅使用了墨水，而且開始藏墨，於是墨水開始向工藝品方向發展。
明清時期，徽墨的生產進入了壹個繁榮的階段。隨著社會經濟的快速發展，產量激增，制墨技術也不斷提高。水墨圖案的繪制和雕刻以及漆盒的裝飾和制作達到了頂峰。名工名品層出不窮，形成了以、、方為代表的休寧學派。清代徽墨生產分為曹素功、王傑安、王金生、胡開文四大著名體系，其中王金生、胡開文均出自績溪縣。他們在原有的基礎上對徽墨進行了改進和創新，最終使其成為壹種猶如黃金的文學瑰寶。其中龍香墨、天辰墨、仙桃核墨、魏紫星墨、魚戲蓮墨、西湖十景墨、土墨等都是絕世之作，使徽墨具有如漆落紙、色澤深、經久不衰、紙筆不粘、香味濃郁、質感油膩的特點。這壹時期的徽墨按原料不同還可分為松煙、油煙、漆煙、超級漆煙，其中最珍貴的是超級漆煙等高檔油煙墨，散發著紫玉光澤，可用於書法。用在繪畫上，濃而不滯，淡而不灰，層次分明，因此備受歷代書畫家的推崇。
清末民初著名的水墨木雕藝術家胡也是績溪縣上莊人。他們是清代和民國時期徽州水墨制作技藝傳人的代表，他們的傳人至今仍在當地傳承著徽州水墨制作技藝的精髓。