IBM的歷史可以追溯到電子計算機發展的幾十年前。在電子計算機發展之前，它操作穿孔卡片數據處理設備。IBM於6月19115日在賓漢姆頓以西幾英裏的紐約恩迪科特註冊為CTR公司。三家獨立公司合並成立CTR公司，分別是:列表機公司(1896成立於華盛頓)、計算表公司(1901成立於俄亥俄州代頓)和國際時代唱片公司(1900成立於紐約恩迪科特)。當時，列表機公司的總裁和創始人是赫爾曼·何樂禮。合並背後的關鍵人物是金融家查爾斯·弗林特(Charles Flint)，他召集三家公司的創始人提議合並，並在CTR工作，直到1930年退休。
托馬斯·J·沃森是IBM的創始人。1914年任CTR總經理，1915年任總裁。1917年，CTR以國際商業機器有限公司的名義進入加拿大市場，1924年2月，CTR更名為國際商業機器公司(IBM)。
公司並入CTR制造各種產品，包括員工計時系統，秤，自動切肉機，最重要的是開發電腦和打卡設備。
時間CTR專心做打孔卡，不再參與其他活動。
1932年，IBM投入巨資1萬美元，建設了第壹個企業實驗室。這個實驗室在整個30年代的研發，讓IBM在技術產品上領先。在整個大蕭條時期，IBM壹直在投資R&D和新產品。其產品比其他所有公司更好、更快、更可靠，因此贏得了羅斯福新政會計項目的獨家代理合同。1935年，IBM的點卡機產品已經占據了美國市場85.7%的份額。因為卡片機的大量銷售，IBM積累了雄厚的財力和強大的銷售服務能力，為日後成為計算機領域的霸主奠定了重要基礎。
IBM與中國的緣分源遠流長。早在1934，IBM就為北京協和醫院安裝了第壹臺商用處理器。65438-0936年，IBM遠東地區第壹個辦事處在上海設立，為其在中國乃至整個東亞地區的發展奠定了基礎。1937年，中國第壹個越洋電話是從IBM上海辦事處撥出的，開辟了中國與世界接軌的新途徑。