Bağdat'ta doğmuştur. Babası mülkiye kaymakamlarından ve Bağdat'ın eski ve bilinen ailelerinden biri olan Alusizadelere mensup Arif Hikmet Bey; annesi ise yine Bağdat'ın ileri gelenlerinden Kahyazadeler'in kızı Sara Hanım'dır. Meşhur tefsir alimi Mahmud el Alusi Ahmet Haşim'in babasının dedesidir. Babasının Arabistan vilâyetlerindeki memuriyetleri sebebiyle düzensiz bir ilkokul tahsili gördü. Aynı sebepten dil olarak da sadece Arapçayı öğrendi. Annesinin ölümü üzerine 12 yaşında babasıyla birlikte İstanbul'a geldi. 1897'de Galatasaray Sultanîsi'ne yatılı olarak verildi. Hâşim'in sanat ve edebiyata ilgisi Galatasaray Sultanîsi'nde başlar. Bilinen ilk manzumesi "Leyâl-i Aşkım" 1901'de "Mecmua-i Edebiyye"de yayınlandı. Bu dönemde Muallim Naci, Abdülhak Hâmid, Tevfik Fikret ve Cenab Şahabeddin'in tesiri altında kaldı. Son sınıfta iken Fransız şiirini ve sembolistleri tanıdı. Bundan sonra kendi şahsiyetini gösterdi ve ilk şiirlerini kitaplarına almadı. 1905 - 1908 yılları arasında yazdığı ve Piyâle kitabına aldığı "Şi'r-i Kamer" serisindeki şiirleri hayal zenginliği, iç ahenkteki kuvvet ve büyük telkin kabiliyeti ile dikkat çekti ve beğenildi. 1909'da kurulan Fecr-i Âtî'ye girdi. 1907'de mezun olunca Reji İdaresine memur olarak girdi. Bir taraftan da Mekteb-i Hukuk'a devam etti. I. Dünya Savaşı'ndaki askerliği (1914 - 1918) sırasında Çanakkale Cephesinde bulundu. Ayrıca Anadolu'nun çeşitli yerlerini görme fırsatı buldu. 1924'te Paris'e, 1932'de de hastalığı sebebiyle Frankfurt'a gitti. Çeşitli yerlerde memur olarak çalışan Ahmet Hâşim, daha çok öğretmenlik yaptı. Sanâyi-i Nefise Mektebi'nde (Güzel Sanatlar Akademisi) mitoloji dersleri hocalığı ve Mülkiye Mektebi'ndeki Fransızca öğretmenliği görevlerine ölünceye kadar devam etti.
"Edebiyatı ideolojinin değil, estetiğin emrine vermek." Prensibinden hareket eden Fecr-i Âtî grubunun yayın organı Servet-i Fünûn dergisinde şiirler yayınladı ve Servet-i Fünûn - Edebiyat-ı Cedide - topluluğuna yapılan hücumlara makaleleriyle katıldı. 1911'de yayınlanan Göl Saatleri adlı şiirleriyle haklı bir şöhret kazandı. Fecr-i Atî dağıldıktan sonra siyasi ve edebî akımların dışında kendisine has bir şiir ve nesir anlayışının tek temsilcisi olarak kaldı.
Dış dünya gözlemlerini kendi prizmasından geçirerek anlatır; sonbahar, akşam kızıllığı ve karamsarlık önemli temalardır. Ahmet Haşim fıkraları, denemeleri ve gezi yazılarıyla da önemli bir yazardır. Düz yazılarında dili sade ve oldukça başarılıdır. Mezarı Eyüp Sultan Camii yakınındadır.