他是江苏泰兴人，字在君，一八八七年生，十五岁就东渡日本，后来又转赴英国，一九一一年从格拉斯哥大学带着动物学和地质学两科训练回国。归途中他没有走海路直回家，而是从越南入云南，徒步考察云南、贵州、湖南三省的地质民情，一路走到长沙。他是中国近代地质事业真正的奠基人之一：一九一三年他参与创办工商部地质研究所，手把手带出中国第一批自己的地质人才，随后长期实际主持地质调查所，把一张白纸的中国地质调查做成了国际同行认可的学问。他与翁文灏、曾世英合编的《中华民国新地图》，由申报馆出版，时人称作申报地图，是多少代人案头的权威底图；他还主持调查过西南的煤铁矿藏，写下《扬子江下游之地质》等一批开山之作。他一生信奉登山必到峰头、移动必须步行，看矿从不肯坐在衙门里听汇报。
一九三五年冬，华北局势日紧，一旦北煤不能南运，即将全线通车的粤汉铁路就要断粮。他以中央研究院总干事的身份受铁道部委托，亲赴湖南调查沿线煤矿。有人劝他这种差事派人去看就行，他说，这种任务关系很大，我要亲自去看看，将来的计划才容易实行。十二月初到长沙，他先为内迁的清华选校址，又徒步登南岳；十二月七日到湘潭谭家山，旁人下到一半就退了，他执意沿四十五度的斜井一直走到一百七十米深的洞底，在高温里亲自测量煤层的倾角和厚度，采了煤样，出洞时浑身衣服湿透。
他还问得极细：煤层有多厚、煤质如何、能不能炼焦、运输是否合算，又亲自验看了井里的瓦斯和顶水。
当天他赶到衡阳，宿在粤汉铁路的宾馆。连日奔波又受了寒，夜里他关紧门窗，点燃房里的无烟煤炉想发发汗，临睡还服了安眠药。窗外风雨，烟囱的煤气排不出去，倒灌进密闭的房间。十二月九日清晨，人们破门而入时，他已煤气中毒、深度昏迷。衡阳的医生紧急施行人工呼吸，按压用力过猛，压断了他的肋骨；他一度在昏迷四十多个小时后苏醒，转入长沙湘雅医院，伤情却急转直下：折断的第五肋骨伤了胸腔，胸内积脓，又牵连脑膜。一九三六年一月五日，他在湘雅医院去世，年仅四十九岁。遵他死在哪里就葬在哪里的遗嘱，他被葬在长沙岳麓山。
胡适后来写《丁文江的传记》，说他最贴切的墓志铭，是他生前最喜欢的一句话。一个一生与岩石和煤层打交道的人，没有倒在悬崖和井下，却倒在一间门窗紧闭的客房和一连串救治的失误里，这让蔡元培、傅斯年一班朋友痛惜不已。
❝明天就死又何妨，只拼命工作，就像你永远不会死一样。❞