1933年生于山形县。1951年在富士胶片（Fujifilm）主办的“富士摄影大赛”中荣获学生组冠军。1954 年大学毕业于东京写真短期大学，于1956年举办第一次个展《东京的美国女孩》。1957年参与摄影评论家福岛辰夫策划的展览《10人之眼》，因而偕同川田喜久治、佐藤明、丹野章、东松照明、奈良原一高等人共同成立摄影师团体“VIVO” ，与当时主流的“写实主义摄影运动”抗衡，推出更为“个人”、更为“主观”的摄影风格。

细江自摄影生涯初始期的50年代起，便在人物描写上留下重大成果，1960 年的个展《男与女》，荣获日本写真批评家协会新人赏。1963 年拍摄三岛由纪夫的作品《蔷薇刑》，在艺坛得到广大回响，荣获日本写真批评家协会作家赏。1970年拍摄以秋田农村为舞台的舞蹈家土方巽，作品《镰鼬》荣获艺术选奖文部大臣赏。1998 年获颁紫绶褒章，2003 年得到英国皇家摄影协会创立150周年特别奖的表扬，2007 年获颁旭日小授章，2008 年荣获每日艺术赏，2010年获日本政府选为文化功劳者，2017 年获颁旭日重光章，得到日本海内外高度评价。