1933年生于山形县。1951年在富士胶片(Fujifilm)主办的“富士摄影大赛”中荣获学生组冠军。1954 年大学毕业于东京写真短期大学,于1956年举办第一次个展《东京的美国女孩》。1957年参与摄影评论家福岛辰夫策划的展览《10人之眼》,因而偕同川田喜久治、佐藤明、丹野章、东松照明、奈良原一高等人共同成立摄影师团体“VIVO” ,与当时主流的“写实主义摄影运动”抗衡,推出更为“个人”、更为“主观”的摄影风格。
细江自摄影生涯初始期的50年代起,便在人物描写上留下重大成果,1960 年的个展《男与女》,荣获日本写真批评家协会新人赏。1963 年拍摄三岛由纪夫的作品《蔷薇刑》,在艺坛得到广大回响,荣获日本写真批评家协会作家赏。1970年拍摄以秋田农村为舞台的舞蹈家土方巽,作品《镰鼬》荣获艺术选奖文部大臣赏。1998 年获颁紫绶褒章,2003 年得到英国皇家摄影协会创立150周年特别奖的表扬,2007 年获颁旭日小授章,2008 年荣获每日艺术赏,2010年获日本政府选为文化功劳者,2017 年获颁旭日重光章,得到日本海内外高度评价。