張充少年時不守操行，喜歡逸游不學習。後來被父親教導，修身改節，三十歲折節致力于學問，精通《老子》、《周易》，漸漸有了美好的稱譽。開始在南朝齊擔任撫軍行參軍，轉任武陵王友。當時尚書令王儉當朝主事，齊武帝想讓以張緒為尚書僕射，詢問王儉。王儉回答以張緒有清望，但是張緒的兒子多薄行。齊武帝于是中止任命。張充深為不滿，給王儉寫信，有輕慢譴責之詞。因此得罪尚書令王儉，被免官禁錮。後為司徒諮議參軍、竟陵王蕭子良賓客。出任義興郡太守，為政清靜，召回朝廷，擔任設置。南朝梁建立後，授太常卿、吏部尚書，選任官員時稱平允公正。因為他博學，梁武帝任命他為國子祭酒，他親自登堂說經。皇太子蕭統以下，都來聽講。天監十年（511年），被拜為尚書左僕射，之後出為吳郡太守。在吳郡張充體恤貧民老人，故舊欣悅。天監十三年（514年）張充在吳地去世，謚號穆。