潘思矩為雍正二年（1724年）進士，改庶吉士。雍正三年（1725年），分配至刑部學習。雍正六年（1728年），散館補為刑部主事。累遷郎中。雍正八年（1730年），授廣東南雄知府。十三年（1735年），遷海南道。乾隆四年（1739年），遷按察使。乾隆七年（1742年），遷浙江布政使。乾隆十一年（1746年），授安徽巡撫。之後調任福建巡撫。乾隆十七年（1752年）卒。乾隆帝命於京師賢良祠祭祀。謚敏惠。