查理于742年出生在法兰克王国埃斯塔勒市一个贵族家庭。祖父是墨洛温王朝大权实握的宫相。查理的父亲丕平三世原为法兰克王国大臣，在教皇的支持下，废黜了墨洛温王朝的末代国君希尔德里克三世，取而代之，创造了卡洛林王朝。这使查理继任后继续与罗马教皇保持联盟关系。
768年，丕平病逝，按照遗嘱划分遗产，10月9日，查理的弟弟卡洛曼（Carloman）在苏瓦松（Soissons）即位，查理也在努瓦永（Noyon）登基为王。771年12月4日，卡洛曼去世，查理合并了他的全部国土。
在查理以前，法兰克王国的统治只限于高卢的一部分，查理通过各次战争，领土几乎扩大了一倍。相当于今天的法国、瑞士、荷兰、比利时、奥地利以及德国、意大利的大部分地区。
