分析可知,①正确,我国政府依法行政,规范行使行政权力;②错误,“就能”的说法太绝对;对权力进行制约和监督,要求政府严格依法办事,积极推进政务公开,故③正确;对政府的权力进行制约和监督,要求健全行政监督体系和问责等制度,故④正确。
故选:C。