Apprenti graveur, il évolue vers la sculpture puis le pastel avant de remporter une bourse pour la Villa Abd-el-Tif. De 1910 à 1912, il séjourne à la « Villa Médicis algérienne ». Libéré de toutes contraintes matérielles, il découvre la lumière et les couleurs d’Afrique du Nord ainsi qu’une approche moderne de la pratique artistique. Il passe alors à l’aquarelle pour traduire son émerveillement face à ce « rêve oriental ».
Décisives, ces deux années marqueront son parcours de façon indélébile. À son retour à Paris, la Grande Guerre l’attend et il est envoyé au front, d’où il revient avec une palette plus sombre et un style post-cubiste. Peintre et décorateur (il travaille pour Süe et Mare, l’Opéra, le Palais de Chaillot), Charles Dufresne ne cesse pour autant de voir ressurgir ses impressions d’Algérie avec une liberté qui le démarque d’un exotisme volontiers académique.