Hallo,
ich kann natürlich nur für mich und meine Frau sprechen, aber wir würden das nie machen.
Die Zeit in NYC (vor allem wenn man nur 4 Tage hat) wäre viel zu wertvoll, um alleine für die Anfahrt täglich 1 - 1 1/2 Stunden in Kauf zu nehmen.
Ich würde eher empfehlen, die Tage direkt in Manhatten zu verbringen und wenn der Teil vorbei ist, nach Newark oder JFK und dann erst einen Mietwagen aufnehmen, je nachdem, von wo man wieder abfliegt.
Das Geld, was der Mietwagen die ersten Tage (ungenutzt) kostet, kannst Du dann in ein schönes Hotel oder B&B in NYC stecken.