Die großen Sehenswürdigkeiten wirst du mit den Vorort- und Pendlerzügen kaum zu sehen bekommen. Mir fallen neben den drei Universitätsorten Stamford, New Haven (Yale) und Princeton im Norden noch die Strecke entlang des Hudson River nach Poughkeepsie ein, die relativ reizvoll ist. Von Bridgeport aus kann man die Fähre nach Long Island nehmen und dann wieder zurück nach New York fahren. NJ Transit und SEPTA bringen dich nach Philadelphia und Atlantic City. Die Küstenlinie hast du ja schon genannt. Die westlichen Linien fahren alle irgendwie in die Berge, aber besondere Highlights würde ich da nicht erwarten. Ansonsten würde ich dir empfehlen, einen Blick auf die Webseiten der Tourismusbüros der einzelnen Regionen zu werfen, da sind jede Menge kleinere Attraktionen aufgelistet, die in den meisten Reiseführern nicht zu finden sind.