Joachim Neander stammt aus einer Pastorenfamilie, die sich einer damaligen Mode folgend von Neumann in Neander umbenannte. Er ist der erste Sohn aus der zweiten Ehe seines Vaters Johann Joachim Neander (1614–1666).
Er studierte reformierte Theologie in Bremen und war als Erzieher unter anderem in Heidelberg und Frankfurt am Main tätig. 1670 geriet er unter den Einfluss des Erweckungspredigers Theodor Undereyck, der ihm eine Stelle als Hauslehrer in einer Frankfurter Kaufmannsfamilie verschaffte. Hier wurde Neander auch mit Philipp Jacob Spener bekannt, dessen 1675 veröffentlichte Schrift Pia Desideria Ausgangspunkt des Pietismus werden sollte.
1674 wurde Neander in Düsseldorf Rektor der Lateinschule der reformierten Gemeinde sowie Hilfsprediger. Er verfasste Texte und Melodien zu zahlreichen Kirchenliedern, die auf separatistischen Erbauungsversammlungen gesungen wurden. Weil Neander in einer eindrucksvollen Schlucht des Flüsschens Düssel bei Mettmann häufig komponierte und Gottesdienste abhielt, wurde das Gestein ihm zu Ehren Neandershöhle und ab dem 19. Jahrhundert Neandertal genannt. Da dort auch die ersten Skelettteile von Neandertalern entdeckt wurden, findet sich der Name Joachim Neanders auch im Begriff Neandertaler wieder.
Nachdem Neander in Düsseldorf Schwierigkeiten mit der Kirchenverwaltung bekommen hatte, wurde er 1679 Hilfsprediger an der Kirche St. Martini in seiner Heimatstadt Bremen und wohnte im Neanderhaus, das östlich von der Kirche stand und aus dem 15. Jahrhundert stammte. Er komponierte den Choral Lobe den Herren, den mächtigen König der Ehren. Nach weniger als einem Jahr Tätigkeit in seiner Heimatstadt starb Neander am Pfingstmontag, den 31. Mai 1680 im Alter von 29 oder 30 Jahren an einer nicht näher beschriebenen Krankheit (möglicherweise an der Pest). Seine Grabstätte ist heute unbekannt; es wird nicht ausgeschlossen, dass sie sich unter der St.-Martini-Kirche befindet.
Neander gilt als einer der bedeutendsten reformierten Kirchenlieddichter Deutschlands. Seine im Jahr 1680 veröffentlichten Bundeslieder und Dank-Psalmen waren bahnbrechend für die pietistischen Gesangbücher der reformierten und der lutherischen Kirche.
Auch heutige deutsche Gesangbücher enthalten noch Lieder von Neander. So enthält das Evangelische Gesangbuch sechs Lieder, deren Texte und/oder Melodien von Neander stammen, und im bis 2005 gebräuchlichen deutschen Gesangbuch der Neuapostolischen Kirche finden sich vier von Neanders Liedern.
Neanders bekanntestes Kirchenlied ist das 1679 gedichtete und 1680 im Rahmen der Bundes-Lieder und Dank-Psalmen erschienene Lied Lobe den Herren, den mächtigen König der Ehren. Die heute gebräuchliche Melodie ist allerdings erst nachträglich zugeordnet worden; sie stammt nicht von Neander, sondern es handelt sich um ein ursprünglich weltliches Lied aus dem 17. Jahrhundert.
