Der Ort ist sehr wahrscheinlich eine der ältesten Siedlungen in der Gemeinde und idyllisch im Elbetal gelegen. In der Vergangenheit bildete Elben zusammen mit Scheiderwald eine eigenständige Verwaltungseinheit im damaligen Amt Wenden.
Alte Schreibweisen benennen den Ort Elven und Elwen. Der Ortsname stammt wahrscheinlich vom dem altnordischen Begriff Elv, welcher - genauso wie Alv (= Albe in Schönau) - einen Gebirgsbach bezeichnet. Im althochdeutschen wurde ein solcher Alp genannt.