本站位于神户市中心北侧，紧邻六甲山山脚，在JR部分仅有新干线通过，未有其他在来线接续，新干线所有通过列车皆会在本站停靠。由于在规划山阳新干线路线时，为避开神户市市区，新干线路线是沿着六甲山山麓开设大量隧道从神户市中心北侧通过，包括长度16公里的六甲隧道和长度近8公里的神户隧道。新神户站设于此两隧道之间，在月台上即可直接看见两端的隧道口。

虽然未直接与JR的在来线相接，但可透过神户市营地铁连结位于神户市中心的三宫车站，或通过北神急行电铁连结神户电铁有马线进入神户市北部地区。

本站是日本国有铁道及分割民营化之后的JR唯一一座没有在来线连接，但以特例方式适用特定都区市内票价制度的新干线车站。若购买的是可搭乘至神户市特定都区市内车站的车票，则出站时需使用黄色的验票闸门出站。