Jepang disebut Nippon atau Nihon dalam bahasa Jepang. Kedua kata ini ditulis dengan huruf kanji yang sama, yaitu 日本 (secara harfiah: asal-muasal matahari). Sebutan Nippon sering digunakan dalam urusan resmi, termasuk nama negara dalam uang Jepang, prangko, dan pertandingan olahraga internasional. Sementara itu, sebutan Nihon digunakan dalam urusan tidak resmi seperti pembicaraan sehari-hari.

Kata Nippon dan Nihon berarti "negara/negeri matahari terbit". Nama ini disebut dalam korespondensi Kekaisaran Jepang dengan Dinasti Sui di Cina, dan merujuk kepada letak Jepang yang berada di sebelah timur daratan Cina. Sebelum Jepang memiliki hubungan dengan Cina, negara ini dikenal sebagai Yamato (大和). Di Cina pada zaman Tiga Negara, sebutan untuk Jepang adalah negara Wa (倭).

Dalam bahasa Cina dialek Shanghai yang termasuk salah satu dialek Wu, aksara Cina 日本 dibaca sebagai Zeppen ([zəʔpən]). Dalam dialek Wu, aksara 日 secara tidak resmi dibaca sebagai [niʔ] sementara secara resmi dibaca sebagai [zəʔ]. Dalam beberapa dialek Wu Selatan, 日本 dibaca sebagai [niʔpən] yang mirip dengan nama dalam bahasa Jepang.

Kata Jepang dalam bahasa Indonesia kemungkinan berasal dari bahasa Cina, tepatnya bahasa Cina dialek Wu tersebut. Bahasa Melayu kuno juga menyebut negara ini sebagai Jepang (namun ejaan bahasa Malaysia sekarang: Jepun). Kata Jepang dalam bahasa Melayu ini kemudian dibawa ke Dunia Barat oleh pedagang Portugis, yang mengenal sebutan ini ketika berada di Malaka pada abad ke-16. Mereka lah yang pertama kali memperkenalkan nama bahasa Melayu tersebut ke Eropa. Dokumen tertua dalam bahasa Inggris yang menyebut tentang Jepang adalah sepucuk surat dari tahun 1565, yang di dalamnya bertuliskan kata Giapan.