Die letzten Glühwürmchen spielt in der Endphase des Zweiten Weltkrieges in Japan und erzählt vom verzweifelten Kampf des vierzehnjährigen Jungen Seita und seiner vierjährigen Schwester Setsuko um das nackte Überleben in der ausgebombten Stadt Kōbe. Bereits zu Beginn wird das tragische Ende vorweggenommen: Seita stirbt völlig abgemagert und unbeachtet in einem dunklen Winkel einer Bahnhofswartehalle. Der Film beginnt mit dem Satz „Am 21. September 1945 bin ich gestorben“ und zeigt dann einen Bahnhofswärter, der den Jungen durchsucht und dessen zerbeulte Bonbondose wegschmeißt, wobei etliche Glühwürmchen in die Nacht auffliegen. In einer großen Rückblende erfährt der Zuschauer die einzelnen Leidensstationen des Geschwisterpaares.

Als ihre Mutter nach einem Bombenangriff auf die Hafenstadt Kōbe stirbt, ziehen Seita und Setsuko zunächst zu ihrer Tante. Da sich der Junge nicht am Wiederaufbau beteiligt, sondern lieber mit seiner oft weinenden Schwester spielt, spannt sich das Verhältnis zur Tante an, welche ihnen auch wegen der schlechten Versorgungslage immer weniger zu essen gibt. Die Kinder beschließen, sich fortan selbst zu versorgen, und ziehen in einen alten höhlenartigen Bunker außerhalb der Stadt.

Obwohl Seita beginnt, auf Gemüsefeldern Nahrung zu stehlen und bei Bombenangriffen Häuser zu plündern, um die gestohlenen Sachen zu verkaufen, werden die Nahrungsmittel für ihn und Setsuko immer knapper. Bei einem Diebstahl wird Seita erwischt, von dem Bauern deswegen geschlagen und zur Polizei geschickt, aber der Polizist merkt, dass Seita am Verhungern ist, und lässt ihn frei. Schließlich stirbt das kleine Mädchen an einer fiebrigen Erkrankung aufgrund der Unterernährung und bekommt von ihrem Bruder eine einsame Feuerbestattung.

Seita, der kurz zuvor zunächst von der Kapitulation Japans und somit auch vom Tod seines Vaters erfahren hat (er hatte bei der nun untergegangenen kaiserlichen Marine gedient), verliert schließlich auch seinen Lebensmut, denn sein Vater war für ihn der letzte Hoffnungsfunken.