Раз вопрос не закрылся, добавлю ещё что смотрел:
Шарлотта (в конце будет)
Клеймор (атмосфера чем-то похожа на то что нужно, я думаю), но не удивляйся плохой концовке, режиссёр решил не оставлять 1-й сезон без концовки (в манге каноничное продолжение) и сделал абы-как.

Если под отшельником,имеется в виду одиночка,а не тип живущий в пещере на краю света то:
Мастер Муши
91 день
Темнее чёрного
Афро самурай
В общем под описание и Ванпанчмен подходит,одиночка и живёт один на отшибе в заброшенном городе.
Всё что вспомнил

Одно из лучших будет Дороро ( хотя и там будет спутник).

И так, лимит не дал написать, продолжаю...
Есть ли аниме где гг отшельник? В прямом смысле этого слова. Даже если не всё аниме, но хотя бы в начале/середине/конце.