Отзывы о Босхе в литературе XVI в. довольно немногочисленны, и авторы обращают своё внимание прежде всего на присутствие в его картинах разнообразных чудовищ и демонов, на невероятное соединение частей человеческого тела, растений и животных, названных одним венецианцем «нечистью».
Доминик Лампсоний в 1572 г. подчеркнул «инфернальный» характер образов у Босха: «С таким мастерством твоя правая рука раскрывает Всё, что содержится в таинственных недрах Ада, Что я верю, что глубины жадного Плутона открылись тебе, И далёкие области Ада были тебе показаны».

Большая часть работ Босха вскоре после их создания была перевезена в Испанию, и испанские авторы эпохи контрреформации также обращали внимание на демонический характер его «странных образов». Однако дон Фелипе де Гевара (исп. Felipe de Guevara), признанный знаток творчества Босха, продавший Филиппу II несколько произведений Босха из своей коллекции, придерживался мнения, что Босха нельзя считать изобретателем демонов. «Я не отрицаю, что он писал странные изображения вещей, но это делалось с единственной целью — дать трактовку Ада. И то, что Иероним Босх сделал с благоразумием и достоинством, другие делали и делают без всякой сдержанности и рассудительности». Библиотекарь Эскориала монах Хосе де Сигенса (исп. José de Sigüenza), живший в XVII в. и хорошо знавший картины Босха, считал, что будь его живопись еретической, король Филипп II едва ли стал бы терпеть присутствие его работ в Эскориале; они, напротив, представляют собой сатиру на всё греховное. Сигенса так оценивал творчество Босха: «Разница между работами этого человека и работами других художников заключается в том, что другие стараются изобразить людей такими, как они выглядят снаружи, ему же хватает мужества изобразить их такими, как они есть изнутри». Великий испанский писатель Лопе де Вега называл Босха «великолепнейшим и неподражаемым художником», а его работы — «основами морализирующей философии».