《山海经》历来被大多数人认为“荒诞不经”。连敢于打破《尚书》束缚，将中国上古史推至炎黄二帝的史学家司马迁都说“至《禹本纪》《山海经》所有怪物，余不敢言之也”。形成这种看法的原因似乎与《山海经》由图到文字的成书过程有关。例如《海外东经》记载“工虫在其北，各有两首。一曰在君子国北”。根据《山海经》先有图后有书的成书过程推测，《山海经图》上在君子国的北方画有一个彩虹的“虹”字，表示该地经常见到彩虹。

当时的图像文字应该类似甲骨文的虹字，是彩虹的图像，两端有首。而后来古人根据《山海经图》著《山海经》时，时间已经过了几百年，而著者并不见得一定是文字学家，这时彩虹的虹字已经成为“工虫”的样子，因此将彩虹描述为工虫，并望文生义将其描述为“各有两首”，使后人无法知道到底叙述的是天边的彩虹呢，还是描写一只有两个头的怪物。所以就连司马迁也说“余不敢言之也”。

也正因为《山海经》的所谓荒诞不经，几千年来该书既不为正史所载，也不为诸子所传，因而也很少被后人改动，在很大程度上保留了原书的风貌和许多珍贵的远古资料和信息。