1.3.3 Benchmark
De theoretische modelbeschrijving van het NNM is zowel door TNO als door KEMA gebruikt voor een eigen software-implementatie. Na het op de markt brengen van deze twee model-implementaties bleken de uitkomsten in een aantal gevallen grote verschillen te vertonen. Dit ondanks dat beide modellen gebaseerd waren op dezelfde theoretische uitgangspunten, het NNM, zoals beschreven in het 'Paarse boek'. In opdracht van het toenmalige VROM is in 1999 een benchmarkonderzoek gestart om de verschillen in beide implementaties op te heffen. De benchmark heeft geleid tot aanvullingen en het verbeteren van onvolkomenheden in de modellen. Hierdoor zijn de verschillen tussen beide model-implementaties kleiner (zie deel I, § 3.2).
Bij de benchmark van de twee NNM-implementaties in 1999 zijn metingen gebruikt. Het model is op een zodanige wijze aangepast dat de resultaten van het model zoveel mogelijk overeenkomen met de metingen. Hiervoor zijn de vier verschillende meetsets gebruikt, die in Nederland beschikbaar waren.
De NNM-implementaties die na de deze benchmark door KEMA en TNO op de markt zijn gebracht zijn niet identiek. De verschillen in de uitkomsten voor een aantal goed gedefinieerde, veel voorkomende gevallen bedragen nog ten hoogste 5-10% tussen de beide implementaties [1].
In 2010 is er nog een benchmark uitgevoerd: om PluimPlus, Stacks en ISL3A (rekenmodel voor eenvoudige situaties) met elkaar te vergelijken. Na de nodige aanpassingen zijn de overeenkomsten in vrijwel alle gevallen weer minder dan 5% op minstens 90% van de receptorpunten. De hoogste concentraties voldoen in alle situaties aan dit criterium. Alleen voor zeer hoge bronnen (125 m hoge schoorsteen) blijken er nog verschillen te kunnen zijn, die net niet aan de gestelde voorwaarde voldoen. De verschillen zijn te wijten aan kleine verschillen in de meteorologische voorbewerking. Omdat in 2010 is besloten in NNM-verband om alleen de primaire meteorologische parameters uit de software PreSRM te betrekken, en in voorjaar 2011 alle meteoparameters via de PreSRM te betrekken, behoren ook deze resterende verschillen tot het verleden.
[1] Het is niet bekend hoe groot de verschillen in de overige situaties kunnen zijn. De gebruiker moet altijd kritisch blijven over de modelresultaten.