Download original attachment
(PDF file)
This is an HTML version of an attachment to the Official Information request 'Atmosphere and Climate 2020 Paper'.

From: 
s 9(2)(a)
 
Sent: Thursday, 11 March 2021 3:02 pm
To: Drew Bingham <[email address]>; 
s 9(2)(a)
s 9(2)(a)
Cc: 
s 9(2)(a)
Nancy Golubiewski <[email address]>
Subject: RE: Recent NIWA-led research on wildfire risk
Kia ora Drew, 
s 9(2)(a)
s 9(2)(a)
 and I have discussed the edits to the wildfire risk webpage suggested in s 9(2)(a)  email (1 December 2020)
THE  ACT 
below. We also note Drew has already corrected the citation in the Atmosphere and Climate 2020 report.
From s 9(2)(a)  email: Request StatsNZ to edit their wildfire risk webpage, section Where this data comes from, to state “NIWA, and FENZ Fire
Weather System”.
We haven’t made the suggested change. We use the ‘Where this data comes from’ section to name the data provider ie., the
organisation(s) the data comes from.  Currently, the page states that the data has been provided by NIWA and the National Rural Fire
Authority. The suggested change to ‘FENZ Fire Weather System’ doesn’t name an organisation.  Therefore, we’re unsure what change to
make - should ‘National Rural Fire Authority’ be changed to ‘FENZ’?
From s 9(2)(a)  email: We support your suggestion to engage with StatsNZ to better convey the nuance with the forest / grass fire risk data.  One
way could be to edit their ShinyApp so that it is the location name, not the associated bar, is coloured according to the fuel type. We suggest a
more prominent disclaimer needs to be included in the StatsNZ website stating that data is based on different fuel types, and that care should be
taken when comparing results from different locations.
UNDER 
We haven’t made these suggested changes.
We note that there is no error to be corrected but there is the suggestion to better convey nuances with the fuel types. We’ve
looked at our ShinyApp again.
For all sites for state, fuel type is already clear in the graph.
INFORMATION 
1982
RELEASED 
OFFICIAL 
We’ve also looked at the trend data and it doesn’t seem that fuel type has much influence on the trends (see graph below).
Because of this, we don’t think it’s necessary to make the changes suggested (i.e., to colour the site name by fuel-type)





THE  ACT 
 
 
Given these results, we’re unclear about the need to act on the following suggestion: a ‘more prominent disclaimer needs to be
included in the StatsNZ website stating that data is based on different fuel types, and that care should be taken when comparing
results from different locations’.
We are happy to have further conversations about this, but until that time, we will leave the ShinyApp as is.
 
We contacted s 9(2)(a) and 
 (FENZ)
s 9(2)(a)
 in December about meeting, but were unable to connect. We’re happy to talk with FENZ again if you think our
approach to the webpage could cause some issues.
UNDER 
 
Otherwise, we have noted the suggestions above for future development of the wildfire risk webpage, and suggest we all work more closely in future
(e.g., everyone being ‘in the room’ when changes to content are discussed) so we can resolve issues at the time.
 
Nga mihi,
 
s 9(2)(a)
 
 
s 9(2)(a)  
s 9(2)(a)
Environmental Reporting
INFORMATION 
1982
Stats NZ Tatauranga Aotearoa 
s 9(2)(a)
 stats.govt.nz
 
  
 
RELEASED 
 
 
 
From: Drew Bingham <[email address]> 
Sent: Thursday, 3 December 2020 4:06 PM
To: 
s 9(2)(a)
Cc: Nancy Golubiewski <[email address]>; John Robertson <[email address]>; 
s 9(2)(a)
Subject: RE: Recent NIWA-led research on wildfire risk
 
OFFICIAL 
Kia ora s 9(2)(a)
 
Thanks for the update, it sounds like you had a productive discussion.
 
We’ll go ahead and correct the citation in the report.
 
I’m also including s 9(2)(a)  in this chain, as she will need to lead the response to the changes on the indicator website. I expect she will contact you to work
out exactly what the changes should look like.
 
Thanks for your time on this, I’m glad we were able to come to a resolution that all could agree upon.
 
Kind regards,
Drew
 
From: 
s 9(2)(a)
 
Sent: Tuesday, 1 December 2020 3:01 PM
To: Drew Bingham <[email address]>
Cc: Nancy Golubiewski <[email address]>
Subject: RE: Recent NIWA-led research on wildfire risk
 
Hi Drew,
 
s 9(2)(a)  and I had a productive meeting with  s 9(2)(a) from SCION yesterday.  Ultimately we have come to the consensus that the data
presented in OAC2020 are of sufficient quality and appropriateness and therefore recommend that an error correction process does not need to be
initiated.  It appears some of the original concerns resulted from the mistaken conflation of observed/historic index data with modelled projections.  The
key recommended actions resulting from our meeting are largely the same as those I outlined in my previous email to you, specifically:
 
Request StatsNZ to edit their wildfire risk webpage, section Where this data comes from, to state “NIWA, and FENZ Fire Weather System”.
We support your suggestion to engage with StatsNZ to better convey the nuance with the forest / grass fire risk data.  One way could be to edit
their ShinyApp so that it is the location name, not the associated bar, is coloured according to the fuel type. We suggest a more prominent
disclaimer needs to be included in the StatsNZ website stating that data is based on different fuel types, and that care should be taken when
comparing results from different locations.
THE  ACT 
We recommend that a minor correction is required in the OAC2020 report; such that the MAF report from 2011 and the results it presents
(attached) are used as the citation on pg 64 of OAC2020. According to  s 9(2)(a) , these are the most recent and relevant research results
available on this topic.
 
As a result of our productive meeting yesterday, we feel an additional meeting with the three of us, plus yourself and s 9(2)(a)  is no longer required. 
However, if you wish to speak with me to clarify anything I am of course available for that.  I would appreciate it if you can let me know if you’re happy to
pursue the recommended actions bulleted above.
 
For future iterations of such work, we (NIWA) have agreed to engage with  s 9(2)(a) /SCION to check and/or develop an improved methodology for
deriving these data.
 
Kind regards, s 9(2)(a)
 
From: Drew Bingham <[email address]> 
UNDER 
Sent: Thursday, 19 November 2020 12:09 p.m.
To: 
s 9(2)(a)
Cc: Nancy Golubiewski <[email address]>
Subject: FW: Recent NIWA-led research on wildfire risk
 
Hi s 9(2)(a)
 
Thanks for sharing this feedback.
 
FENZ have reached out to us as well, and we had an initial meeting last week (including Stats and s 9(2)(a)  for them to convey their issues with the how we
reported on wildfire risk in the report and website. They indicated that they would prefer to reach out to you (NIWA) directly, so good to hear they’ve
been in touch.
INFORMATION 
1982
 
The main issues they raised in the meeting with us were around interpretation and analysis of the data (the forest/grass presentation of the data on the
website in particular), and that our findings conflicted with theirs (we reported decreasing trends in some areas where their modelling indicates
increasing wildfire risk), and the communication issues with the public and government this is causing. They also identified the outdated agency name
(National Rural Fire Authority), which we have updated in the report. And as with their communication with you, they also voiced frustration at not
having been consulted during the report production.
 
Our next steps from the meeting was for Stats and s 9(2)(a)  to work with you to verify the quality and appropriateness of the data used for our reporting. If
it’s found that there are errors we would initiate an error correction process, however, if it is the case that our data are fine, and the historical data are
RELEASED 
providing a different view than their modelled risk projections, we would work together on communications that would help the public and policy-
makers to understand the differences, and to work with Stats to update their web page to better convey the nuance with the forest / grass fire risk data.
We also agreed to work together on reporting in the future, given the ongoing nature and prominence of wildfire risk as an ER indicator. 
 
Hopefully that helps inform your understanding of where we’re at, and we’ll look forward to hearing from you about a time to meet.
 
Kind regards,
Drew
 
OFFICIAL 
From: 
s 9(2)(a)
 
Sent: Wednesday, 18 November 2020 3:27 PM
To: Drew Bingham <[email address]>
Cc: 
s 9(2)(a)
Subject: FW: Recent NIWA-led research on wildfire risk
 
Hello Drew,
 
I hope this finds you well.  I am reaching out to let you know we (NIWA) have received some critical feedback on the Wildfire Risk data presented in
OAC2020 via  s 9(2)(a)  at SCION (see below for his email).   s 9(2)(a)  and I plan to organise a meeting involving ourselves, you,  s 9(2)(a)
(StatsNZ) and  s 9(2)(a)  (SCION) at some point prior to Christmas so we can work through and resolve s 9(2)(a)  concerns.  In addition, s 9(2)(a)  will be
speaking to s 9(2)(a)  directly in the near-future.
 
In the meantime, we are working through this internally at NIWA, and I wanted to let you know some of our thinking in response to s 9(2)(a)  criticisms:
 
Are FENZ aware their data was being used?
Fire Danger ratings were provided for 30 locations. As shown in Macara & Sutherland (2017) and Macara et al. (2020), FENZ (Raws) stations
were selected for 11 of these locations.
NIWA has a data sharing agreement in place where we can provide FENZ data to the public provided i) FENZ is acknowledged as its source, in
the following manner “FENZ Fire Weather System”, or otherwise as approved. ii) any Web based products that use FENZ RAWS observations
will need to acknowledge the source as FENZ.”
As per Section 4 of Macara & Sutherland (2017), NIWA obtained explicit permission to use the data: “The authors wish to acknowledge Stuart
Waring from the New Zealand Fire Service (NZFS) for permission to use NZFS data in this investigation”. Based on NIWA’s data agreement as
above, such explicit permission isn’t required.
For the 2020 iteration of this work, NIWA note we haven’t explicitly acknowledged FENZ Fire Weather System in the Macara et al (2020) Client
Report, although that report refers the reader to the Macara & Sutherland (2017) report where explicit permission was acknowledged. The
StatsNZ webpage (https://www.stats.govt.nz/indicators/wildfire-risk) does acknowledge the data source, however it does so inaccurately
(“National Rural Fire Authority”).
Proposed action: Ask StatsNZ to edit their wildfire risk webpage, section Where this data comes from, to state “NIWA, and FENZ Fire Weather
System”.
 
THE  ACT 
Disappointing that NIWA didn’t come to SCION for advice, assistance, or peer review of their methods and results
The data NIWA provided are simply generated using methodology as applied and running operationally via EcoConnect (software used for the
provision of weather and climate data to the public) and as presented online and publicly available (https://fireweather.niwa.co.nz/).  As far as
we are aware, there has been no change to the original methodology and shared IP with SCION. 
 
Flawed results: NIWA authors inadvertently compared Fire danger rating frequencies of forest vs grassland fire danger at different sites
NIWA are well aware that stations have different fuel types (of our 30 locations, 18 stations have grass, and 12 stations have forest). Fire
danger ratings at each of the 30 locations are based on the primary fuel type that is selected for each station, Macara and Sutherland (2017)
and Macara et al (2020) describe the Fuel type that applies to each of the stations in the station metadata tables.
On the StatsNZ webpage (https://www.stats.govt.nz/indicators/wildfire-risk), when viewing the Graph of State for All sites, the different fuel
types for each site are distinguished by the colour of the bar. Three of the bars are indistinguishable (New Plymouth, Hokitika, Milford Sound). 
Additionally, detailed methods including fuel type selection are provided on the StatsNZ website.
Proposed action: Ask StatsNZ to edit their ShinyApp so that it is the location name, not the associated bar, which is coloured according to the
fuel type. Suggest a more prominent disclaimer needs to be included in the StatsNZ website stating that data is based on different fuel types,
UNDER 
and that care should be taken when comparing results from different locations.
 
NIWA authors are unaware of the major errors and gaps that exist in underpinning grass curing data within the FWSYS required to calculate
grassland fire danger
NIWA simply provided historic observed data which is based on the operational calculations per EcoConnect and the publicly available website
(https://fireweather.niwa.co.nz/).  Therefore the data are the ‘best’ available, contemporarily relevant and used operationally. It is beyond the
scope of the present work to account for/update the calculations in light of such errors and gaps.
 
The study utilises only a limited time period (~20 years) compared to the longer time series usually required to observe climate changes
NIWA provided the data ‘as is’, MFE and StatsNZ interpreted the data and calculated trends.  The trend calculations by StatsNZ are rigorous
and based on statistical significance/certainty, with the criteria (e.g. very likely increasing, likely decreasing, etc.) clearly defined in the Our
Atmosphere and Climate 2020 report; “Measuring and reporting trends and anomalies” infobox on page 28.
 
INFORMATION 
1982
Projections of future fire danger inappropriately acknowledged
At present in the OAC2020 report, pg 64, Scion (2019) are cited for the fire danger projection information.
Proposed action: The OAC2020 report is corrected, such that the MPI report from 2011 and the results it presents (attached) are used as the
citation on pg 64. Check with Grant Pearce to see if any more recent research results are available.
 
 
Additional point for clarification:
For the overall body of work contributing to the Our Atmosphere and Climate 2020 report, NIWA are simply the providers of the data (and
RELEASED 
implicitly the data custodians, hence we were approached by MFE for this work).  s 9(2)(a)  at times appears to have conflated this data provision
role with the data reporting role led by MFE and StatsNZ.  That said, myself (and several others; 
s 9(2)(a)
s 9(2)(a) s 9(2)(a)  not to mention the comprehensive internal reviews at MFE and StatsNZ) were involved in reviewing the report and
webpages.
 
 
Please standby for any updates from us, as well as arranging a mutually agreeable time to hold our meeting. I anticipate that among other topics, we will
discuss the proposed actions (bolded above) in that meeting.
 
OFFICIAL 
Kind regards, s 9(2)(a)
 
From: 
s 9(2)(a)
 
Sent: Wednesday, 11 November 2020 1:11 p.m.
To:s 9(2)(a)
Subject: Fwd: Recent NIWA-led research on wildfire risk
 
 
From:  s 9(2)(a)  
Sent: Wednesday, 21 October 2020 2:31 PM
To: s 9(2)(a)  
s 9(2)(a)


Subject: Recent NIWA-led research on wildfire risk
 
Hi s 9(2)(a)
 
As discussed, I’d like to highlight some issues with recent research on wildfire risk undertaken by NIWA for MfE and Stats NZ.
 
The research formed the basis of a section of the just released MfE & Stats NZ report, Our Atmosphere and Climate (see pp 44-45, and also
pp. 64).  The NIWA research, described in contributory reports by Macara & Sutherland (2017) and Macara et al. (2020), quantified the
number of days of VH & E fire danger and trends for 30 locations over the period 1997-2020, using data obtained (and quality checked and
corrected where necessary) from FENZ’s Fire Weather System which NIWA maintains for them.
 
As well as questioning whether FENZ were aware that NIWA were using their data (or at least some of it for FENZ fire weather stations, vs
NIWA or MetService’s stations in main centres), it is most disappointing that NIWA did not come to Scion for advice or assistance to
complete this study, or at least for peer review of the methods and results.  Scion was a partner with NIWA in the development of the Fire
Weather System for FENZ, and shared considerable IP with NIWA via equations and methods for calculating fire danger ratings for NZ.
 
It is disappointing to see that as a result, some of the results from the study are flawed and are being circulated widely in the mainstream
national media (e.g. RNZ, NZ Herald, Stuff, Newshub) and via national indicator data sets for wildfire risk managed by Stats NZ (as part of
their broader national indicators).  In calculating the frequencies of days of VH & E fire danger, the NIWA authors have inadvertently
compared forest fire danger against grassland fire danger for different sites, and unaware of the major errors and gaps that exist in
THE  ACT 
underpinning grass curing data within the FWSYS required to calculate grassland fire danger.  The study also utilises only a limited time
period (~20 yrs), compared to the longer time series usually required to observe climate changes (30+ yrs) and for which data are available
for many of the stations. 
 
The report, and associated media, also merge the results from this latest NIWA research with those from previous work led by Scion in
collaboration with NIWA (for MPI in 2011).  In fact, the headline that fire dangers will increase by 70% comes from this previous Scion-led
research, not this latest NIWA study, although is not appropriately acknowledged as such in the NIWA or MfE & Stats NZ reports (NIWA
actually cite a Scion Connections article, not the main project reports).
 
This potential errors in this latest NIWA study are critical given that the study results have also now formed the basis of the national
indicator for wildfire risk posted on the Stats NZ website, and which will form the basis for subsequent future monitoring and updates.  The
study also has potential to go against national guidance and advice from FENZ to Government, e.g. through the wildfire risk profile being
updated by FENZ for Dept. of Prime Minister and Cabinet as part of the National Risk Register.
 
UNDER 
Perhaps though what is more worrying is that neither MfE nor Stats NZ knew to come to Scion as the subject experts around wildfire risk, or
at least to approach FENZ to ask who the experts were in this area.  So there is likely some work required to better communicate this
around the various government departments with an interest in climate change.
 
I believe these issues with this research warrant discussion with FENZ as the owner of the FWSYS and lead agency in NZ for wildfire, but also
with NIWA management given the lack of collaboration with Scion in this case given the strong history of working together previously.
 
Thanks, s 9(2)(a)
 
 
s 9(2)(a)
Scientist, Fire Research
s 9(2)(a)
INFORMATION 
s 9(2)(a)
1982
 
 
 
This email and any attachments are intended solely for the addressees named above. It may contain information which is legally privileged,
confidential or subject to copyright. Any unauthorised review, use, disclosure or distribution is prohibited. If you receive this email in error,
please delete it. As part of Scion’s cyber security policy, Scion’s IT systems are subject to ongoing monitoring, activity logging and auditing,
RELEASED 
and may include 3rd party monitoring on our behalf.
s 9(2)(a)
s 9(2)(a)
National Institute of Water & Atmospheric Research Ltd (NIWA)
301 Evans Bay Parade Hataitai Wellington New Zealand
Connect with NIWA: niwa.co.nz Facebook LinkedIn Twitter Instagram
OFFICIAL 
To ensure compliance with legal requirements and to maintain cyber security standards, NIWA's IT systems are subject to ongoing monitoring, activity logging and auditing. This monitoring and auditing service
may be provided by third parties. Such third parties can access information transmitted to, processed by and stored on NIWA's IT systems
*********************************************************************************************
 
Please Note: The information contained in this e-mail message and any attached files may be confid*ential information, and may also be the subject of legal professional privilege. It is not
necessarily the official view of the Ministry for the Environment. If you are not the intended recipient, any use, disclosure or copying of this e-mail is unauthorised. If you have received this e-
mail in error, please notify us immediately by reply e-mail and delete the original. Thank you.
 
*********************************************************************************************
 
THE  ACT 
UNDER 
INFORMATION 
1982
RELEASED 
OFFICIAL