This is an HTML version of an attachment to the Official Information request 'Disclose Submissions: Assessing Risk Hazardous Substances 2018'.
link to page 1 link to page 1 link to page 1 link to page 1 link to page 1 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15


Regulatory Toxicology and Pharmacology 80 (2016) 9e24
Contents lists available at ScienceDirect
Regulatory Toxicology and Pharmacology
j o u r n a l h o m e p a g e : w w w . e l s e v i e r . c o m / l o c a t e / y r t p h
Bayesian methods for uncertainty factor application for derivation of
reference values
Ted W. Simon a, *, Yiliang Zhu b, Michael L. Dourson c, Nancy B. Beck d
a Ted Simon LLC, 4184 Johnston Road, Winston, GA 30187, United States
b Department of Epidemiology and Biostatistics, University of South Florida, 13201 Bruce B. Downs, MDC56, Tampa, FL 33612, United States
c Toxicology Excellence for Risk Assessment (TERA) Center, University of Cincinnati, College of Medicine, 160 Panzeca Way, Cincinnati, OH 45267-0056,
United States
d Regulatory Science Policy, Regulatory and Technical Affairs, American Chemistry Council, 700 2nd Street NE, Washington, DC 20002, United States
a r t i c l e i n f o
a b s t r a c t
Article history:
In 2014, the National Research Council (NRC) published Review of EPA’s Integrated Risk Information System
Received 10 November 2015
(IRIS) Process that considers methods EPA uses for developing toxicity criteria for non-carcinogens. These
Received in revised form
criteria are the Reference Dose (RfD) for oral exposure and Reference Concentration (RfC) for inhalation
3 March 2016
exposure. The NRC Review suggested using Bayesian methods for application of uncertainty factors (UFs)
Accepted 16 May 2016
to adjust the point of departure dose or concentration to a level considered to be without adverse effects
Available online 19 May 2016
for the human population. The NRC foresaw Bayesian methods would be potentially useful for combining
toxicity data from disparate sources
Keywords:
dhigh throughput assays, animal testing, and observational epide-
miology. UFs represent five distinct areas for which both adjustment and consideration of uncertainty
Uncertainty factor
Bayesian methods
may be needed. NRC suggested UFs could be represented as Bayesian prior distributions, illustrated the
Reference dose
use of a log-normal distribution to represent the composite UF, and combined this distribution with a
Reference concentration
log-normal distribution representing uncertainty in the point of departure (POD) to reflect the overall
Risk assessment
uncertainty. Here, we explore these suggestions and present a refinement of the methodology suggested
Hazard assessment
by NRC that considers each individual UF as a distribution. From an examination of 24 evaluations from
EPA’s IRIS program, when individual UFs were represented using this approach, the geometric mean fold
change in the value of the RfD or RfC increased from 3 to over 30, depending on the number of individual
UFs used and the sophistication of the assessment. We present example calculations and recommen-
dations for implementing the refined NRC methodology.
© 2016 The Authors. Published by Elsevier Inc. This is an open access article under the CC BY license
(http://creativecommons.org/licenses/by/4.0/).
1. Introduction
such as the Reference Dose (RfD), Reference Concentration (RfC) or
Tolerable/Acceptable Daily Intake (TDI/ADI) is not only protection
Uncertainty factors (UFs) were developed in the 1980s by U.S.
of human health consistent with the societal consensus for such
Environmental Protection Agency (USEPA) scientists based on
protection but also avoidance of an overprotective level that could
margins of safety for determining acceptable daily intakes (ADIs)
conceivably lead to excessive regulation (Simon, 2011). This balance
(Dourson and Stara, 1983; Barnes and Dourson, 1988; Dourson,
notwithstanding, the needs of regulation are immediate and these
1993, 1996; Dourson et al., 1996). The development and use of
exigencies are the basis for the continued regulatory embrace of
uncertainty factors comprise an attempt to address the lack of
default values for UFs and their use in the derivation of reference
specificity in margins of safety and are designed to address specific
values (RfVs).
areas of uncertainty, thus enabling the development of data-
The individual UFs used in EPA toxicity assessments address five
derived values to replace default values of generally 10-fold
distinct areas of uncertainty. Historical publications by EPA staff in
(Dourson et al., 1996). The goal for any toxicity guidance value
the 1980s provide much of the basis for four of the UFs, excluding
UF-D, applied for database deficiencies (Dourson and Stara, 1983;
Barnes and Dourson, 1988; Dourson and DeRosa, 1991
). Subse-
quent publications introduced the basis for this latter database
* Corresponding author.
factor, generally the absence of evidence regarding developmental
E-mail address: [email address] (T.W. Simon).
http://dx.doi.org/10.1016/j.yrtph.2016.05.018
0273-2300/© 2016 The Authors. Published by Elsevier Inc. This is an open access article under the CC BY license (http://creativecommons.org/licenses/by/4.0/).

link to page 15 link to page 15 link to page 16 link to page 16 link to page 16 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 14 link to page 14 link to page 15 link to page 16 link to page 16 link to page 15 link to page 16 link to page 16 link to page 16 link to page 15 10
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
Abbreviations
UF-L:
LOAEL-to-NOAEL uncertainty/extrapolation factor
UF-S
Subchronic-to-chronic uncertainty/extrapolation
ADI
Acceptable daily intake
factor
BMD
Benchmark dose
UF-A
interspecies uncertainty/extrapolation factor
DDEF
Data-derive extrapolation factor
UF-A-TD toxicodynamic component of the interspecies
NRC
National Research Council
uncertainty/extrapolation factor
POD
Point of departure
UF-A-TK toxicokinetic component of the interspecies
RfD
Reference dose
uncertainty/extrapolation factor
RfC
Reference concentration
UF-H
intraspecies uncertainty/extrapolation factor
RfV
Reference value
UF-H-TD toxicodynamic component of the intraspecies
PBPK
physiologically-based pharmacokinetic
uncertainty/extrapolation factor
TDI/ADI Tolerable/Acceptable daily intake
UF-H-TK toxicokinetic component of the intraspecies
UFs
Uncertainty factors
uncertainty/extrapolation factor
UF/EF
uncertainty/extrapolation factor
UF-D
uncertainty/extrapolation factor for database
LOAEL:
Lowest observed no adverse effect level
deficiencies
NOAEL
No observed adverse effect level
and reproductive toxicity (DART) (Dourson et al., 1992, 1996;
much lower or even non-existent. Indeed, a highly conservative
Dourson, 1993). All five areas of uncertainty are discussed in USE-
policy-based assessment seems at odds with principles of trans-
PA’s Review of the Reference Dose and Reference Concentration Pro-
parency and the use of science as a basis for societal decision-
cesses (USEPA, 2002b). The purposes of the individual UFs were to
making (Dourson and Stara, 1983; Lewis et al., 1990).
address these five areas of uncertainty and, according to this
Although we use the familiar abbreviation UF in this paper,
document, were:
these factors are also called extrapolation or adjustment factors

and, ideally, their values, whether chemical-specific or default, will
(1) the variation in sensitivity among the members of the human
be based upon actual data (e.g., WHO-IPCS, 2005, 2014; Chiu and
population (i.e., inter-individual variability); (2) the uncertainty in
Slob, 2015; USEPA, 2014).
extrapolating animal data to humans (i.e., interspecies uncer-
The conceptual basis of the application of UFs using the standard
tainty); (3) the uncertainty in extrapolating from data obtained in
deviations of Bayesian prior distributions is described in the recent
a study with less-than-lifetime exposure to lifetime exposure (i.e.,
Review of EPA’s Integrated Risk Information System (IRIS) Process
extrapolating from subchronic to chronic exposure); (4) the un-
from the National Research Council (NRC, 2014). Here we consider
certainty in extrapolating from a LOAEL rather than from a NOAEL;
the NRC methodology in terms of both the mean and variance of
and (5) the uncertainty associated with extrapolation when the
these distributions, provide several illustrations of this application,
database is incomplete. (USEPA, 2002b)
and explore ways that these methods could be applied currently to
the development of RfVs within the IRIS program or in other similar
Before the publication of EPA’s 2002 document, any un-
hazard assessment programs in public and private sectors. The
certainties not explicitly addressed by the five different UFs had
World Health Organization International Programme on Chemical
been addressed by the use of a modifying factor (MF). However, the
Safety (WHO-IPCS) recently released the Guidance Document on
EPA 2002 document recommended discontinuation of the use of
Evaluating and Expressing Uncertainty in Hazard Characterization
MFs (USEPA, 2002b). In IRIS assessments developed today, all five
that also endorsed probabilistic approaches; the methods and
individual UFs are multiplied together and the composite UF
practices described here are consistent with both the NRC report
applied to the point of departure (POD) by arithmetic division,
and the WHO guidance (WHO-IPCS, 2014; Chiu and Slob, 2015). We
generally as the final step in the RfV development process.
also provide a brief narrative on the considerations and best prac-
Over time, the understanding of UFs as individual factors rather
tices for the use of Bayesian methods for development of quanti-
than their combination has continued to grow. Each individual UF
tative uncertainty estimates in RfVs that could be put into practice
consists of an adjustment and the uncertainty associated with the
immediately.
adjustment; here, we identify the central value of a UF distribution
as a measure of adjustment and the variance as a measure of un-
certainty. In many of the IRIS derivations considered here, EPA has
1.1. Chemical-specific adjustment factors and data-derived
chosen the UFs for specific reasons. Even Lehman and Fitzhugh
uncertainty factors
(1954) recognized their composite 100-fold UF was intended to
deal with several distinct areas of uncertainty (Dourson and Stara,
In 2005, the WHO-IPCS released Chemical-Specific Adjustment
1983). However, the encoding of distinct areas of uncertainty as
Factors for Interspecies Differences and Human Variability: Guidance
individual factors rather than as an overall or composite factor is an
Document for Use of Data in Dose/Concentration Assessment (WHO-
important distinction and is not fully recognized in NRC (2014).
IPCS, 2005). In this guidance, UFs are called chemical-specific
The use of an overall composite UF or “safety factor” masks the
adjustment factors (CSAFs). Over a decade in development, this
compounding conservatism inherent in the use of several UFs set at
document was introduced to provide methods for the incorpora-
default values and each intended to provide a highly protective
tion of quantitative data on toxicokinetics or toxicodynamics into
toxicity value (Burmaster and Harris, 1993; Burmaster and
the development of RfV/TDI values by modifying the default value
Anderson, 1994; Cullen, 1994; Simon, 2011; Tatum et al., 2015).
of 10 for each CSAF. Since 1994, Health Canada has been using a
The compounded conservatism in the use of many high-end values
data-derived procedure based on the developing WHO-IPCS
will yield an overestimate of risk and the actual risk is likely to be
guidelines (Meek et al., 1994). In 2014, the U.S. Environmental
Protection Agency issued a similar document, Guidance for Applying

link to page 16 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 16 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 16 link to page 16 link to page 14 link to page 15 link to page 15 T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
11
Quantitative Data to Develop Data-Derived Extrapolation Factors for
throughput in vitro assays, animal testing and epidemiological ob-
Interspecies and Intraspecies Extrapolation (USEPA, 2014).
servations in humans. Such an approach would easily accommo-
date newer types of data to refine existing RfVs. However, what is
1.2. Bayesian and probabilistic approaches to UFs
missing from the NRC report is a discussion of ways to implement
these new methods into current IRIS assessmentsdhence, a pri-
In Review of EPA’s Integrated Risk Information System (IRIS) Pro-
mary purpose of this paper is to provide such a discussion with
cess (Chapter 7), the NRC outlines a Bayes approach to integrating
examples as a proof of concept and suggestions for best practices
UFs in deriving toxicity values as well as integrating several studies
when implementing these methods.
or data from diverse sources (NRC, 2014). The NRC’s approach as-
sumes that the uncertainty in the estimated point of departure (e.g.,
1.4. The critical effectdthe basis of the reference value
benchmark dose) as well as that encoded by the UFs can be char-
acterized using appropriately specified distributions and uses the
To understand how NRC’s suggestions differ from EPA’s current
log-normal distribution for illustration. NRC (2014) was explicit in
practice, this section provides a brief discussion of the concept of
promoting systematic approaches to incorporating quantitative
the critical effect as the most appropriate biological basis of the RfV.
uncertainties into toxicity value development and foresaw that
EPA defines the critical effect as “the first adverse effect or its
toxicity value development would likely rely on a range of disparate
known precursor, that occurs in the most sensitive species as the
data sources, including high throughput in vitro assays, animal
dose rate of an agent increases” (USEPA, 2011). The critical effect is
testing, and/or epidemiological studies.
one effect in a spectrum of biological changes from adaptive re-
The general approach as described in the NRC report differs
sponses to frank effects.
from the classic UF approach in two aspects: first, uncertainty from
At low doses, biological responses occur in a continuum and are
a specific source can be characterized with greater flexibility and
most often adaptive responses. These adaptive responses enhance
representativeness as a distribution or range of values rather than
the organism’s ability to withstand a challenge. As dose increases,
as a point estimate; and, second, the use of a distribution provides a
compensatory effects occur, enabling the organism to maintain
system that can accommodate a variety of types of data to refine
overall function with neither further enhancement of these effects
existing toxicity factors. In the past, a number of authors have
nor significant harm. As dose increases further, the critical effect
characterized UFs using the log-normal distribution, likely because
and/or downstream adverse effects occur as functional impair-
of its mathematical tractability (Price et al., 1997; Swartout et al.,
ments or pathologic lesions that incur significant cost or harm. At
1998; Gaylor and Kodell, 2000).
some point these adverse effects become irreversible and overtly
Perhaps more important, any distribution can be characterized
manifest as disease (Patlewicz et al., 2013).
by parameters that specify the location and scaledfor the log-
Generally, the current practice in EPA’s IRIS program is to select
normal distribution, these would be the natural logarithms of the
a single critical study and single critical effect upon which to base
geometric mean and geometric standard deviation, here symbol-
the point of departure (POD) for an RfV value. In contrast, NRC
ized as m and s respectively. Because UFs are intended to address
(2014) suggested that a meta-analytic approach be used to
both a location adjustment and the attendant uncertainty, both the
combine the results of multiple studies. NRC (2014) also provided a
location and scale of the UF need to be specified. For those UFs not
few examples of combining studies using such meta-analytic ap-
needing an adjustment, the location will be zero (i.e. geometric
proaches and the application of UFs using Bayesian methods. Cat-
mean ¼ 1 or m ¼ 0 for a log-normal distribution) indicating the
egorical regression can also be used to combine results of multiple
factor addresses uncertainty only. For other UFs, such as UF-L and
studies, including studies of effects of different severities with
UF-S, the extrapolation from a LOAEL to a NOAEL will require some
methods developed by EPA (Hertzberg and Dourson, 1993; Dourson
degree of numerical adjustment as well as an expression of un-
et al., 1997; Teuschler et al., 1999).
certainty and the same idea will hold true when extrapolating from
a sub-chronic to chronic duration from animal bioassay data. This
2. Uncertainty factors as distributions
idea of adjustment and uncertainty will be discussed throughout
the rest of this paper.
Historically, the general assumption within the risk assessment
community has been that UFs could be represented by a range of
1.3. Historical context for the NRC IRIS review
generally up to 10-fold (Felter and Dourson, 1998) Although the
understanding of the biology underlying the choices of UF values
Formaldehyde became a high priority public health issue after
has grown, some imprecision remains (e.g., WHO-IPCS, 2014; Chiu
its discovery in FEMA trailers sent to the Gulf Coast as shelters for
and Slob, 2015; Bokkers and Slob, 2007). Most ranges can be
Hurricane Katrina victims (Jacobs, 2011). Hence, EPA requested that
characterized as probability distributions and an uncertainty factor
the NRC review the draft IRIS assessment for formaldehyde; the
can be assumed to follow a distribution with a specific range of
resulting review was highly critical of the process used, pointing
variation. Here, as does NRC (2014), we also characterize the dis-
out the assessment both lacked transparency and consistency and
tribution of an uncertainty factor as log-normal with the underly-
did not provide sufficient documentation of methods or the char-
ing normal distribution on a natural log scale with a mean denoted
acterization of uncertainty and variability (NRC, 2011, p. 26). The
by m and a standard deviation denoted by s.
final chapter of the NRC review (Chapter 7) provided a general
For example, Swartout et al. (1998) suggested a 3-parameter
critique of the IRIS process and suggestions for revising that process
log-normal as a “reference” UF distribution with a 50th percentile
(NRC, 2011).
of 3.16, a 95th percentile of 10 and a lower limit or offset parameter,
Following the NRC formaldehyde review, the U.S. Congress held
t ¼ 1. For such a distribution, all adjustments will be greater than
several hearings to examine EPA’s IRIS program and to address
one. These authors give the base ten logarithms of the offset-
concerns raised regarding EPA’s overall IRIS process. The result was
adjusted median, i.e., log10 (median e offset), with a value of
that the U.S. Congress requested that NRC assess the existing and
0.335 and the standard deviation with a value of 0.377. Using nat-
planned changes in IRIS, and in 2014, NRC released their review.
ural logarithms, the corresponding values would be m ¼ 0.770 and
NRC’s forward-looking approach sought to provide a framework
s ¼ 0.867 and following a selection of a value using these param-
for the inclusion of data from multiple sources such as high
eters, one would also need to exponentiate the selected value and

link to page 15 link to page 15 link to page 16 link to page 15 link to page 14 link to page 14 link to page 16 link to page 16 link to page 16 link to page 16 link to page 15 link to page 5 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 16 link to page 16 link to page 16 link to page 15 link to page 5 link to page 5 link to page 15 link to page 5 12
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
add the value of the offset parameter, t ¼ 1.
toxicodynamic components, also contain both elements of adjust-
Attempts have been made to determine the range of human
ment and uncertainty (e.g., Table 2).
variability and thus “groundtruth” the intraspecies UF (Dourson
Even the factor for database deficiencies assumes that missing
et al., 1996; Renwick and Lazarus, 1998). Both EPA’s recent guid-
toxicity data will necessarily represent an endpoint that, if tested,
ance on data-derived extrapolation factors (DDEFs) and the WHO-
would result in a lower RfV. The database for a given chemical may
IPCS guidance on CSAFs are silent on the nature of the distribution,
not include testing for developmental and reproductive toxicity
although the WHO document mentions log-normal distributions
(DART) and adjustment is deemed necessary because of concern for
(WHO-IPCS, 2005; USEPA, 2014).
this type of endpoint (Dourson et al., 1992, 1996; USEPA, 2002b;
Swartout et al. (1998) likely chose the log-normal distribution
Blackburn et al., 2015).
more for computational tractability and flexibility rather than for
the fidelity with which this distribution represents quantitative
2.2. Sources of uncertainty represented by the five uncertainty
adjustment and uncertainty. This point is examined further else-
factors
where in this paper.
When NOAELs or LOAELs are used as PODs, their value is
As previously mentioned, five distinct areas of uncertainty are
unavoidably skewed by study design and we recognize that the
addressed by the UFs used in EPA assessments. Separating these
BMD as a point estimate of the POD is also imprecise. Toxicological
five types of uncertainty was not addressed in NRC (2014). The use
responses follow the laws of thermodynamics and logarithms are
of UFs for human variability and interspecies extrapolation was
the most appropriate expression of dose (Clark, 1933; Bruhn et al.,
developed from work in the 1950s of Lehmann and Fitzhugh of the
2003; Waddell, 2008, 2010; Hughes and Aronson, 2010). When the
Food and Drug Administration as well as others (Lehman and
sample size of the underlying study is sufficiently large, by the
Fitzhugh, 1954). At that time, a 100-fold UF was proposed to ac-
central limit theorem, the maximum likelihood estimator of the
count for interspecies differences and human variability with the
POD will approximate a normal distribution; this normal approxi-
latter including allowance for sensitive subpopulations and, to a
mation is also the case for this estimator of the POD on a loga-
lesser extent, possible synergistic effects with other chemicals. Data
rithmic scale. Further, the use of lognormal distributions would be
regarding inter- and intra-species differences were considered and
more robust against variation skewed toward the heavy right tail
the likely intent was that eventually a data-derived probabilistic
when the sample size is small to moderate. Zhu et al. (2007) con-
method would be used in lieu of the 100-fold default. In 1980, EPA
ducted an extensive bootstrap simulation of four developmental
recommended an additional UF between 1 and 10 in cases when an
studies that represent the typical dose-response shapes observed
ADI value was estimated from a LOAEL rather than a NOAEL
in generation II developmental studies conducted by NTP. The
(Dourson and Stara, 1983).
distributions of the BMD distributions at BMR levels of both 1% and
Renwick and Lazarus (1998) provide historical details of the
5% BMR level are negatively skewed to a considerable extent
separation of the inter- and intraspecies UFs into toxicokinetic and
(Table IV in Zhu et al., 2007). Hence, using normal distributions of
toxicodynamic components. WHO-IPCS (2005) indicates the
the BMD is not advisable in practice because substantial bias would
default interspecies UF should be split into factors of 2.5 and 4 for
occur in estimating BMDLs (Zhu et al., 2007USEPA, 2012a).
toxicodynamics and toxicokinetics respectively whereas the intra-
These explanations notwithstanding, the true form of the dis-
species UF should be split evenly into default components of √10
tribution of the BMD remains unknown and is likely case-specific.
(i.e., 3.16). USEPA (2014) suggests that both default inter- and
Hence, similar to the NRC and others in the history of RfV devel-
intraspecies factors can be split evenly as √10. Generally, this value
opment, we acknowledge this imprecision and also chose to
is rounded to 3. In addition, when supporting data exist, EPA (2014)
represent both the POD and the UFs with log-normal distributions
indicates that both the toxicokinetic and toxicodynamic compo-
for illustration.
nents of the interspecies UF can have a value of less than one
(USEPA, 2014).
2.1. Adjustment vs. accounting for uncertainty
Using the traditional method for UF application by dividing into
the POD, when uncertainties are identified from distinct sources,
UFs, as traditionally applied, seek to provide a “reasonable
individual UFs should be specified and generally applied at the
maximum adjustment” both for the necessary extrapolations and
appropriate stage of RfV development to ensure the transparency
for developing a protective value in the face of uncertainty
and specificity of the process (e.g., Simon et al., 2008, 2009). Using
(Dourson and Stara, 1983; Barnes and Dourson, 1988). Hence, any
only a composite UF applied at the end of the process diminishes
choice of the form of the distribution of uncertainty needs to
this transparency. Generally, this same principle should be applied
consider both adjustment and uncertainty. The central value of the
when using Bayesian methods to individual UFs singly and at
distribution is a reasonable choice for numerical adjustment
different stages within the RfV process, based on the nature of the
whereas the variance is likely a representation of uncertainty. The
adjustment as shown in Fig. 1. The issue of when to apply particular
central values will be different for different UFs and will affect the
individual UFs will be examined further in the DISCUSSION.
choice of a value for the variance to provide adequate coverage.
The choice of numerical values for m and s for log-normal UF
For example, even if the value of a NOAEL cannot be established
distributions allows one to decide both the degree of adjustment
from a study, by definition, the value will be less than the measured
and uncertainty and whether to remain consistent with default
LOAEL. Hence, the central value of any distribution representing the
uncertainty values or to choose a different valuedby specifying the
LOAEL-to-NOAEL UF (UF-L) will be greater than unity and will
percentile corresponding to the degree of uncertainty. Table 1
constitute an adjustment and the variance will be an estimate of
provides a range of UF values for a generic log-normal UF distri-
the attendant uncertainty.
bution; the value of m is zero and the table shows the values of the
As noted, a chronic point of departure will be lower than a
Bayesian prior standard deviations on a natural log scale for a range
subchronic POD, and similar to the case of UF-L, the central value of
of percentiles corresponding to one-sided confidence intervals. The
UF-S represents the central value of this adjustment for dosing
table is similar to Table 7-2 in NRC (2014). The highest UF value in
duration and the variance represents the surrounding uncertainty.
the NRC table is 1000 whereas the highest UF value shown in
The factors for animal-to-human extrapolation (UF-A) and hu-
Table 1 is 10dthe reason is that we believe these methods should
man variability (UF-H), even when split into toxicokinetic and
be applied to individual UFs/EFs rather than to the composite UF,

link to page 6
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
13
Table 1
Standard deviations of the log-normal distributions used for application of individual uncertainty/adjustment/extrapolation factors with geometric means of one, UF-A and
UF-H. The value of m is set equal to zero, under the assumption that no adjustments are needed. Hence, these UF values will be applicable to UF-A and UF-H.
Value of UF
20th percentile
10th percentile
5th percentile
2.5th percentile
0.5th percentile
or 80th percentile
or 90th percentile
or 95th percentile
or 97.5th percentile
or 99.5th percentile
Z-score
0.842
1.282
1.645
1.960
2.576
Standard deviation values for UFs > 1 below are added when combined
2
0.823
0.541
0.421
0.354
0.269
2.5
1.089
0.715
0.557
0.468
0.356
3
1.305
0.857
0.668
0.561
0.427
3.16
1.367
0.898
0.699
0.587
0.447
10
2.736
1.797
1.400
1.175
0.894
Percentile of the left tail (e.g. 5-percentile) applies to UF < 1; percentile of the right applies to UF > 1.
Confidence level is equal to (100 e left) percentile for one-sided values and (100e2  left percentile) for two-sided values.
The actual UF value corresponds to exp(Z-score * Table Value); hence, for a UF of 10 corresponding to the 95th percentile, UF ¼ exp(0 þ 1.645*1.4) ¼ 10.
Table 2
Means and Standard Deviations of log-normal distributions used for UF-A when humans are known to be less sensitive than animals. To use these UFs, the value of m would be
added to the POD and the value of s combined with the other UFs as shown in Eq. (1b). A value of m ¼ ln (0.3) assumes that humans are known to be about 1/3 as sensitive as
animals. The value of the standard deviation are used to obtain a UF value equivalent to that shown in the leftmost column. Hence, the data might show humans are 1/3 as
sensitive but to account for uncertainty, humans and animals are considered equally sensitive. In the bottom two rows, humans are known to be 1/10 as sensitive as animals
and to account for uncertainty, humans are considered either 1/3 as sensitive or equally sensitive (Value of UF ¼ 0.3 or 1 respectively).
Value of UF
20th percentile
10th percentile
5th percentile
2.5th percentile
0.5th percentile
or 80th percentile
or 90th percentile
or 95th percentile
or 97.5th percentile
or 99.5th percentile
Z-score
0.842
1.282
1.645
1.960
2.576
Standard deviation values for UFs < 1 are subtracted when combined, assuming m ¼ ln (0.3)
1
1.431
0.939
0.732
0.614
0.467
Standard deviation values for UFs < 1 are subtracted when combined, assuming m ¼ ln (0.1)
0.3
1.306
0.858
0.669
0.561
0.428
1
2.736
1.797
1.400
1.175
0.894
Fig. 1. Scheme for application of UFs at the appropriate stage of the RfD process. Following BMD modeling in animals, the internal dose metric may be adjusted for with UF-L and
UF-S. The animal dose metric at the POD is adjusted with the UF-A-TD to obtain the human internal dose metric at the POD. This human POD is adjusted with the UF-H-TK to obtain
the POD in sensitive humans. The human PBPK model is used to obtain external doses and the UF-D is applied if necessary.
the product of individual UFs. In addition, the use of a distribution
affect coverage, an important consideration for the protectiveness
for UFs necessitates the choice of both m and s. Both parameters
of the UF value chosen.

link to page 15 link to page 16 link to page 5 link to page 6 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 5 link to page 6 link to page 15 link to page 6 link to page 6 link to page 6 link to page 6 link to page 6 link to page 5 link to page 15 link to page 15 link to page 15 link to page 6 link to page 15 14
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
The traditional method for application of UFs involves division
shown here represents a methodological refinement of the one
of the POD by the UFs and division is equivalent to subtraction of
used in the phenol example on page 121 of Chapter 7 of NRC (2014).
logarithms. The use of UFs less than one will mean that these values
Practically, we believe that individual UFs represent areas of
will be added to the logarithm of the POD rather than subtracted
uncertainty too dissimilar to support the use of a single distribution
and thus will increase the value of the RfV.
for the composite UF obtained as the product of individual UFs in a
When values of UF-A less than unity are used, this choice in-
Bayesian framework. The use of a composite UF would ignore the
dicates that humans are measurably less sensitive than the animal
knowledge of uncertainty from specific sources, consistent with the
test species (e.g., Simon et al., 2008, 2009). USEPA (2014) indicates
original rationale for the five UFs. For example, the extrapolation of
that the extrapolation factor may be less than one for both the
experimental animal toxicokinetics to human toxicokinetics (i.e.,
toxicokinetic and toxicodynamic components of the interspecies
the UF-A-TK) is not the same as the extrapolation of a NOAEL or
extrapolation factor when supporting data exist. In such a case, one
BMDL from a subchronic experimental animal study to its chronic
would base the value of such a data-derived UF on measured dif-
equivalent (i.e., the UF-S); specific knowledge about the uncer-
ferences between humans and the test species. The central value,
tainty in interspecies differences in toxicokinetics and chronic vs.
i.e., the mean or median, of these measured differences would
subchronic exposure will likely warrant choosing different adjust-
inform the adjustment value or m and the spread of the differences
ments and different ranges of uncertainty. Hence, we believe the
would inform s, the measure of uncertainty. Use of an interspecies
best practice is to assume that each factor is independent and then
UF with a value less than unity would, of course, depend on the data
to choose distributions that represent each individual UF and apply
in humans and the test species; here, for illustration, Table 2 shows
these at the appropriate stage during the development of an RfD or
values of m less than one that represent a reduction of the margin of
RfC, as in Fig. 1.
safety as an adjustment to be added directly to the natural loga-
Eq. (1a) below shows the combination of a single distribution for
rithm of the POD and the value of s would be combined using Eq.
the composite uncertainty factor with the uncertainty in the POD,
(1b) below to increase the margin of safety, thus accounting for
as in the phenol example in NRC (2014). Eq. (1b) shows the
uncertainty.
refinement of this method recommended here for combining the
In general, an UF/EF from a given source is considered to be both
distributions representing both adjustment and uncertainty for
a numerical adjustment with a conservative upper bound of un-
each individual UF with the uncertainty in the POD.
certainty. The Bayes approach described here accounts for both the
qffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
adjustment and the uncertainty. A point estimate may be selected
lnðPODÞ  Za s2
þ s2
(1a)
from this distribution or the entire distribution may be used. We
POD
UFcomp
emphasize that the mean value is the central value of the adjust-
ment and standard deviation characterizes the range of uncertainty
lnðPODÞ
inherent in this adjustment. Hence, risk analysts will need the
X
qffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
flexibility to choose different means and standard deviations and

m
s2
UF Za
þ s2
þ s2
þ s2
þ s2
þ s2
POD
UFS
UFL
UFA
UFH
UFD
different percentiles and, thus, different confidence levels for a
(1b)
given UF, and will also need to provide a rationale for their choices.
The increased flexibility and the need for a rationale will increase
Eq. (1b) implies that for each UF both parameters m and s are
the transparency and the likely utility of any RfV.
known: 1) the central value characterized by the mean and 2) the
range characterized by the variance. In contrast, Eq. (1a) implies
2.3. Use of UF distributions to represent a percentile of the target
that only the range of total uncertainty from all sources aside from
population included in an RfV value
that in the POD is known and that the adjustment or mean is
assumed to be zero. For any of the UF distributions, the value of m
Science and Decisions: Advancing Risk Assessment, from the NRC
may be zero, indicating no adjustment, or a positive or negative
in 2009 distinguished between adverse effects occurring on the
value, and in Eq. (1b), the sum of the adjustments is shown as Sm. In
individual level characterized by severity or magnitude, and
contrast, in Eq. (1a), whether an adjustment is associated with this
adverse effects of a particular magnitude occurring on a population
total uncertainty and just how much of this total variation is
level characterized by their incidence or frequency within the
attributable to each source of uncertainty remains unspecified.
population (NRC, 2009).
Thus, the relative magnitude of any area of uncertainty will also be
This idea of protecting the population at a given risk or inci-
unspecified and any dominant uncertainty cannot be identified. As
dence level for a particular effect magnitude was first advanced as
noted in the legend to Table 2 and above, the values of m for UF-A
part of a “Straw Man” proposal to define the RfV in a more quan-
may be less than zero; in such cases, the absolute values of the
titative fashion (Hertzberg and Dourson, 1993; Dourson et al., 1997;
logarithms of their values will be added to and not subtracted from
Teuschler et al., 1999; Hattis et al., 2002).
the POD.
This paper is a proof-of-concept and a first attempt to learn what
The five examples below serve to suggest initial ways to use the
aspects of Bayesian methods for UF application can be used either
methods described in NRC (2014) in the immediate term. Save for
immediately or in the near term. Hence, consistent with current
example 2 below, the value of m is assumed to be zero for all UFs,
EPA practice, distinguishing magnitude and incidence was not
consistent with NRC (2014). This assumption was maintained in the
implemented here.
calculation of RfVs for 24 recent IRIS assessments presented below
in order to facilitate comparison with the IRIS values. As discussed,
3. Methods
this assumption about the value of m for all UFs is clearly incorrect,
but with this assumption, the results can be meaningfully
The derivation of RfD and RfC values followed generally the
compared with the method from NRC (2014) as shown in Eq. (1a)
suggestions of NRC (2014). We considered each individual UF,
and with those in EPA’s IRIS database. These examples are by no
rather than the composite UF, to be represented by a Bayesian prior
means definitive; however they do provide a first look at replacing
distribution characterized by its mean and variance. These indi-
default single point estimates for UFs with distributions, and, thus,
vidual distributions can be combined to obtain a measure of the
provide an improvement that has been recommended in multiple
overall adjustment and attendant uncertainty. Hence, the method
NRC reports (NRC, 2006, 2007b, 2009, 2014).

link to page 16 link to page 16 link to page 16 link to page 16 link to page 7 link to page 5 link to page 7 link to page 7 link to page 16 link to page 15 link to page 6 link to page 15 link to page 5 link to page 7 link to page 14 link to page 14 link to page 14 link to page 6 link to page 16 link to page 11 link to page 15 T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
15
3.1. Example 1dcombining individual UFs with the POD
s
lnðUF1 x UF2 x UF3 x ::: x UFkÞ ðm1 þm2 þm3 þ ::: þmkÞ
composite ¼
Za
In this example, the general method is illustrated. The BMDL
¼ s1 þs2 þs3 þ ::: þsk
represents the lower 95% one-sided confidence limit on the BMD,
(4)
consistent with USEPA (2012a). Note that in practice, a different
level of confidence may be chosen and one can specify this choice in
The variance for the composite UF would be:
EPA’s Benchmark Dose Software. From the BMD modeling con-
ducted by EPA for phenol, the values of the BMD and BMDL were
s2
¼ ðs
composite
1 þ s2 þ s3 þ ::: þ skÞ2
(5)
157 mg/kg/d and 93 mg/kg/d respectively (USEPA, 2002b). The
absolute value of the Z-score associated the BMDL is 1.645, indi-
In contrast, when individual UFs are combined within the
cating the BMDL occurs at the lower 95% one-sided confidence limit
Bayesian framework described in NRC (2014), the overall variance
of the BMD or the 5th percentile of the distribution of uncertainty
would be sum of the individual variances as follows:
in the BMD. Assuming ln (BMD) follows a normal distribution with
the mean ¼ ln (157) and the lower 95% one-sided confidence level
s2 ¼ s2 þ s2 þ s2 þ ::: þ s2
1
2
3
(6)
k
or 5th percentile ¼ ln (93), the standard deviation, s, of the dis-
Thus the variance for the composite UF will be far greater than
tribution of uncertainty in the POD is given by:
the variance when an independent distribution is assumed for each
component UF.
lnð157Þ  lnð93Þ ¼ 0:318
(2)
To demonstrate this point, we will consider the combination of
1:645
three UFs, each with a default value of 10 representing 95%
where the symbol “ln(x)” indicates the natural logarithm of the
coverage. On a natural log scale, the distributions would have m ¼ 0
value of “x”.
and s ¼ 1.4 (Table 1). The composite UF would be 1000, scomposite
In deriving the RfD for phenol, EPA used three individual UFs,
on a natural log scale would be 4.2, and the variance would be 17.6.
(BMDL/(UF-A  UF-H  UF-D)); these were interspecies UF-A with
When the UFs are combined as in Eq. (6), the overall standard
a default value of 10, intraspecies UF-H with a default value of 10
deviation would be 2.4 and the variance would be 5.9. Intuitively,
and a database uncertainty factor, UF-D, with a value of 3. USEPA
the value of the composite UF has a 5% chance to be beyond the
(2002a) provides a rationale for the choice of the default values
overall 95th percentile whereas the chance of being above 95th
for UF-A and UF-H and indicates the reduced value of UF-D is based
percentile for all individual UFs simultaneously is (0.05)^k, much
on the relatively complete database; however, the value of UF-D
smaller than 0.05. Hence, this use of a composite UF is another
was chosen to be greater than unity because only a single short-
example of compounding conservatism (Burmaster and Lehr, 1991;
term study indicating the potential for hematological effects was
Burmaster and Harris, 1993; Von Stackelberg and Burmaster, 1993;
available.
Cullen, 1994; Simon, 2011; Tatum et al., 2015).
Here we assume each UF can be characterized by a log-normal
This simple example of the refined method (Eq. (1b)) demon-
distribution with mean m representing any needed adjustment
strates not only the combination and application of individual UFs
and a standard deviation s representing the attendant uncertainty.
using Bayesian methods but also the flexibility and potential of the
When m ¼ 0, s is calculated as ln (UF)/Z-score (for the 95th
use of informed choices for the values of the mean adjustment, the
percentile, this would be ln (UF)/1.645). The overall uncertainty in
standard deviation and percentile that each individual UF repre-
the RfD also follows a log-normal distribution that combines into
sents. In addition, the Bayesian framework provides the ability to
its overall standard deviation the variation/uncertainty in the POD
develop sequential updates to an RfD/RfC as new knowledge about
with the adjustments all equal to zero (not shown explicitly in Eq.
these uncertainties becomes available.
(3a)) and uncertainty at the 95th percentile of the log-normal
distributions of the inter- and intraspecies UFs having each a
3.2. Example 2: adjusting the POD and accounting for uncertainty
value of 10 and the database uncertainty factor having a value of 3.
Table 1 provides the values of s for the UFs for a range of percen-
We wished to provide an example of an adjustment to the POD
tiles/confidence limits (Eq. (3a)). The RfD on the log-scale is taken
for UF-L that implies a non-zero adjustment and we chose the RfC
as the 5th percentile of this distribution, i.e. 1.579.
for 1,4-dioxane. In the IRIS derivation, the composite UF was 1000,
consisting of UF-A ¼ 3, UF-H ¼ 10, UF-L ¼ 10 and UF-D ¼ 3. The POD
pffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
lnð157Þ  1:645* 0:3182 þ 1:42 þ 1:42 þ 0:6682 ¼ 1:579
was a NOAEL based on the critical effect of sclerosis of the lamina
propria, and a LOAEL for the critical effects of atrophy and respi-
(3a)
ratory metaplasia of the olfactory epithelium. The value of the POD
was 32.2 mg/m3 and was considered a LOAEL (USEPA, 2013b).
RfD ¼ e1:579 ¼ 4:85x5 mg=kg=d
(3b)
The values of m for UF-A, UF-H and UF-D were assumed to be
zero. The values for m and s for UF-L were obtained from Table 3 of
An RfV is expressed with one or at most two decimals (Eq. (3b))
Pieters et al. (1998). The geometric mean and geometric standard
(USEPA, 1989). For comparison, the RfD value for phenol from EPA’s
deviation of the LOAEL/NOAEL ratio values from 175 chronic studies
IRIS database is 93 mg/kg/d divided by 300 or 0.3 mg/kg/d. The RfD
are reported as 4.5 and 1.7 respectively. These values are equivalent
value for phenol presented in NRC (2014) was derived using Eq. (1a)
to m ¼ 1.504 and s ¼ 0.531.
above and assuming the BMDL was the one-sided lower 97.5th
Hence, the value of the RfC is calculated as:
percentile of the uncertainty in the BMD and that the composite UF
represented the 97.5th percentile of the total uncertainty; this
pffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
lnð32:2Þ  1:504  1:645* 0:6682 þ 1:4002 þ 0:5312 þ 0:6682
value was 0.5 mg/kg/d.
The reduction of total value of uncertainty that occurs by
¼ 0:940
dividing the total uncertainty into components is a general phe-
(7a)
nomenon, not specific to RfV development; the standard deviation
for the composite UF would be the sum of the standard deviations
RfC ¼ e0:940 ¼ 0:39y0:4 mg=m3
(7b)
as follows:

link to page 5 link to page 11 link to page 7 link to page 5 link to page 16 link to page 8 link to page 8 link to page 5 link to page 8 link to page 16 link to page 8 link to page 5 link to page 14 link to page 14 link to page 16 link to page 14 link to page 15 16
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
For comparison, the RfC is calculated using the assumption of no
531 ppm. USEPA indicates that the PBPK model captured in Eq. (10)
adjustment and the value from Table 1 for UF-L ¼ 10, i.e. m ¼ 0 for all
is valid only for HEC values below 500 ppm. Nonetheless, the model
UFs, including UF-L.
was used at this stage to remain faithful to the scheme shown in
ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
p

Fig. 1. Additional information on the derivation of the Methanol RfC
lnð32:2Þ  1:645* 0:6682 þ 1:4002 þ 1:4002 þ 0:6682
indicates that the most accurate range of Eq. (10) is between 500
¼ 
and 1000 ppm; this information is provided in Supplementary
0:137
(7c)
Content.
EPA chose a value of 10 for the combination of the toxicody-
RfC ¼ e0:137 ¼ 0:87y0:9 mg=m3
(7d)
namic and toxicokinetic components of the intraspecies UF-H ac-
counting for lack of knowledge of true human variability and
In this instance, the adjustment with a value of ln (4.5) for the
assuming that the value of 10 represents the “best guess” of the 95%
use of a LOAEL along with the measured variance in a dataset of 175
one-sided confidence limit of human variability (WHO-IPCS, 2014).
LOAEL/NOAEL ratios led to a more protective toxicity factor than
UF-H is best applied to the human-equivalent concentration ob-
using m ¼ 0 (Table 3 and Eq. (7)).
tained from Eq. (10) representing the result of applying human
A full exploration of the issues of adjustment and coverage is
PBPK model. Because of the lack of data on reproductive, devel-
beyond the scope of this paper; nonetheless, we wanted to provide
opmental and chronic effects in non-human primates, EPA chose to
an example calculation as a gateway to future work. The point of
use a database deficiency UF-D with a value of 3. The choice of this
this example is that both the choices of both the mean and standard
value indicates that should a full database become available, one
deviation of the log-normal distribution chosen to represent a
could be 95% certain that the value of the RfC would be reduced by
particular UF affect the amount of adjustment and the degree of
no more than three-fold. The values of both UF-H and UF-D rep-
coverage.
resented the 95% one-sided confidence limits (Table 1) were
applied to the HEC of 531 ppm as follows:
3.3. Example 3: methanol RfCdincorporation of physiologically-
pffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
based pharmacokinetic (PBPK) modeling for interspecies
lnð531Þ  1:645* 1:42 þ 0:6682 ¼ 3:721
(11a)
extrapolation
.
.
In this example, we illustrate the stages at which the various UFs
RfC ¼ e3:721 ¼ 41:3 ppm ¼ 54 mg m3y50 mg m3
(11b)
are applied, as shown in the scheme in Fig. 1. This example will be
For comparison, this value is 2.5 fold greater than the RfC for
revisited in the DISCUSSION. EPA selected decreased brain weight
methanol in IRIS of 20 mg/m3.
in rats as the critical effect and used a PBPK model to obtain the
POD as an area-under-the-curve (AUC) in rat dams in units of mg-
hr/L (USEPA, 2013a). A decrement of one standard deviation from
3.4. Example 4dcombining PODs from multiple studies-PCE
the control mean was used as the benchmark response (BMR). The
Hill model was chosen and a BMD1SD of 1730 mg-hr/L and a
In this example, Bayesian updating is shown for the accommo-
BMDL1SD of 858 mg-hr/L were obtained. Assuming the BMDL1SD
dation of different data sets. The advantage of this method is a
is the 95% lower one-sided confidence level or 5th percentile, the
reduction in uncertainty in the POD. For perchlorethylene, EPA
standard deviation of the distribution of uncertainty in the animal
considered two separate studies as sources for POD values; both
POD is
studies measured mean exposure of dry cleaning workers (Cavalleri
et al., 1994; Echeverria et al., 1995). 
These two studies observed
lnð1730Þ  lnð858Þ ¼ 0:426
(8)
changes in vision in dry cleaning workers and the exposure con-
1:645
centrations are thus considered LOAELs (USEPA, 2012b).
The value of the interspecies factor or UF-A used by EPA was 3,
Cavalleri et al. (1994) provide the arithmetic mean and arith-
reduced from 10 because a PBPK model was used to extrapolate the
metic standard deviation of 6.23 ± 6.66 ppm as the concentrations
toxicokinetic component. This choice represents the 95% one-side
to which 35 dry cleaning workers were exposed as a time-weighted
confidence limit of uncertainty associated with the toxicody-
average, equivalent to 42 ± 45 mg/m3. This exposure was duration-
namic component of interspecies extrapolation; further, this choice
adjusted to represent constant exposure as follows:
assumes that humans could be at most slightly more than three-
fold more sensitive than the test species in terms of toxicody-
.
5d
10 m3
.
ð42±45Þ mg
x
d ¼ ð15±16Þ mg
namics and that the value of 3 as a high percentile represents a
m3 x 7d 20 m3
m3
(12)
d
conservative choice. An estimate of the actual value representing
interspecies toxicodynamic differences is not available; if so, the
The air concentrations of PCE were measured with personal
value of this estimate would be used as the value of m of UF-A-TD
passive samplers. The range of values is from 0.38 to 31.19 ppm. The
instead of assuming m ¼ 0. The human POD as the AUC derived
original data are not available, but the coefficient of variation of
from the animal AUC BMD1SD would be
these air concentrations is 6.66/6.23, over 100%, and the concen-
pffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
tration range is about 100 fold. These wide variations are suggestive
lnð1730Þ  1:645* 0:4262 þ 0:6682 ¼ 6:152
of a heavy right-tailed distribution consistent with the character-
(9)
expð6:152Þ ¼ 470 mg  hr=L
istic shape of a log-normal distribution. The geometric mean of
10.3 mg/m3 and geometric standard deviation of 2.391 were
To obtain the human-equivalent concentration (HEC) in ppm,
calculated from the arithmetic mean and arithmetic standard de-
EPA (2013) provided a single equation that represented the human
viation (Limpert et al., 2001).
PBPK model and is shown below for completeness:
With such a wide range of exposure, considerable uncertainty
exists in the interpretation of the mean value as an effect level.
1734*AUC
HECðppmÞ ¼ 0:02308*AUC þ
(10)
Within the approximately 100-fold range of exposure, some frac-
1098 þ AUC
tion of those exposed were sufficiently sensitive to experience vi-
Using Eq. (10), the HEC corresponding to 470 mg-hr/L is
sual changes; however, the unknown variations in both exposure

link to page 9 link to page 15 link to page 15 link to page 11 link to page 15 link to page 16 link to page 15 link to page 15 link to page 14 link to page 15 link to page 15 link to page 5 link to page 5 link to page 16 link to page 16 T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
17
and sensitivity both contribute to the occurrence of the critical
3.5. Example 5ddetermining the percentile of the distribution of
effect, and the contributions of these two factors cannot be sepa-
overall uncertainty for RfD development
rated. This compounded uncertainty of exposure and sensitivity
notwithstanding, the standard error of the duration-adjusted
In the four examples above, we have chosen the lower 95th
arithmetic mean concentration of 15 mg/m3 will be used here as
percentile (i.e. the 5th percentile) of the log-normal distribution
an estimate of the uncertainty in this LOAEL with the under-
representing the individual UFs or the POD. Here, examples of
standing that this estimate is likely inaccurate. The purpose here is
different choices are explored for both the value of the UF and the
to illustrate the Bayesian combination of PODs. The value of the
percentile this value represents reflect the state of knowledge or
SEM is 2.68 mg/m3 and was estimated with a simulation, similar to
confidence regarding the various sources of uncertainty. The
a parametric bootstrap.1 Hence, the uncertainty in this duration-
choices of UF value and the percentile dictate the value of the
adjusted LOAEL of 15 ± 2.68 mg/m3 can be represented by a log-
standard deviation (Table 1). We expect guidance to emerge
normal distribution with parameters m ¼ 2.692 and s ¼ 0.177
regarding these choices as more experience with Bayesian appli-
(Limpert et al., 2001).
cation of UFs is gained. Here, we provide three illustrations of
Echeverria et al. (1995) provide the arithmetic mean and
altering the value of UFs using the example of phenol.
arithmetic standard deviation equal to 23.2 ± 17.7 ppm in air as the
The first method involves choosing a different value for an un-
concentration to which 18 workers were exposed in dry cleaning
certainty factor. The 95th percentile would be maintained and
shops using a wet-transfer process. They collected PCE measure-
these two choices would dictate the value of s. Hence, for the
ments in breath and air in the breathing zone of 17 dry cleaners in
phenol example, the value of 2 rather than 3 would be chosen as
Detroit. These concentrations are equivalent to 156 ± 120 mg/m3.
UF-D indicating a lower level of concern for the completeness of the
The duration-adjusted values are 56 ± 43 mg/m3. This group is the
toxicity database; EPA indicated that this database UF was used
moderate exposure group in Table 3 of Echeverria et al. (1995) and
because immunologic and hematologic endpoints were not
the one chosen by EPA in the PCE Toxicological Review in Table 5-1
examined in the rodent developmental studies, and thus, any
as representing a LOAEL (USEPA, 2012b). Using the same simulation
values derived from consideration of developmental and repro-
method, the standard error of the mean (SEM) was estimated to be
ductive studies may not be applicable because of this missing
10.36 mg/m3. Hence, the mean exposure is 56 mg/m3 and the un-
endpoint. From Table 1, the value of the standard deviation is 0.421
certainty as the SEM is 10.36 mg/m3. Based on these values, the
corresponding to a UF value of 2 at the 95th percentile is used, and
uncertainty in the LOAEL from Echeverria et al. (1995) can be rep-
the RfD for phenol would be calculated as:
resented as a log-normal distribution with m ¼ 4.009 and s ¼ 0.183,
ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
p

with the same caveats about the inherent uncertainty from un-
lnð157Þ  1:645* 0:3182 þ 1:42 þ 1:42 þ 0:4212 ¼ 1:686
known ranges of exposure and sensitivity.
(14a)
NRC (2014) suggests variance weighting to combine PODs from
different sources and gives several examples. In the following
example, the distribution from Cavalleri et al. (1994) is considered
RfD ¼ e1:686 ¼ 5:4y5 mg=kg=d
(14b)
the prior distribution and that from Echeverria et al. (1995) is
Because of the need to round to one significant figure (USEPA,
considered as new data to update the prior. This example calcula-
1989), the choice of a UF of 2 versus 3 makes no difference in the
tion is very similar to that on page 123 of NRC (2014). The variance-
final value of the RfD.
weighted POD would be calculated as:
The second method would be the selection of a different
percentile of UF-D to be represented by the numerical value of 3.
s
This choice also dictates the value of s. One can assume this study
2
prior
m
s2new
m
deficiency was of less concern than the complete lack of any
s2
þ s2
new þ s2 þ s2
prior ¼
developmental study and thus warranted the assumption that the
prior
new
prior
new
UF value of 3 actually occurred at the 99.5% one-sided confidence
0:17732
0:18342
limit and would dictate s equal to 0.427. Hence, the RfD for phenol
0:17732 þ 0:18342$4:009 þ 0:17732 þ 0:18342$2:692 ¼ 3:328
would be calculated as:
(13a)
ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
p

lnð157Þ  1:645* 0:3182 þ 1:42 þ 1:42 þ 0:4272 ¼ 1:667
Combining the values from the two studies would give a POD of
28 mg/m3. The standard deviation in natural log space of the log-
(15a)
normal distribution representing uncertainty in the combined
POD would be:
RfD ¼ e1:667 ¼ 5:3y5 mg=kg=d
(15b)
ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
v

Although numerically slightly higher than the unrounded value
 
u
!
sffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
1
u


from example 1, rounding to one significant figure would give the
1
1
t
1
1
1
same final value of the RfD. If UF-D were of greater concern, one
s
þ
¼
þ
¼ 0:1274
2
s2
0:17732
0:18342
prior
new
could also set this value at a lower not a higher percentile. Hence, if
(13b)
one chose UF-D ¼ 3 to occur at the 90th percentile, this choice
would dictate a value of s equal to 0.857 and the resulting
unrounded RfD would be 4.3 mg/kg/d, which would round to 4 mg/
kg/d.
The third method uses Monte Carlo simulation and generally
1 The simulation was implemented by selecting 35 values at random from a log-
requires specialized software. Here, we used 100,000 Monte Carlo
normal distribution with an arithmetic mean of 15 mg/m3 and an arithmetic
iterations to obtain percentile values of the overall standard devi-
standard deviation of 16 mg/m3 and calculating the arithmetic mean of these
ation corresponding to the overall uncertainty in the phenol RfD.
selected values. This process was repeated 10,000 times and the standard deviation
Here, we use the notation
of the collection of 10,000 simulated means was assumed to represent the standard
F as representing the underlying normal
error of the mean.
distribution of the logarithmic values representing the various

link to page 10 link to page 7 link to page 16 link to page 16 link to page 11 link to page 6 link to page 6 link to page 15 link to page 11 link to page 6 link to page 6 link to page 11 link to page 11 link to page 12 link to page 12 link to page 12 link to page 15 link to page 15 link to page 15 link to page 15 link to page 16 18
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
uncertainties and use these to calculate a distribution for the nat-
“Composite UF” in Table 3) assumes the total uncertainty is char-
ural log of the overall standard deviation.
acterized by a single distribution of which the variance is deter-
mined by the composite UF, with generally a default-based value of
lnðUFoverallÞ ¼ FPOD þ FUFA þ FUFH þ FUFD
up to 3000, in combination with the uncertainty in the POD; hence,
F
in the Composite UF approach, only two sources of uncertainty are
POD ¼ Nð0:0; 0:318Þ;
(16a)
where
F
considered within the Bayesian framework
UFA ¼ FUFH ¼ Nð0:0; 1:4Þ;
dthat in the POD and
F
that in the composite UF. Considering the value of the combined
UFD ¼ Nð0:0; 0:668Þ;
variance as a measure of uncertainty, the range of uncertainty
under the Composite UF approach is greater than that under Indi-
RfD ¼ expðlnð157Þ þ p05ðlnðUFoverallÞÞÞ
(16b)
vidual UF approach as discussed earlier.
The value of the 5th percentile of the ln (UF
This point about multiple sources of uncertainty is well illus-
overall) used in Eq.
(16b) would correspond to the 95th percentile of uncertainty.
trated by the RfC for ammoniadthis value was based on a NOAEL to
Values below the 50th percentile of this combined distribution
which a single UF accounting for human variability (UF-H) was
would be negative because no adjustments were made (i.e. m ¼ 0
applied. Because the POD was a NOAEL and not a BMD, the un-
for all UFs) and the value of this chosen percentile would be added
certainty in the POD could not be determined and only a single
to the POD (or the absolute value subtracted from the POD). From
component of variance was present. In all other assessments
the Monte Carlo results, the values of the RfD corresponding to the
considered here, two or more variance components were present
1st, 2.5th, 5th and 10th percentiles were 1.1, 2.5, 4.9 and 10.4 mg/
(Table 3; Fig. 2A).
kg/d respectively. At the 5th percentile, the resulting rounded RfD
In comparison to the IRIS derivations, the RfV values developed
of 5 mg/kg/d is the same as that obtained with Eq. (3) and would
with the Individual UF method increased with both the value of the
not be expected to be different from the original phenol estimate
composite UF and the number of UFs used. When 2, 3 and 4 UFs
except by sampling error. Hence, considering the traditional sour-
were used, the geometric means of the fold change increase over
ces of uncertainty in the RfD, one could be 95% confident that an
the IRIS value were approximately 2.6, 8.6 and 26 respectively
RfD value below 5 mg/kg/d would be protective of all humans,
among the chemicals considered in this exercise. Fig. 2A shows
including potentially sensitive subpopulations; also, one could be
graphically how the fold change values increase with the value of
90% confident that an RfD value below 10 mg/kg/d would also be
composite UF. For composite UF values of 30, 100, 300, 1000 and
protective.
3000, the geometric mean fold increases were 3.2, 3.7, 13, 20 and 34
In the first example in this section, the choice of different UF
respectively. In contrast, the geometric mean fold change when
value, which prescribed the value of s at a given percentile, was
using the composite UF did not show an increase, or any pattern,
illustrated. In the second example, the chosen UF value was placed
with the value of the composite UF.
at a higher percentile, reflecting a lower contribution of UF-D to the
Fig. 2B shows that when individual UFs are used in a Bayesian
overall uncertainty. This choice also prescribed the value of s for
framework, the fold change increase of this refinement of the NRC
the distribution of UF-D. The third example used a relatively simple
methodology over the IRIS value gets smaller with increased so-
Monte Carlo simulation to obtain a range of UF values and corre-
phistication of the assessment; assessments that used PBPK models
sponding RfDs. Several NRC reviews and EPA guidance documents
had generally the smallest fold change values, and assessments that
point out that providing policy makers with risk estimates span-
relied solely on UFs had the greatest fold change values. With this
ning a range of overall uncertainty may serve as a more useful
method refinement, when UFs only are used, the geometric mean
decision tool than a single point estimate of risk (USEPA, 1992; NRC,
fold change is 22; when dosimetric adjustment factors are used, the
1994; USEPA, 2001; NRC, 2009). As experience is gained with the
geometric mean fold change is 8.6; and, when PBPK models are
Bayesian methods for UFs, some wisdom and resulting guidelines
used, the geometric mean fold change is 3.2. When the composite
for the choices of percentile values or ranges of uncertainty will
UF was used in lieu of individual UFs, the fold change over the IRIS
likely emerge.
did not show a decrease with the level of sophistication in the
assessment.
4. Results
5. Discussion
Twenty-four chemicals were examined in this exercise. The re-
Science and Decisions: Advancing Risk Assessment suggests that
sults and detailed calculations are provided in the Supplementary
the choice of percentiles of uncertainty/adjustment/extrapolation
Content. Table 3 provides an overview of the results; in this table,
factors is the purview of the risk practitioner (NRC, 2009). For hu-
three values of each RfD or RfC from each of three approaches are
man variability, this choice represents the population level of
showndthe IRIS value, the value obtained by using a single log-
protection from the adverse effect of a particular magnitude.
normal distribution for the composite UF (Eq. (1a)), and the value
However, with default UFs applied by dividing them into the POD,
obtained when one treats the individual UFs as separate log-normal
the percentile of protection is completely obscured. NRC (2009)
distributions (Eq. (1b)). Because each assessment has its own
devoted an entire chapter to default values and recommended
characteristics, there are differences in the application of the three
that EPA enhance the science basis of default values. Such
approaches. For example, in the cases of perchlorethylene and
enhancement is seen in the Bayesian approach suggested in NRC
chloroprene, PODs were combined by variance weighting as illus-
(2014). Although the approach is based on default values for UFs,
trated earlier and described on page 123 of NRC (2014).
additional flexibility and transparency is inherent in the choice of
All RfD/RfC values listed under the heading “Individual. UFs” in
the percentile represented by the default value. In time, default
Table 3, save that for ammonia, increased when compared with the
distributions for uncertainty/adjustment/extrapolation
factors
value found on IRIS. The reason is that the refined Bayesian method
based on data can be developed and used (e.g., WHO-IPCS, 2014).
(Eq. (1b)) assumes the uncertainty is along a distribution, which is a
convolution of individual distributions representing the uncer-
5.1. POD and UFs as log-normal distributions
tainty of the POD and each individual UF, respectively. In compar-
ison, the Composite UF approach (Eq. (1a) and with the heading
Toxicity results from the interaction of a xenobiotic chemical

link to page 6 link to page 6 link to page 6 link to page 6 link to page 11 link to page 11 link to page 6 link to page 6 link to page 11 Table 3
Assessment Details and Results of the Use of Bayesian Methods Compared to the IRIS Approaches (page 1 of 2). The column “Composite UFs” shows the result of using Eq. (1a) for the overall s and the column “Individual UFs”
shows the result of using Eq. (1b) for the overall s. For all UFs, the value of m was assumed to be zero. The RfD or RfC is in the same units as the POD.
Substance and
Type of
POD
Status Uncertainty factors
Dosimetric adjustment
Resulting RfD/RfC (mg/kg/d or mg/m3)
Fold change individual
date assessed
toxicity value
called “method of analysis” in IRIS
UFs vs. IRIS method
IRIS
Composite
Individual
method
UFs (Eq. (1a))
UFs (Eq. (1b))
Ammoniaa (Aug. 2013)
RfC
NOAEL ¼ 3.1 mg/m3
Draft
UFH ¼ 10
None
0.3
NA
NA
1
N-butanol (Sept. 2011)
RfD
BMD10 ¼ 56.5 mg/kg/d
Draft
UFA ¼ 10; UFH ¼ 10; UFD ¼ 3;
None
0.09
0.2
2
22
BMDL10 ¼ 26.1 mg/kg/d
RfC
NOAEL-HEC ¼ 59 mg/m3
Draft
UFA ¼ 3; UFH ¼ 10; UFD ¼ 3;
PBPK Model
0.06
0.06
0.2
3.3
UFS ¼ 10;
Vanadium Pentoxide
RfD
NOAEL ¼ 10.5 mg/kg/d
Draft
UFA ¼ 3; UFH ¼ 10; UFS ¼ 10;
DAF ¼ 0.24
9.E-04
9E-04
8.E-03
8.9
(Sept. 2011)
UFD ¼ 10;
RfC
BMC10 ¼ 0.0045 mg/m3
Draft
UFA ¼ 3; UFH ¼ 10; UFD ¼ 10;
DAF ¼ 0.26
1.E-05
1E-05
1.E-04
10
BMCL10 ¼ 0.0031 mg/m3
Methanol (Sept. 2013)
RfC
BMD1SD ¼ 1730 mg-hr/L
Final
UFA ¼ 3; UFH ¼ 10; UFD ¼ 3;
PBPK
20
30
50
2.5
BMDL
T
1SD ¼ 858 mg-hr/L
.W
1,4-Dioxane
RfD
NOAEL - 9.6 mg/kg-d
Final
UFA ¼ 10; UFH ¼ 10; UFD ¼ 3
None
0.03
0.03
0.3
10
.
Simon
(Sept. 2013)
RfC
NOAEL ¼ 32.2 mg/m3
Final
UFA ¼ 3; UFH ¼ 10; UFL ¼ 10; UFD ¼ 3 Allometric
0.03
0.03
1
33
DAF ¼ 1
Biphenyl (Aug. 2013)
RfD
BMD
et
10 ¼ 92 mg/kg/d
Final
UFA ¼ 10; UFH ¼ 10
Allometric
0.5
0.7
2
4
BMDL
al.
10 ¼ 58 mg/kg/d
DAF ¼ 0.24
TCDD (Feb. 2012)
RfD
LOAEL ¼ 0.02 ng/kg/d
Final
UFH ¼ 3; UFL ¼ 10
PBPK model
7.E-10
7E-10
2.E-09
2.9
/
Regulat
Perchlorethyleneb
RfC
LOAELs ¼ 56 & 15 mg/m3
Final
UFH ¼ 10; UFL ¼ 10; UFD ¼ 10
None
0.04
0.03
0.5
12.5
(Feb. 2012)
Phenol (Sept. 2002)
RfD
BMD
ory
1SD ¼ 157 mg/kg/d
Final
UFA ¼ 10; UFH ¼ 10; UFD ¼ 3
None
0.3
0.5
5
17
BMDL1SD ¼ 93 mg/kg/d
Toxicology
Dichloromethane
RfD
1st %ile internal HED
Final
UFA ¼ 3; UFH ¼ 3; UFD ¼ 3
PBPK þ allometric scaling
0.006
0.02
0.05
8.3
(Nov. 2011)
BMD10 ¼ 18.4 mg/L liver/d
BMDL10 ¼ 13.0 mg/L liver/d
RfC
1st %ile internal HED
Final
UFA ¼ 3; UFH ¼ 3; UFD ¼ 3
PBPK; allometric scaling
0.6
0.7
1.5
2.5
and
BMD10 ¼ 532 mg/L liver/d
Pharmacology
BMDL10 ¼ 130 mg/L liver/d
Substance and date
Type of
POD
Status Uncertainty factors
Dosimetric adjustment
Resulting RfD/RfC (mg/kg/d or mg/m3)
Fold change individual
assessed
toxicity factor
called “Method of Analysis” in IRIS
UFs vs. IRIS method
IRIS
Composite
Individual
method
UFs (Eq. (1a))
UFs (Eq. (1b))
80
Trichloroacetic Acid
RfD
BMD
(20
10 ¼ 40.7 mg/kg/d
Final
UFA ¼ 10; UFH ¼ 10; UFD ¼ 10
None
0.02
0.04
0.7
35
(Sept. 2011)
BMDL
1
10 ¼ 17.9 mg/kg/d
6
Hexachloroethane
RfD
BMD
)
10 ¼ 1.34 mg/kg/d
Final
UFA ¼ 10; UFH ¼ 10; UFS ¼ 3; UFD ¼ 3 None
7.E-04
0.001
0.03
43
9
(Sept. 2011)
BMDL
e
10 ¼ 0.728 mg/kg/d
24
RfC
NOAEL ¼ 83 mg/m3
Final
UFA ¼ 3; UFH ¼ 10; UFS ¼ 10; UFD ¼ 10 None
0.03
0.03
0.3
10
Acrylamide
RfD
BMD10 ¼ 0.58 mg/kg/d
Final
UFA-TD ¼ 3; UFH ¼ 10
Hb adduct equivalence and PK
0.002
0.004
0.003
1.5
(March 2010)
BMDL05 ¼ 0.27 mg/kg/d
conversion
Chloropreneb
RfC
BMDLs ¼ 2.3, 2.1, 2.1
Final
UFA ¼ 3; UFH ¼ 10; UFD ¼ 3
DAF ¼ RDDR ¼ 1
0.02
0.03
0.08
4
(Sept. 2010)
mg/m3
cis-1,2-
RfD
BMD10 ¼ 19.8 mg/kg/d
Final
UFA ¼ 10; UFH ¼ 10; UFS ¼ 10; UFD ¼ 3 None
0.002
0.006
0.3
150
Dichloroethylene
BMDL10 ¼ 5.1 mg/kg/d
(Sept. 2010)
trans-1,2-
RfD
BMD1SD ¼ 126 mg/kg/d
Final
UFA ¼ 10; UFH ¼ 10; UFS ¼ 10; UFD ¼ 3 None
0.02
0.04
2
100
Dichloroethylene
BMDL1SD ¼ 65 mg/kg/d
(Sept. 2010)
Pentachlorophenol
RfD
LOAEL ¼ 1.5 mg/kg/d
Final
UFA ¼ 10; UFD ¼ 10; UFL ¼ 3
None
0.005
0.005
0.05
10
(Sept. 2010)
1,1,2,2-
RfD
BMD1SD ¼ 22 mg/kg/d
Final
UFA ¼ 10; UFH ¼ 10; UFS ¼ 3; UFD ¼ 3 None
0.02
0.02
0.6
30
Tetrachloroethane
BMDL1SD ¼ 15 mg/kg/d
(Sept. 2010)
Carbon tetrachloride
RfC
BMD10 HEC ¼ 18.1 mg/m3
Final
UFA ¼ 3; UFH ¼ 10; UFD ¼ 3
PBPK model
0.1
0.2
0.5
5
(March 2010)
BMDL10 HEC ¼ 14.3 mg/m3
19
a Bayesian methods were not used in the case of the ammonia RfC because a single source of uncertaintydhuman variabilitydwas considered in the development of the ammonia RfC. The value using either Bayesian method
is the same as that in IRIS.
b Variance-weighted POD was used for NRC and refined methods.

link to page 16 link to page 16 link to page 14 link to page 15 link to page 15 link to page 14 link to page 15 link to page 15 link to page 15 link to page 16 link to page 14 link to page 14 link to page 14 link to page 14 link to page 15 link to page 16 link to page 16 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 14 link to page 14 link to page 15
20
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
Fig. 2. Separation by Method of Analysis and Value of the Composite UF. A. Dot plot of fold change increases of the refined method over the IRIS value of RfD/RfCs by the value of the
composite UF. B. Dot plot of fold change increases over the IRiS value by dosimetric adjustment/method of analysis. The horizontal lines show the geometric mean.
with one or more biological molecules. As earlier noted, based on
the estimator of a POD at a designated effect level is also log-
the principles of thermodynamics, dose is most appropriately
normally distributed. Log-normal distributions have the advan-
expressed as a logarithm (Waddell, 2008). The history of toxicology
tage of reproducibility, i.e. the ratio involving multiple factors re-
is often divided into three eras: Pre-classical from the time of Par-
mains a log-normal distribution, enabling simple computation as
acelsus to the start of the 20th century, Classical from 1900 until
illustrated in this paper. The extent to which a lognormal distri-
1965, and Current, from 1965 until the present (Waddell, 2010). In
bution is satisfactory is case-specific. Our choice of using log-
The Mode of Action of Drugs on Cells, Clark (1933) points out that the
normal distribution is to further illustrate the approach of the
“intensity of maximum action and the duration will vary as the
NRC (2014). The true form of the distribution of the BMD remains
logarithm of dosage, whilst the amount of action will vary as some
unknown, and further research in this area is needed. Hence,
multiple of the logarithm of the dosage.” In the Current era, the use
similar to the NRC and others in the history of RfV development, we
of the logarithm of dosage has been recommended to achieve ho-
acknowledge this imprecision and also chose to represent both the
mogeneity of variance (Igarashi and Sekido, 1996; Igarashi et al.,
POD and the UFs with log-normal distributions.
1996), for calculation of the plasma concentration of propofol
In the case when the distribution of the uncertainties or varia-
when used as a human anesthetic (Bruhn et al., 2003) and for ex-
tion of POD deviates from a log-normal distribution, modern sta-
amination of the effects of antinociceptive drugs in mice (Luszczki
tistical tools such as the Markov chain Monte Carlo methods
and Czuczwar, 2008; Luszczki, 2010). Rozman et al. (1996) have
support the integrative process of combining uncertainties across
even suggested a dose scale using the number of molecules of an
multiple areas (Jones et al., 2009; Hennessey et al., 2010; Shao and
agent, which necessitates the use of a logarithmic scale because of
Gift, 2013; Wilson et al., 2014). To this end, more experience needs
the very large numbers, around 1019.
to be gained and access to appropriate software may be also be
In the Current Era of toxicology, the linearized multistage model
needed. However, using distributions to representing uncertainty
emerged as a purely statistical approach to dose-response and risk
will provide policy makers additional information upon which to
assessment (Waddell, 2010). Regulatory agencies have accepted the
base their decisions and also provide greater transparency
linear no-threshold hypothesis as the basis of the biological effects
regarding the various sources of uncertainty (NRC, 2007a).
of ionizing radiation and chemical exposure (Calabrese, 2009,
The long history and considerable experimental and conceptual
2015); this acceptance has spurred considerable and continuing
support for the use of logarithms as the most appropriate expression
diversity of opinion among toxicologists regarding the best quan-
of quantitative dose also suggests that the log-normal distribution is
titative representation of dose (Crump and Clewell, 2003; Waddell,
an appropriate way to express uncertainty in dose. Recently, the
2003; Bogen, 2014; Simon, 2014).
relationship between the logarithms of both dose and response is
NRC (2014) takes a welcome long view regarding the current
useful in understanding the shape and steepness of the dose-
state of risk assessment and acknowledges the value of different
response curve (Slob and Setzer, 2014). The mathematical tracta-
types of data, such as animal testing, human epidemiologic data,
bility of this distribution is a highly useful consequence. Other dis-
and high throughput in vitro test results in developing toxicity
tributions may be used to express the various types of uncertainty
values as well as suggesting that Bayesian methods provide a more
accounted for in RfD/RfC derivation and Bayesian Monte Carlo
systematic and flexible approach for quantitative consideration of
simulation is one means of using other distributions. The use of
uncertainties. The consideration of these various data types will
Bayesian Markov Chain Monte Carlo methods for PBPK modeling in
necessitate the use of biological knowledge and mode of action in
risk assessment is a well-studied and mature technique (Bois et al.,
risk assessment. The increased use of adverse outcome pathways
2010). In addition, such a quantitative framework may help inte-
(AOPs) to understand and contextualize data from various sources
grate data for use by risk managers (Hill, 1996; Linkov et al., 2009).
reflects this growing necessity (Villeneuve et al., 2014a,b; Becker
et al., 2015; Patlewicz et al., 2015
). Perhaps even more impor-
5.2. The use of distributions to represent UFs
tantly, Bayesian methods place value on the knowledge and beliefs
of the risk assessor.
In the early days of using safety factors, a number of individual
However, despite the historical use of the log-normal distribu-
components of uncertainty were combined into an overall factor
tion, what remains unknown is whether uncertainty or variation in
without
quantifying
these
individual
components.
When

link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 5 link to page 14 link to page 14 link to page 15 link to page 14 link to page 16 link to page 16 link to page 16 link to page 16 link to page 16 link to page 15 link to page 15 link to page 15 link to page 15 link to page 15 link to page 16 link to page 16 link to page 16 link to page 14 link to page 16 link to page 5 link to page 8 link to page 7 T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
21
individual UFs representing the five areas of uncertainty were
IPCS, 2014). WHO-IPCS (2014) suggests that the distributions
developed, their quantification was rudimentarydbased only on
used for UF-S, UF-A and UF-H are considered independent; while
the number of human digits, the same as our base ten numbering
independence of these distributions seems likely, this statement is
system. Considerable effort has been put forth to provide a basis for
without empirical support at present.
quantification of UFs (Pieters et al., 1998; Renwick and Lazarus,
In the future, the combination of extant in vivo data along with
1998; Burin and Saunders, 1999; Bruckner, 2000; Haber et al.,
in vitro data from human cell lines considered in a systems biology
2002; Meek et al., 2002; Pelekis et al., 2003; Pelekis and
perspective may be the most fruitful approach for understanding
Krishnan, 2004; Bokkers and Slob, 2005, 2007; Dorne, 2005;
potential dependencies between intra- and interspecies tox-
Price et al., 2008; Hasegawa et al., 2010; Blackburn et al., 2015).
icokinetic and toxicodynamic variabilitydalthough this remains to
Despite this effort, almost all IRIS assessments use a value of 10 or 3
be seen (Zeise et al., 2013; Abdo et al., 2015a, 2015b). The number of
(√10) for all UFs (Stedeford et al., 2007).
dependencies in this area would be limited by the complexity of the
The understanding of traditional UFs is grounded in the indi-
biology and understanding of mode of action.
vidual factors and not their combination. Assigning distributions to
Considering UF-S and UF-L, one can envision potential de-
the UFs is fraught with difficulties in addition to the choice of
pendencies that may arise from budget constraints on experi-
distributional parameters. How much should UFs be subdivided?
mental designdtoo few doses to find a NOAEL and a LOAEL or
Both WHO-IPCS (2005) and EPA (2014) split UF-A and UF-H into
insufficient resources to perform a chronic studydor other non-
toxicokinetic and toxicodynamic components. Thus far, the value of
scientific factors.
these individual components is almost always three (3). We would
Until such time that an array of chemical dose-response data of
thus interpret this choice as a log-normal distribution with m ¼ 0
sufficient quantity is assembled to be able to assess any de-
and s ¼ 0.668 (Table 1). But this question remains unanswered:
pendencies between the various UFs, the assumption of indepen-
does this the value of three as the 95th percentile or the use of this
dence made in WHO-IPCS (2014) seems appropriate.
log-normal distribution provide sufficient coverage?
In keeping with the concept of UF distributions that provide
5.4. Additional considerations for Bayesian methods of UF
both an adjustment and a degree of uncertainty, an early paper by
application
Baird et al. (1996) was prescient regarding the current WHO-IPCS
uncertainty guidance. These authors presented distributions rep-
5.4.1. Magnitude of effect and population incidence
resenting UF-A, UF-H, UF-S and UF-L based on the available data at
An exposure to an individual will result in a toxicological effect
that time, assumptions about species heterogeneity in humans and
of a particular magnitude; over a population, the same exposure
test species, and general statistical considerations.
will result in variable effect magnitudes across individuals. Hence, if
Chiu and Slob (2015) also separate adjustment from uncertainty
one specifies a particular magnitude of effect, a fixed exposure to a
and also add variability as a category of uncertainty for UF-H. The
population will result in an incidence of the toxicological effect of a
distinction here is between aleatory uncertainty or variability
given magnitude because individuals differ in their susceptibility
referring to known population heterogeneity combined with un-
(Chiu and Slob, 2015; WHO-IPCS, 2014). If one considers both effect
certainty in selection an individual from this population and
magnitude and population incidence, the application of an
epistemic uncertainty referring to lack of knowledge about phe-
extrapolation/adjustment/uncertainty factor becomes more diffi-
nomena (Helton and Burmaster, 1996). Both Chiu and Slob (2015)
cultdboth the effect size and the population coverage of the factor
and WHO-IPCS (2014) add a dosimetric adjustment based body
need to be defined.
size expressed as the ratio of a fractional powers of the body
In current EPA practice, the selection of the effect magnitude is
weights of humans and the test species in addition to UF-A based
tacit, implicit in the choice of critical effect. Hence, the RfV, as
on toxicokinetic or toxicodynamic differences. Such dosimetric
defined by EPA and considered here, represents a dose of a chem-
adjustments have been used in RfC development for many years
ical associated with an effect of an unspecified magnitude for which
(USEPA, 1994).
the incidence in the human population is believed to be zero, i.e.
WHO-IPCS (2014) also chose to represent UF distributions as
100% coverage (WHO-IPCS, 2014).
log-normal. This document also presents values for the parameters
of missing distributions based on previously compiled data.
5.4.2. At what stage of the assessment should PBPK models be
Supplemental Table 1 provides values for the means and standard
applied?
deviations of these distributions from WHO-IPCS (2014) and other
If an assessment involves a PBPK model for toxicokinetic species
sources. Included are distributions for uncertainty in NOAEL values,
extrapolation, the stage at which the model is applied becomes
UF-S and subacute-to-chronic extrapolation, the portion of UF-A
another choice. Fig. 1 indicates that UF-A-TD is applied to the ani-
remaining after body size adjustment, UF-H-TK, and UF-H-TD.
mal dose metric before using the human PBPK model to convert
The WHO-IPCS guidance also provides a discussion of the inap-
this dose metric into an external dose or human-equivalent con-
propriateness of using UF-L to estimate a NOAEL and that the dis-
centration. The choice of the point in the RfV process to use the
tribution of the LOAEL-to-NOAEL ratio reflects predominantly the
PBPK model makes a difference, and below, we use the methanol
dose spacing used in the toxicological studies. WHO-IPCS (2014)
RfC discussed earlier as an example.
also does not mention the use of UF-D for database deficiencies.
Using the human PBPK model for methanol (Eq. (10)) as the first
step to obtain the BMD and BMDL as HEC values provides 1101 ppm
5.3. Are the UF distributions independent?
and 780 ppm. The uncertainty in this POD and its application along
with all the UFs would be:
The other issue is that of dependencies between the distribu-
pffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
tions representing the various UFs. As discussed, generic distribu-
lnð1101Þ  1:645* 0:2092 þ 0:6682 þ 1:42 þ 0:668 ¼ 4:20
tions have been developed to represent the UFs (Price et al., 1997;
RfC ¼ e4:20 ¼ 67 ppm ¼ 101 mg=m3
Swartout et al., 1998). Others have used data on a relatively large
(17)
number of chemicals to determine distributions for UF-S, UF-L, UF-
(Renwick and Lazarus, 1998; Burin and Saunders, 1999; Bokkers
In contrast, using Eq. (6) after applying the uncertainty in the
and Slob, 2005, 2007; Dorne, 2005; Dourson et al., 2013; WHO-
POD and all the UFs to the animal dose metric would give:

link to page 8 link to page 5 link to page 15 link to page 15 link to page 5 link to page 15 link to page 15 link to page 5 link to page 15 22
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
pffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi
Transparency document
lnð1730Þ  1:645* 0:4262 þ 0:6682 þ 1:42 þ 0:6682 ¼ 4:59
Adjusted Human Dose Metric ¼ e4:59 ¼ 98:5 mg  hr=L
Transparency document related to this article can be found
online at http://dx.doi.org/10.1016/j.yrtph.2016.05.018.
(18)
The human PBPK model equation (Eq. (10)) would then be used
Appendix A. Supplementary data
to convert this result to a HEC of 145 ppm or 190.7 mg/m3 or
rounded to 200 mg/m3 that would become the RfC.
Supplementary data related to this article can be found at http://
Application of the human PBPK model as indicated in Fig. 1
dx.doi.org/10.1016/j.yrtph.2016.05.018.
produced a RfC value 2.5-fold higher than the IRIS value. The two
values immediately above are five-fold and ten-fold respectively
References
higher than EPA’s derivation. For comparison the OSHA PEL for
methanol has a value of 260 mg/m3 and is based on a non-
Abdo, N., Wetmore, B.A., Chappell, G.A., Shea, D., Wright, F.A., Rusyn, I., 2015a.
quantitative consideration of acute effects in workers (NIOSH,
In vitro screening for population variability in toxicity of pesticide-containing
1976).
mixtures.
Environ.
Int.
85,
147e155.
http://dx.doi.org/10.1016/
j.envint.2015.09.012.
Hence, guidance on the best practices for the use of PBPK
Abdo, N., Xia, M., Brown, C.C., Kosyk, O., Huang, R., Sakamuru, S., Zhou, Y.H.,
models together with Bayes methods for applying uncertainty
Jack, J.R., Gallins, P., Xia, K., Li, Y., Chiu, W.A., Motsinger-Reif, A.A., Austin, C.P.,
factors is needed. Each of the five UFs has a different specificity for a
Tice, R.R., Rusyn, I., Wright, F.A., 2015b. Population-based in vitro hazard and
concentration-response assessment of chemicals: the 1000 genomes high-
stage or aspect of the assessment. The specificity of UF application
throughput screening study. Environ. Health Perspect. 123, 458e466. http://
provides the conceptual basis of Fig. 1. However, this is an area that
dx.doi.org/10.1289/ehp.1408775.
clearly needs more examples and additional thought.
Baird, S.J.S., Cohen, J.T., Graham, J.D., Shlyakhter, A.I., Evans, J.S., 1996. Noncancer risk
assessment: a probabilistic alternative to current practice. Hum. Ecol. Risk
Assess. Int. J. 2, 79e102.

Barnes, D.G., Dourson, M., 1988. Reference dose (RfD): description and use in health
risk assessments. Regul. Toxicol. Pharmacol. 8, 471e486.
5.5. Assessment decisions and best practices
Becker, R.A., Ankley, G.T., Edwards, S.W., Kennedy, S.W., Linkov, I., Meek, B.,
Sachana, M., Segner, H., Van Der Burg, B., Villeneuve, D.L., Watanabe, H., Barton-
At this point in time, we can offer two recommendations to risk
Maclaren, T.S., 2015. Increasing scientific confidence in adverse outcome
pathways: application of tailored Bradford-Hill considerations for evaluating
assessors.
weight of evidence. Regul. Toxicol. Pharmacol. 72, 514e537. http://dx.doi.org/
10.1016/j.yrtph.2015.04.004
.
 Use Bayesian Methods for UF/CSAF/DDEF application as illus-
Blackburn, K., Daston, G., Fisher, J., Lester, C., Naciff, J.M., Rufer, E.S., Stuard, S.B.,
Woeller, K., 2015. A strategy for safety assessment of chemicals with data gaps
trated in this paper consistent with the suggestions of NRC
for developmental and/or reproductive toxicity. Regul. Toxicol. Pharmacol. 72
(2014). One major advantage is the ability to update RfD/RfC
(2), 202e215. http://dx.doi.org/10.1016/j.yrtph.2015.04.006.
values rapidly as new information becomes available; and
Bogen, K.T., 2014. Mechanistic models fit to ED001 data on >40,000 trout exposed

to dibenzo[A,L]pyrene indicate mutations do not drive increased tumor risk.
Use care in determining the default values or percentiles for the
Dose Response 12, 386e403. http://dx.doi.org/10.2203/dose-response.13-
various UFs. As noted, our expectation is that data-derived dis-
019.Bogen.
tributions characterized by both means and standard deviations
Bois, F.Y., Jamei, M., Clewell, H.J., 2010. PBPK modelling of inter-individual variability
in the pharmacokinetics of environmental chemicals. Toxicology 278, 256
will emerge to replace the default distributions in Table 1 and in
e267.
http://dx.doi.org/10.1016/j.tox.2010.06.007.
NRC (2014).
Bokkers, B.G., Slob, W., 2005. A comparison of ratio distributions based on the
 When using Bayesian methods in a RfV derivation that includes
NOAEL and the benchmark approach for subchronic-to-chronic extrapolation.
a PBPK model, the stage at which the UFs are applied will likely
Toxicol. Sci. 85, 1033e1040. http://dx.doi.org/10.1093/toxsci/kfi144.
Bokkers, B.G., Slob, W., 2007. Deriving a data-based interspecies assessment factor
make a potentially large difference in the resulting value of the
using the NOAEL and the benchmark dose approach. Crit. Rev. Toxicol. 37,
RfV and more experience in this area is needed.
355e373. http://dx.doi.org/10.1080/10408440701249224.
Bruckner, J.V., 2000. Differences in sensitivity of children and adults to chemical
toxicity: the NAS panel report. Regul. Toxicol. Pharmacol. 31, 280
As time goes by and greater familiarity with these Bayesian
e285. http://
dx.doi.org/10.1006/rtph.2000.1393.
methods grows, additional ideas for best practices will very likely
Bruhn, J., Bouillon, T.W., Ropcke, H., Hoeft, A., 2003. A manual slide rule for target-
emerge. Nonetheless, the methods described here can be imple-
controlled infusion of propofol: development and evaluation. Anesth. Analg. 96,
142

mented immediately in the IRIS program and used for the devel-
e147 table of contents.
Burin, G.J., Saunders, D.R., 1999. Addressing human variability in risk asses-
opment of RfD/RfC values henceforth. The imprecision in the
smentethe robustness of the intraspecies uncertainty factor. Regul. Toxicol.
extrapolations used to develop RfVs indicate that expressing an RfV
Pharmacol. 30, 209e216. http://dx.doi.org/10.1006/rtph.1999.1351.
Burmaster, D.E., Anderson, P.D., 1994. Principles of good practice for the use of
as a distribution or as a selected percentile of distribution will
Monte Carlo techniques in human health and ecological risk assessments. Risk
improve the clarity and transparency of these necessary and
Anal. 24, 477e481.
important regulatory criteria.
Burmaster, D.E., Harris, R.H., 1993. The magnitude of compounding conservatisms in
superfund risk assessments. Risk Anal. 13, 131e134.
Burmaster, D.E., Lehr, J.H., 1991. It’s time to make risk assessment a science. Ground
water monitoring review. Summer.
Calabrese, E.J., 2009. The road to linearity: why linearity at low doses became the
Funding and acknowledgements
basis for carcinogen risk assessment. Arch. Toxicol. 83, 203e225. http://
dx.doi.org/10.1007/s00204-009-0412-4.

The American Chemistry Council (ACC) provided support to
Calabrese, E.J., 2015. An abuse of risk assessment: how regulatory agencies
improperly adopted LNT for cancer risk assessment. Arch. Toxicol. 89, 647e648.
TWS, MLD, and YZ. NBB is an employee of ACC. The authors retain
http://dx.doi.org/10.1007/s00204-015-1454-4.
sole responsibility for the content of this paper. The American
Cavalleri, A., Gobba, F., Paltrinieri, M., Fantuzzi, G., Righi, E., Aggazzotti, G., 1994.
Chemistry Council had an opportunity to review this text as part of
Perchloroethylene exposure can induce colour vision loss. Neurosci. Lett. 179,
162

their internal clearance; however, this paper is exclusively the work
e166.
Chiu, W.A., Slob, W., 2015. A unified probabilistic framework for dose-response
product of the authors and does not necessarily represent views or
assessment of human health effects. Environ. Health Perspect. http://
policies of the ACC or the authors’ employers. We also wish to
dx.doi.org/10.1289/ehp.1409385.
Clark, A.J., 1933. The Mode of Action of Drugs on Cells. The Williams and Wilkins
acknowledge the contribution of one of the peer reviewers whose
Company, Baltimore, MD.
thoughtful suggestions improved this paper considerably.
Crump, K.S., Clewell, H.J., 2003. Evidence of a “clear and consistent threshold” for

T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
23
bladder and liver cancer in the large ED01 carcinogenicity study. Toxicol. Sci. 74
Luszczki, J.J., 2010. Dose-response relationship analysis of pregabalin doses and
(485) http://dx.doi.org/10.1093/toxsci/kfg117 author reply 485-6.
their antinociceptive effects in hot-plate test in mice. Pharmacol. Rep. 62,
Cullen, A.C., 1994. Measures of compounding conservatism in probabilistic risk
942e948.
assessment. Risk Anal. 14, 389e393.
Luszczki, J.J., Czuczwar, S.J., 2008. Dose-response relationship analysis of vigabatrin
Dorne, J.L.C.M., 2005. The refinement of uncertainty/safety factors in risk assess-
doses and their antinociceptive effects in the hot-plate test in mice. Pharmacol.
ment by the incorporation of data on toxicokinetic variability in humans.
Rep. 60, 409e414.
Toxicol. Sci. 86, 20e26. http://dx.doi.org/10.1093/toxsci/kfi160.
Meek, M.E., Newhook, R., Liteplo, R.G., Armstrong, V.C., 1994. Approach to assess-
Dourson, M., 1996. Uncertainty factors in noncancer risk assessment. Regul. Toxicol.
ment of risk to human health for priority substances under the Canadian
Pharmacol. 24 (107) http://dx.doi.org/10.1006/rtph.1996.0115.
Environmental Protection Act. Environ. Carcinog. Ecotoxicol. Rev. C12, 105e134.
Dourson, M., Becker, R.A., Haber, L.T., Pottenger, L.H., Bredfeldt, T., Fenner-Crisp, P.A.,
Meek, M.E., Renwick, A., Ohanian, E., Dourson, M., Lake, B., Naumann, B.D., Vu, V.,
2013. Advancing human health risk assessment: integrating recent advisory
International Programme on Chemical, S, 2002. Guidelines for application of
committee recommendations. Crit. Rev. Toxicol. 43, 467e492. http://dx.doi.org/
chemical-specific adjustment factors in dose/concentration-response assess-
10.3109/10408444.2013.807223.
ment. Toxicology 181e182, 115e120.
Dourson, M.L., 1993. Reference dose of the United States environmental protection
NIOSH, 1976. Criteria for a Recommended Standard: Occupational Exposure to
agency. Scand. J. Work Environ. Health 1 (19 Suppl. l), 115e118.
Methyl Alcohol. US Department of Health, Education and Welfare, Washington,
Dourson, M.L., DeRosa, C.T., 1991. The use of uncertainty factors in establishing safe
DC.
levels of exposure. In: Krewski, D., Franklin, C. (Eds.), Statistics in Toxicology.
NRC, 1994. Science and Judgement in Risk Assessment. National Academy Press,
Gordon and Breach Science Publishers, New York, NY.
Washington, DC.
Dourson, M.L., Felter, S.P., Robinson, D., 1996. Evolution of science-based uncertainty
NRC, 2006. Health Risks from Dioxin and Related Compounds: Evaluation of the
factors in noncancer risk assessment. Regul. Toxicol. Pharmacol. 24, 108e120.
EPA Reassessment. The National Academies Press, Washington, DC.
http://dx.doi.org/10.1006/rtph.1996.0116.
NRC, 2007a. Models in Environmental Regulatory Decision Making. The National
Dourson, M.L., Knauf, L.A., Swartout, J.C., 1992. On reference dose (RfD) and its
Academies Press, Washington, DC.
underlying toxicity data base. Toxicol. Ind. Health 8, 171e189.
NRC, 2007b. Scientific Review of the Proposed Risk Assessment Bulletin from the
Dourson, M.L., Stara, J.F., 1983. Regulatory history and experimental support of
Office of Management and Budget. The National Academies Press, Washington,
uncertainty (safety) factors. Regul. Toxicol. Pharmacol. 3, 224e238.
DC.
Dourson, M.L., Teuschler, L.K., Durkin, P.R., Stiteler, W.M., 1997. Categorical regres-
NRC, 2009. Science and Decisions: Advancing Risk Assessment. National Academies
sion of toxicity data: a case study using aldicarb. Regul. Toxicol. Pharmacol. 25,
Press, Washington, DC.
121e129. http://dx.doi.org/10.1006/rtph.1996.1079.
NRC, 2011. Review of the Environmental Protection Agency’s Draft IRIS Assessment
Echeverria, D., White, R.F., Sampaio, C., 1995. A behavioral evaluation of PCE
of Formaldehyde. Review of the Environmental Protection Agency’s Draft IRIS
exposure in patients and dry cleaners: a possible relationship between clinical
Assessment of Formaldehyde. National Academies Press, Washington, DC.
and preclinical effects. J. Occup. Environ. Med. 37, 667e680.
NRC, 2014. Review of EPA’s Integrated Risk Information System (IRIS) Process. The
Felter, S.P., Dourson, M.L., 1998. The inexact science of risk assessment (and im-
National Academies Press, Washington, DC.
plications for risk management). Hum. Ecol. Risk Assess. . Int. J. 2, 245e251.
Patlewicz, G., Simon, T., Goyak, K., Phillips, R.D., Rowlands, J.C., Seidel, S.,
Gaylor, D.W., Kodell, R.L., 2000. Percentiles of the product of uncertainty factors for
Becker, R.A., 2013. Use and validation of HT/HC assays to support 21st century
establishing probabilistic reference doses. Risk Anal. 20, 245e250.
toxicity evaluations. Regul. Toxicol. Pharmacol. 65, 259e268. http://dx.doi.org/
Haber, L.T., Maier, A., Gentry, P.R., Clewell, H.J., Dourson, M.L., 2002. Genetic poly-
10.1016/j.yrtph.2012.12.008.
morphisms in assessing interindividual variability in delivered dose. Regul.
Patlewicz, G., Simon, T.W., Rowlands, J.C., Budinsky, R.A., Becker, R.A., 2015. Pro-
Toxicol. Pharmacol. 35, 177e197. http://dx.doi.org/10.1006/rtph.2001.1517.
posing a scientific confidence framework to help support the application of
Hasegawa, R., Hirata-Koizumi, M., Dourson, M.L., Parker, A., Sweeney, L.M.,
adverse outcome pathways for regulatory purposes. Regul. Toxicol. Pharmacol.
Nishikawa, A., Yoshida, M., Ono, A., Hirose, A., 2010. Proposal of new uncertainty
71, 463e477. http://dx.doi.org/10.1016/j.yrtph.2015.02.011.
factor application to derive tolerable daily intake. Regul. Toxicol. Pharmacol. 58,
Pelekis, M., Krishnan, K., 2004. Magnitude and mechanistic determinants of the
237e242. http://dx.doi.org/10.1016/j.yrtph.2010.06.006.
interspecies toxicokinetic uncertainty factor for organic chemicals. Regul. Tox-
Hattis, D., Baird, S., Goble, R., 2002. A straw man proposal for a quantitative defi-
icol. Pharmacol. 40, 264e271. http://dx.doi.org/10.1016/j.yrtph.2004.07.004.
nition of the RfD. Drug Chem. Toxicol. 25, 403e436. http://dx.doi.org/10.1081/
Pelekis, M., Nicolich, M.J., Gauthier, J.S., 2003. Probabilistic framework for the
DCT-120014793.
estimation of the adult and child toxicokinetic intraspecies uncertainty factors.
Helton, J.C., Burmaster, D.E., 1996. Guest editorial: treatment of aleatory and
Risk Anal. 23, 1239e1255.
epistemic uncertainty in performance assessments for complex systems. Reliab.
Pieters, M.N., Kramer, H.J., Slob, W., 1998. Evaluation of the uncertainty factor for
Eng. Syst. Saf. 54, 91e94.
subchronic-to-chronic extrapolation: statistical analysis of toxicity data. Regul.
Hennessey, V.G., Rosner, G.L., Bast Jr., R.C., Chen, M.Y., 2010. A Bayesian approach to
Toxicol. Pharmacol. 27, 108e111. http://dx.doi.org/10.1006/rtph.1997.1196.
dose-response assessment and synergy and its application to in vitro dose-
Price, P.S., Keenan, R.E., Swartout, J.C., 2008. Characterizing interspecies uncertainty
response studies. Biometrics 66, 1275e1283. http://dx.doi.org/10.1111/j.1541-
using data from studies of anti-neoplastic agents in animals and humans.
0420.2010.01403.x.
Toxicol.
Appl.
Pharmacol.
233,
64e70.
http://dx.doi.org/10.1016/
Hertzberg, R.C., Dourson, M.L., 1993. Using categorical regression instead of a NOAEL
j.taap.2008.03.026.
to characterize a Toxicologist’s judgment in noncancer risk assessment. In:
Price, P.S., Keenan, R.E., Swartout, J.C., Gillis, C.A., Carlson-Lynch, H., Dourson, M.L.,
Yang, R.S. (Ed.), H., (Ed.), Toxicology of Chemical Mixtures: Case Studies,
1997. An approach for modeling noncancer dose responses with an emphasis
Mechanisms and Novel Approaches. Academic Press, San Diego, CA.
on uncertainty. Risk Anal. 17, 427e437.
Hill, R.A., 1996. From science to decision-making: the applicability of Bayesian
Renwick, A.G., Lazarus, N.R., 1998. Human variability and noncancer risk asses-
methods to risk assessment. Hum. Ecol. Risk Assess. Int. J. 2, 636e642. http://
smentean analysis of the default uncertainty factor. Regul. Toxicol. Pharmacol.
dx.doi.org/10.1080/10807039609383641.
27, 3e20.
Hughes, D.A., Aronson, J.K., 2010. A systematic review and empirical analysis of the
Rozman, K.K., Kerecsen, L., Viluksela, M.K., Osterle, D., Deml, E., Viluksela, M.,
relation between dose and duration of drug action. J. Clin. Pharmacol. 50,
Stahl, B.U., Greim, H., Doull, J., 1996. A toxicologist’s view of cancer risk
17e26. http://dx.doi.org/10.1177/0091270008329555.
assessment.
Drug
Metab.
Rev.
28,
29e52.
http://dx.doi.org/10.3109/
Igarashi, T., Sekido, T., 1996. Case studies for statistical analysis of toxicokinetic data.
03602539608993990.
Regul.
Toxicol.
Pharmacol.
23,
193e208.
http://dx.doi.org/10.1006/
Shao, K., Gift, J.S., 2013. Model uncertainty and bayesian model averaged bench-
rtph.1996.0043.
mark dose estimation for continuous data. Risk Anal. http://dx.doi.org/10.1111/
Igarashi, T., Yabe, T., Noda, K., 1996. Study design and statistical analysis of tox-
risa.12078.
icokinetics: a report of JPMA investigation of case studies. J. Toxicol. Sci. 21,
Simon, T., 2011. Just who is at risk? the ethics of environmental regulation. Hum.
497e504.
Exp. Toxicol. 30, 795e819. http://dx.doi.org/10.1177/0960327110379252.
Jacobs, J.P., 2011. NAS Reviewers Slam EPA’s Formaldehyde Assessment. New York
Simon, T., Aylward, L.L., Kirman, C.R., Rowlands, J.C., Budinsky, R.A., 2009. Estimates
Times. The New York Times Company, New York.
of cancer potency of 2,3,7,8-tetrachlorodibenzo(p)dioxin using linear and
Jones, D.R., Peters, J.L., Rushton, L., Sutton, A.J., Abrams, K.R., 2009. Interspecies
nonlinear dose-response modeling and toxicokinetics. Toxicol. Sci. 112,
extrapolation in environmental exposure standard setting: a Bayesian synthesis
490e506. http://dx.doi.org/10.1093/toxsci/kfp232.
approach. Regul. Toxicol. Pharmacol. 53, 217e225. http://dx.doi.org/10.1016/
Simon, T., Kirman, C.R., Aylward, L.L., Budinsky, R.A., Rowlands, J.C., Long, T.F., 2008.
j.yrtph.2009.01.011.
Estimates of cancer potency of 2,3,4,7,8-pentachlorodibenzofuran using both
Lehman, A.J., Fitzhugh, O.G., 1954. 100-Fold margin of safety. Assoc. Food Drug Off.
nonlinear and linear approaches. Toxicol. Sci. 106, 519e537.
Cl. S. Q. Bull. 18, 33e34.
Simon, T.W., 2014. Environmental Risk Assessment: a Toxicological Approach. CRC
Lewis, S.C., Lynch, J.R., Nikiforov, A.I., 1990. A new approach to deriving community
Press; Taylor & Francis Group, Boca Raton, FL.
exposure guidelines from “no-observed-adverse-effect levels”. Regul. Toxicol.
Slob, W., Setzer, R.W., 2014. Shape and steepness of toxicological dose-response
Pharmacol. 11, 314e330.
relationships of continuous endpoints. Crit. Rev. Toxicol. 44, 270e297. http://
Limpert, E., Stahel, W.A., Abbt, M., 2001. Log-normal distributions across the sci-
dx.doi.org/10.3109/10408444.2013.853726.
ences: keys and clues. Bioscience 51, 341e352.
Stedeford, T., Zhao, Q.J., Dourson, M.L., Banasik, M., Hsu, C.-H., 2007. The application
Linkov, I., Loney, D., Cormier, S., Satterstrom, F.K., Bridges, T., 2009. Weight-of-evi-
of non-default uncertainty factors in the U.S. EPA’s integrated risk information
dence evaluation in environmental assessment: review of qualitative and
system (IRIS). Part I: UFL, UFS, and “Other uncertainty factors”. J. Environ. Sci.
quantitative approaches. Sci. Total Environ. 407, 5199e5205. http://dx.doi.org/
Health, Part C 25, 245e279. http://dx.doi.org/10.1080/10590500701569430.
10.1016/j.scitotenv.2009.05.004.
Swartout, J.C., Price, P.S., Dourson, M.L., Carlson-Lynch, H.L., Keenan, R.E., 1998.

24
T.W. Simon et al. / Regulatory Toxicology and Pharmacology 80 (2016) 9e24
A probabilistic framework for the reference dose (probabilistic RfD). Risk Anal.
Vergauwen, L., Whelan, M., 2014a. Adverse outcome pathway (AOP) develop-
18, 271e282.
ment I: strategies and principles. Toxicol. Sci. 142, 312e320. http://dx.doi.org/
Tatum, V., Wiegand, P., Stratton, S., Louch, J., Ebert, E., Anderson, P., 2015. Derivation
10.1093/toxsci/kfu199.
of human health-based ambient water quality criteria: a consideration of
Villeneuve, D.L., Crump, D., Garcia-Reyero, N., Hecker, M., Hutchinson, T.H.,
conservatism and protectiveness goals. Integr. Environ. Assess. Manag. 11,
LaLone, C.A., Landesmann, B., Lettieri, T., Munn, S., Nepelska, M., Ottinger, M.A.,
298e305. http://dx.doi.org/10.1002/ieam.1584.
Vergauwen, L., Whelan, M., 2014b. Adverse outcome pathway development II:
Teuschler, L.K., Dourson, M.L., Stiteler, W.M., McClure, P., Tully, H., 1999. Health risk
best practices. Toxicol. Sci. 142, 321e330. http://dx.doi.org/10.1093/toxsci/
above the reference dose for multiple chemicals. Regul. Toxicol. Pharmacol. 30,
kfu200.
S19eS26. http://dx.doi.org/10.1006/rtph.1999.1321.
Von Stackelberg, K., Burmaster, D.E., 1993. Compounding ConservatismseEPA’s
USEPA, 1989. Risk Assessment Guidance for Superfund: Volume 1: Human Health
health risk assessment methods. HazMat World. March.
Evaluation Manual (Part A) (RAGS). USEPA, Washington, DC.
Waddell, W.J., 2003. Thresholds of carcinogenicity in the ED01 study. Toxicol. Sci.
USEPA, 1992. Guidance on Risk Characterization for Risk Managers and Risk
72, 158e163. http://dx.doi.org/10.1093/toxsci/kfg004.
Assessors.
Waddell, W.J., 2008. Thermodynamic basis for expressing dose logarithmically.
USEPA, 1994. Methods for Derivation of Inhalation Reference Concentrations and
Toxicol.
Appl.
Pharmacol.
228,
156e157.
http://dx.doi.org/10.1016/
Application of Inhalation Dosimetry.
j.taap.2007.12.004.
USEPA, 2001. Risk Assessment Guidance for Superfund (RAGS) Volume III - Part A:
Waddell, W.J., 2010. History of dose response. J. Toxicol. Sci. 35, 1e8.
Process for Conducting Probabilistic Risk Assessment. Washington, DC.
WHO-IPCS, 2005. Chemical-specific Adjustment Factors for Interspecies Differences
USEPA, 2002a. IRIS Toxicological Review of Phenol. USEPA, Washington, DC.
and Human Variability: Guidance Document for Use of Data in Dose/Concen-
USEPA, 2002b. A Review of the Reference Dose and Reference Concentration Pro-
tration Assessment. WHO, Geneva, Switzerland.
cesses. USEPA, Washington, DC.
WHO-IPCS, 2014. Guidance Document on Evaluating and Expressing Uncertainty in
USEPA, 2011. Integrated Risk Information System (IRIS) Glossary. USEPA, Wash-
Hazard Characterization. WHO, Geneva, Switzerland.
ington, DC.
Wilson, A., Reif, D.M., Reich, B.J., 2014. Hierarchical dose-response modeling for
USEPA, 2012a. Benchmark Dose Technical Guidance. USEPA.
high-throughput toxicity screening of environmental chemicals. Biometrics 70,
USEPA, 2012b. IRIS Toxicological Review of Tetrachloroethylene (Perchlorethylene).
237e246. http://dx.doi.org/10.1111/biom.12114.
USEPA.
Zeise, L., Bois, F.Y., Chiu, W.A., Hattis, D., Rusyn, I., Guyton, K.Z., 2013. Addressing
USEPA, 2013a. IRIS Toxicological Review of Methanol (noncancer). USEPA.
human variability in next-generation human health risk assessments of envi-
USEPA, Toxicological, 2013b. Review of 1,4-Dioxane (with Inhalation Update) (CAS
ronmental chemicals. Environ. Health Perspect. 121, 23e31. http://dx.doi.org/
No. 123-91-1). USEPA, Washington, DC.
10.1289/ehp.1205687.
USEPA, 2014. Guidance for Applying Quantitative Data to Develop Data-derived
Zhu, Y., Wang, T., Jelsovsky, J.Z., 2007. Bootstrap estimation of benchmark doses and
Extrapolation Factors for Interspecies and Intraspecies Extrapolation. USEPA.
confidence limits with clustered quantal data. Risk Anal. 27, 447e465. http://
Villeneuve, D.L., Crump, D., Garcia-Reyero, N., Hecker, M., Hutchinson, T.H.,
dx.doi.org/10.1111/j.1539-6924.2007.00897.x.
LaLone, C.A., Landesmann, B., Lettieri, T., Munn, S., Nepelska, M., Ottinger, M.A.,

Document Outline