The purpose of this presentation is to shed light on how a new toolkit from the World Health Organization and UNICEF can help to monitor and evaluate household water treatment and safe storage projects for greater sustainability. 

The WASH Sustainability Forum (http://www.sustainablewash.org/2014‐wash‐sustainability‐forum) aimed to discuss the practical aspects of sustainability, share current tools for monitoring and evaluating sustainability, and identify challenges for their use. As part of this, the International Network on Household Water Treatment and Safe Storage sought to share the WHO & UNICEF toolkit with the participants of the Forum. Many thanks to the UNICEF team in New York for funding the expenses associated with attending the Forum, delivering this presentation, and ensuing discussions.

1

Let’s take a look at the “big picture”. This chart represents what a lot of us are working towards – increasing access to water for those in need. The chart illustrates progress toward the Millennium Development Goal on increased access to “improved water”. The Millennium Development Goals were agreed by nearly 200 countries in the year 2000 as a set of goals to improve the quality of life for the world’s poorest people and address major social and environmental issues. On water, the goal was to reduce by 50% the proportion of the world’s population that did not have access to improved water. In 1990 about 24% of the world’s population did not have access to improved sources of water (such as protected springs, or a borehole). The goal was to reduce this to 12% of the world’s population by 2015. In 2012, it was announced that the drinking water target had been “met” five years early. Although this seems to be good news there are still at least two problems with this picture. 

The first is that although the target has been reached, there are still hundreds of millions of people (small red circle) using unimproved sources of water who should be treating their water prior to consuming it because it is not safe to drink. The second problem is that recent research shows that hundreds of millions more people (large orange circle) who are using improved sources of water may be consuming contaminated water. For example, a protected well is considered an improved source, but research shows that fecal contamination still occurs in about 25 percent of water from improved sources (Bain et al, 2014).  Taken together, we can see that although the drinking water target has been “met”, there is still a huge amount of work to do.

2

Household water treatment is a possible solution. It can be used to improve the quality of water consumed in the home. A series of meta‐analyses (Fewtrell et al., 2005; Clasen et al., 2006;, Waddington et al., 2009) showed that HWTS could reduce the incidence of diarrheal disease by between 35% and 47%. However, these reviews group together the findings from a wide variety of studies of varying quality. For example, studies are often too short to evaluate sustained use or the results were based on self‐reported data. In addition, results from HWTS programs are often inconsistent, because the implementing methodology often varies. This can make it difficult to compare program results.

The images along below illustrate six examples of accepted and proven HWTS methods. Each has its advantages and disadvantages and the choice of which one to use depends on the local context. Some methods protect against re‐contamination such as through a chlorine residual or a safe storage mechanism (i.e. solar disinfection in a plastic bottle). The last image with the red question mark indicates that boiling is not ideal due to a range of factors: sub‐optimal performance, no protective factor against recontamination risk, creates smoke in the household, heightens the risk of burn injuries, and environmental issues.

3

There are various challenges to sustainability which are often placed into several broad categories. This list is not intended to be exhaustive (for example, environmental sustainability is not shown here). Facets of sustainability include financial, operational, contextual, and behavioral.

Financial sustainability may refer to whether a program or project is self‐funded or has a long‐term funding support. For example, has the government adopted a policy and allocated budgetary funding and support for it on an ongoing basis?

Operational sustainability may refer to the existence of functioning supply chains for spare parts and expertise to set up and maintain systems. An aspect of this may consider whether there is capacity in the local community to repair broken systems.

Contextual sustainability can refer to the existence of supportive local leaders. It may also refer to interest and investment from local entrepreneurs and the acceptability of a product by local users. Some may also refer to contextual sustainability as the ‘enabling environment’ or the existence of supportive and functional policies and regulations.

Behavioral sustainability refers to lasting changes in behavior over time that lead to the practice becoming habitual, and even a social norm. This is important because without correct and consistent use over time, health impact cannot be achieved. The behavioral aspect of sustainability is the focus of this presentation.

4

The practice of correct, consistent and sustained treatment and storage of household drinking‐water involves many various behaviors, starting from collection of water at the source, transportation to the home, obtaining a method to practice HWTS, using it correctly, handling the water safely, storing it well, and always drinking treated water. The elements of this cycle that are circled in red are those that present opportunities for re/contamination of drinking‐water (Wright et al. 2004).

5

The key desired behavioral outcomes with HWTS are correct, consistent, and sustained use. Correct use is making sure that the method or technology is used in the right way and improves the quality of the water. Consistent use is making sure that every time the user is consuming water they are consuming treated water. Even from a single exposure to contaminated water one can sick. Researchers have modeled the effect of HWTS on health and found that projected health impact drops off substantially if use is inconsistent (Brown & Clasen, 2012). Finally, sustained use is about long‐term behavior change.

6

7

These photos were taken in the peri‐urban town of Kauma near the city of Lilongwe, Malawi. They illustrate some unhygienic methods for collecting water at two different points. Although we don’t know whether this water is intended to be used for drinking, the risks of contamination during the collection process are evident. Moreover, these two water points are good examples of sources that may not be delivering safe drinking‐water to begin with (the first photo shows an uncovered well, and the second shows poor drainage around the water point – both of these can lead to contamination).

8

In these first three photos across the top we can see how people are transporting their water in uncovered containers or where their fingers could potentially contaminate the water. In the second row, we see two examples of a water filter and a storage container that are not being used properly (the filter is turned away from the storage bucket and the second is not being used to hold water). Another factor with the transportation of water is the distance between the people and the source. The more distant a source is, the less water people are likely to collect, meaning they will have less for other needs such as hand‐washing.

9

10

Consistent use is especially important for people with immune‐compromised systems, such as people living with HIV. It is important to note that PLHIV are at high risk for diarrhoea‐related opportunistic infections such as cryptosporidium and giardia, contracted through the consumption of dirty drinking water. Policy‐makers and implementing stakeholders should be aware that chlorine‐only HWTS options are not effective at removing protozoan parasites such as cryptosporidium or giardia as these are chlorine‐resistant (WHO, 2011). Thus, for programs focused on PLHIV, only HWTS options effective at removing such pathogens should be used. 

11

Consistent use is also important for young children, in order to interrupt the vicious cycle of malnutrition and diarrhea. This photo is of a group of children in a school in Nairobi whichprovides them with safe drinking‐water from morning until late afternoon. What we do not know is the quality of the water they are receiving at home, but the school does emphasize the importance of safe drinking‐water to the children and their parents, and is working to create a habit of treating drinking‐water among the children.

12

13

A systematic review of behavior change interventions (Parker Fiebelkorn et al. 2012) provided limited insight into what behavioral techniques work for HWTS. This was mainly because the studies failed to report sufficiently on the models used to stimulate behavior change. Some possible factors that were mentioned include: self‐efficacy, cost of product, taste, whether currently practicing, believes water is dirty/can make their children sick. Other studies which reviewed the effectiveness of HWTS were too short to gain insight into sustained use over time (Hunter, 2009; Arnold & Colford, 2007; Waddington et al. 2009). Moreover, effectiveness tended to decline with the length of the study (i.e. the longer the study, the more levels of relevant HWTS outcomes dropped off). However, one study in Haiti showed sustained use over a period of ten years (Harshfield et al. 2012) but did not look at the behavioral aspects of this success. An unpublished study (Ritter, 2007) looking at the Haiti program suggested that highly consistent use was associated with distance to sales point, promotion via household visits, and perceived social support. Other factors that may play a role include ongoing training for users and continuous follow‐up (Lantagne& Clasen, 2009), social support (Russo et al. 2012) and social norms (Wood et al. 2012). Parker Fiebelkorn and colleagues (2012) suggest that in order to improve our knowledge of behavior change models that work for HWTS, we need to use more objective outcome measures (e.g. free chlorine residual in drinking‐water instead of self‐reported treatment) and longitudinal data that yields insight to behavior change over time. This is consistent with good M&E practice and is the purpose of the M&E toolkit for HWTS which is shown on the next slide.

14

The new toolkit from WHO & UNICEF was released in 2012 and offers 20 harmonized indicators for M&E of HWTS. It also offers an overview of how to design and conduct M&E activities, as well as other resources such as case studies and example surveys. The toolkit can be downloaded at http://www.who.int/household_water/resources/toolkit_monitoring_evaluating/en/.

15

The following are the 20 recommended indicators from the WHO & UNICEF M&E toolkit. Some of these indicators can be used to monitor sustainability. Which of these would you use?

First of all, for the purposes of this presentation, we are referring to the behavioral aspect of sustainability. This means that individuals, households, and communities continue the desired behavior over time and suggests that monitoring needs to occur with some frequency and continuity so as to determine whether the behavior is continuing and is sustained.

The choice of which indicator(s) you use is going to be determined by the questions you want to answer and the trends you want to assess. Think about the indicator that is most appropriate for determining the answer to that question, and think about how often you will need to collect the data. What are you trying to learn?

For example, if I wanted to understand whether my program was having an effect on HWTS behavior, I would find a target audience which is known to be consuming contaminated water, measure their water quality at baseline, use a sampling approach to select a representative and unbiased sample of households, and then follow up with them at 1, 3, 6, and 12 months to measure correct (water quality testing of their stored drinking water), consistent (frequency of sampling and determining whether they are consuming water from any other source), and sustained use (accumulated data over time).

16

17

18

19

20

21

22