Training programmes developed and implemented by the UNFCCC secretariat to support the implementation of the Convention and its Kyoto Protocol

Information SessionSBSTA 512 December 2019

William Agyemang‐Bonsu , Manager, Mitigation & Transparency Support sub‐programmeKyoko Miwa, Programme Officer, Training and Certification Unit

Mitigation Data and Analysis Programme

Presentation Outline• Overview of the existing training programmes

• How they were developed• Implementation of the training programme• of the training material and courses  

• Findings from developing and implementing existing training programmes:• Training programme for review experts for the technical review of greenhouse gas inventories included in Annex I to the Convention

• Training programme for members of expert review teams participating in annual reviews under Article 8 of the Kyoto Protocol    

• Training programme for review experts for the technical review of biennial reports and national communications of Parties included in Annex I to the Convention

• CGE training programme for technical experts undertaking technical analysis of biennial update reports from Parties not included in Annex I to the Convention 

• Key lessons learned

Overview of the programmesTraining programme for review experts for the technical review of GHG inventories included in 

Annex I to the Convention

(GHG inventory training programme)

Basic CourseOverview + 5 sectoral courses

Review of complex models and higher‐tier methods ‐optional

Improving communication and facilitating consensus in ERT ‐optional

Refresher seminar for LRs and experienced experts ‐optional

Training programme for members of expert review teams participating in annual reviews under Article 8 of the Kyoto 

Protocol

(Kyoto Protocol training programme)

Five thematic coursesIncluding

Training programme for review experts for the technical review of BRs and NCs of Parties included in Annex I to 

the Convention

(BR/NC training programme)

Overview +3 thematic courses

CGE training programme for technical experts undertaking technical analysis of BURs from Parties not included in 

Annex I to the Convention

(TTE training programme)

Cluster A: technical analysis of BURs Overview +3 thematic courses

Cluster B: Background materials, on methods and science3 thematic coursesincluding GHG inventory with 6 modules

Cluster C: REDD+

Non‐instructed course

• E‐learning courses  (6‐8 weeks) and  Final examinations

• Instructed or non‐instructed courses • Examinations: in‐person or on‐line• Retake opportunities for examination

General structure

Approach Format

Instructed courseTraining seminar

instructedNon‐instructed

Non‐instructed

Non‐instructed

Implementation of the training programmes

Nomination of experts

NFPs nominate experts to the UNFCCC roster of experts.

Individual experts may upload their information and NFPs endorse self‐nomination

Invitation of experts

The secretariat directly send the invitation for the training  nominated experts. 

Registration to the training 

Participants register the courses.

The secretariat enrols them to the relevant e‐learning courses. 

On‐line study period 

Participants study e‐learning courses for 6 or 8 weeks

Examination period 

Participants can take examination at any time during the specific period of 3 to 5 days

Training seminar and examinations

Evaluation of the 

examinations

Examination result will be informed directly to each participants.

Certification will be provided upon request.

The results will be uploaded to the secretariat’s data system. 

The secretariat register participants retake 

examinations

Development of the course material and e‐learning courses ‐ example

Developing training materials as documents

Drafting by consultants

Drafting by ROs

QA/QC by consultants and ROs

CGE workshop for peer‐review of the drafts

Drafting storyboards and examinations

Consultants  and ROs

QA and finalization of the storyboards

QA/QC by consultants and ROs

E‐learning course development

E‐learning course 

developer(s) and ROs

Outsourced

QA/QC by consultants and ROs

Publication and maintenance 

RO, assisted by LMS manager

OutsourcedThe basic course, and the Kyoto protocol training programme

started from drafting storyboards.

Development of the course material and e‐learning courses

Basic course ‐update Kyoto Protocol courses ‐update BR/NC courses TTE courses

Timeframe About 72 weeks About 45 weeks About 84 weeks About 85 weeks Drafting storyboards

6 consultants supported by 3 ROs, and 11 ROs for QA

4 consultants supported by 5 ROs for drafting, and 6 ROs for QA

4 ROs and 1 consultant, and 4 ROs for QA

4 consultants, supported by t2 ROs Peer‐review workshop with 25 participants CGE, 4 resource persons

E‐learning course development 

e‐learning courses provider + 3 Ros11 ROs for QA

1 e‐learning developer and 1 RO, and 1 assistant for technical work6 ROs for QA

E‐learning courses provider and 1 RO 4 ROs for QA

1 e‐learning developer , 

1 consultant to coordinate the work, 

5 ROs for developing examinations

Publication, maintenance and the implementation of the e‐learning courses 

Outsourced to an external e‐learning provider

2 ROs (including one from HR) and 1 assistant for publication2assistants, supported by 1 ROs, assisted by LMS manager

Outsourced to an external e‐learning provider

1 consultant and 1 RO, assisted by LMS manager

Findings from the development and implementation of individual training programmes

Training programme for review experts for the technical review of GHG inventories included in Annex I to the Convention

“Instructed course” with a combination of e‐learning courses and a hands‐on training seminar  successful in increasing the number of reviewers from developing country Parties. 

Decreasing pass rates of final examinations, after 2014, indicates:• Need to improve the user‐friendliness,• Need of periodical updates,• More experts from developing countries.

E‐learning course development and implementation are out‐sourced.• The software used did not meet the requirements for 

developing the courses of the GHG inventories;• The lack of direct communication with the e‐learning course 

developer takes time for QA.• Administrative service includes weekly reports.

Off‐line version is e‐learning courses are available. No PDF version is available. 

Opportunities to retake the examination for those who failed for their first attempt is not fully utilized.

Mandatory requirements for experts have not fully satisfied. e.g., new LRs to pass the examination of the “Accounting of activities under Article 3, paragraphs 3 and 4, of the Kyoto Protocol” • Course is developed for the LULUCF experts to review information on KP‐LULUC and the accounting.  • The review of the KP‐LULUCF is under the responsibility of the LULUCF experts, • What are the points that the LRs must understand? 

Off‐line version is e‐learning format. No off‐line version of training material in PDF is available. despite the continuous requests from the experts and reviewers. 

Training programme for members of expert review teams participating in annual reviews under Article 8 of the Kyoto Protocol    

• E‐learning courses are offered through the secretariat’s LMS; • Directly hiring an e‐learning course developer;• Applying the authoring software that is used by other 

courses of the secretariat’s LMS • Developing an internal capacity to edit e‐learning courses. 

Development of the courses:• QA process is more efficientImplementation of the courses• Cost‐efficient: one account for one user 

to access all programmes in the LMS.• Minor revisions can be done in‐house. 

“e‐learning courses and online examinations” with instructors and support material for the technical courses

The high pass rates of participants. 

Training programme for review experts for the technical review of biennial reports and national communications of Parties included in Annex I to the Convention

The average scores of the final examinations : over 65 out of 100 points for all courses• The current approach “e‐learning courses and online examinations” is successful. 

Nevertheless, in the actual reviews, new reviewers require significant guidance on the review approaches with regard to the UNFCCC reporting and review guidelines and to meet quality standards in drafting the review reports.

How to help new experts? Hands on training seminars can be provided?

Approach taken to develop the training courses:

RO RO

ROFTC

ROPaM

Consultant

LRs

Storyboard

E‐learning course 

developer

• ROs took bigger role in drafting the course material based on the experience of previous NC reviews, 

• Guidance from the LRs. • Advisory service was hired for the capacity‐

building of ROs to develop simple, logical and user‐friendly storyboards. 

• The approach achieved coherent and harmonised training courses. 

Advisory service to draft storyboards 

CGE training programme for technical experts undertaking technical analysis of biennial update reports from Parties not included in Annex I to the Convention

CGE workshop (October 2014, two days) • International experts consider the draft training material. Based on the feedback received, the CGE, supported by the secretariat, finalized the thematic modules.      

Layered structure separating modules of, • Cluster A: procedural guidance on the technical analysis overview and those of 

each thematic area and • Cluster B: technical guidance and scientific information (Cluster B, optional).

Cluster B’s mandatory, or non‐mandatory is self‐determined. 

• High demand of retaking examinations and taking more than one thematic courses.• The amount of administrative work can not be ignorable, considering that                                   

only 30‐40% of participants actually take the examinations.  

ConsultantActionsConsultant

GHGConsultant

FTC

WorkshopInternational 

expertsCGE

Consultants 

Storyboards

E‐learning course 

developer

The CGE was requested to develop and organize training programmes for nominated technical experts, based on the most up‐to‐date training materials of the CGE on national communications (20/CP.19)

High pass rate.

Key lessons learned

1. Development of new training courses ‐ timeliness

2. User‐friendliness, applicability and practicability of the training courses 

3. Measures and approaches to support for developing country experts 

4. Examination requirements

5. Frequency and timing of training cycles 

6. Plan on updating training courses

7. Further training opportunities for experienced experts

1. An early start is desirable when developing new training courses.

An Early start is always desirable to:• Ensure that the comprehensive and robust offline training materials will be made available for the 

experts who have difficulties in accessing Internet. • Make the entire process to develop the training courses more efficient and effective through:

More focused QA/QC on the user‐friendliness and functionality of on‐line courses, The time required to explore and apply the most appropriate approaches, formats and modes 

of the training courses. Courses that should be initiated as early as possible are:

• “Overview” course: • Generic guidance applicable to all thematic courses should                                                       

facilitate consistency, where necessary.• “GHG inventories” course:

Time and resources required to develop courses is significant,   The existing basic course requires significant updates to reflect the experience of the 

reviewers, since no update since the review with the 2006 IPCC Guidelines had started.

All ROs and support staff and many LRs must be involved in 

developing the courses. 

2. User‐friendliness, applicability and practicability must be the key words in choosing the approach, format and mode of the training courses.

Rooms to improve user‐friendliness of technical courses such as the GHG inventory reviews, Involvement of communication experts is a must in developing the courses to ensure the use‐friendliness,  Suggestions from LRs and a critical analysis of the basic course include:  

• Interactive modalities and modern e‐learning methods and tools, • Technologies to allow taking examinations remotely, while ensuring the confidentiality of the 

examinations,• Course designs to give incentive to participants to complete their studies,• Focused guidance on how to review and draft reports.

A careful evaluation on the applicability and usability of the latest technologies is necessary: • To ensure the courses easily accessible for experts who do not have high‐speed Internet connectivity, • Options such as an audio function to listen lectures using tablets and smart phones can be explored.  

Platform and the technologies used must be simple and practical enough• For the secretariat to directly work on the course contents for timely revisions with no additional 

cost. 

3. Measures to support experts from developing countries must be built into  the training programme.

Training seminars for the GHG inventory reviewers • Effectively increased the number of GHG inventory reviewers from non‐Annex I Parties, and thus 

helping to ensure balanced geographical representation in the ERTs. Approach to have Annex I and non‐Annex I Party experts studying together is advantageous because: 

Annex I Party experts’ experiences of reviews of their GHG inventory submissions stimulate sound sectoral discussions during the e‐learning period and in the training seminars, 

It is a good exercise for all participants to effectively communicate with experts having different backgrounds.    

An instructed course with a combination of e‐learning courses and  hands‐on training can be expanded to all thematic courses:• To assist new experts to apply appropriate review approaches and to meet a quality standards in 

drafting the review reports. 

(i) Training seminars with simulation exercises can be expanded to all thematic courses

3. Measures to support experts from developing countries must be built into  the training programme.

For highly technical courses, a combination of instructed e‐learning courses and a hands‐on training seminar assist participants to • fill the gaps in their knowledge and understanding, and • Help participants’ time management to complete the courses in a limited timeframe. 

Most of the experts are facing difficulties in the time management for studying the training courses while continuing with their multiple tasks at the national level.  • The recognition of the direct supervisors of participants on the importance of the training 

programme would be desirable. 

(ii) Instructed courses with instructors are helpful for participants

(iii) An environment to support experts studying the courses is desirable

3. Measures to support experts from developing countries must be built into  the training programme.

All training programmes should have measures to ensure the opportunities for all participating experts to retake examinations.• All existing training programmes allow participants to retake examinations, once or more times, 

provided that no additional financial implication to the secretariat. • Ensuring the opportunities to retake the examinations is more important than just increasing the 

number of retaking opportunities. Measures to avoid diluting the rigour of the examination and certification system for these highly 

technical areas must be explored, including  • a web‐based written examination function. • regional, or other settings to provide second or the third opportunities to retake exsaminations, in 

the case of in‐person examination.   Capacity and resource of the secretariat to develop multiple versions of examinations are limited. 

• the measures such as to prevent experts taking pictures of examination questions from the computer screens.  

(iv) Opportunities to retake examinations for all participants must be ensured. 

4. Clear guidance on the examination requirements is required. The basic principle in implementing the existing training programmes is:

• all experts, without exceptions, must pass the mandatory examinations before taking part in the reviews.• In some cases such that updated courses, or the different courses dealing with basically the same 

information, are newly introduced, they are optional for experienced experts.   Careful evaluation of the applicability and usability of the terminologies may be necessary. 

• In some cases, the requirements could be self‐determined, e.g., TTE course Cluster B, however, • The terminology commonly used e.g., “experienced experts”, “new lead reviewers must pass…” are not 

necessarily clear to identify mandatory examinations for individual experts. • Clear and simple, or more descriptive, guidance indicating whether, or not, an examination is mandatory for 

individual experts, would be helpful.  It could be mandatory for all experts to take the examinations of any new training programmes in order to ensure 

that the ERTs have the up‐to date knowledge, however, it is also important to avoid • posing an additional burden to the experienced reviewers unnecessarily. • the risk of an insufficient number of experts being available for the reviews.  

Clear evaluation on the examination requirements could be required, particularly for highly technical courses.• For example, the role of LRs is very important, however, they are not expected to take over the task of 

reviewing specific areas. • If required,  specific courses for LRs could be sought, instead of require them to study additional courses 

outside their own expertise. 

5. The optimum frequency and timing of training cycles vary depending on the review process.

The appropriateness of the frequency of training cycles and final examinations varies depending on: • Frequency of the review cycles, • How many experts are necessary to make up ERTs, • How many review experts already available. 

Where continuous expansion of the number of review experts is necessary in order to ensure the complete and well‐balanced ERTs:• at least two training cycles with training seminars per year, one held in Bonn and another one as a 

regional seminar are desirable.Where the current approach: a combination of e‐learning courses and on‐line examinations is 

sufficient to increase the number of experts: • one training cycle per year seems to be sufficient e.g., for the current BR/NC training programme

Need to revisit optimum frequency and timing of training cycles after the surge of the (re)training of existing reviewers for the technical expert reviews for the new process under the ETF under the Paris Agreement. 

6. Periodical updates must be built into the training programme

The first update of new training‐programme is desirable in three to four years after the launch, in order to:• include examples from the actual reviews and review reports in the training materials/courses; • reflect the conclusions of the LRs on the agreed review approach; and • update links with to the external reference materials

Periodical updates are necessary, in order to:• ensure that the reviewers are provided with up‐to‐date information. 

7. Training opportunities for experienced experts must be a part of the training programme

It is valuable to continually identify opportunities to refresh and update experts’ knowledge and skills. • Refresher seminars for LRs and experienced experts of GHG inventories can be expanded to other 

thematic areas. 

Thank you very much.

Technical paper “Overview of the existing training programmes for technical expert reviews” 

is available at:https://unfccc.int/event/sbsta‐51#eq‐27