sparc t3™ supplement - oracle · sparc t3™ supplement to the ultrasparc architecture 2007...

Orac4150SantU.S.A

Part No. 806Release 1.0Part No: 950Revision: Dr

SPARC T3™ Supplementto the UltraSPARC Architecture 2007Specification

Draft D0.6.1, 16 Nov 2010

Privilege Levels: Hyperprivileged,Privileged,and Nonprivileged

Distribution: Public

le Corporation Network Circlea Clara, CA 95054. 650-960-1300

-____, 2002-5559-00aft D0.6.1, 16 Nov 2010

ii SPARC T3 Supplement • Draft D0.6.1, 16 Nov 2010

Copyright 2002–2008 Sun Microsystems, Inc., 4150 Network Circle • Santa Clara, CA 95054 USA. All rights reserved.

This product or document is protected by copyright and distributed under licenses restricting its use, copying, distribution, and decompilation.No part of this product or document may be reproduced in any form by any means without prior written authorization of Sun and its licensors,if any. Third-party software, including font technology, is copyrighted and licensed from Sun suppliers.

Parts of the product may be derived from Berkeley BSD systems, licensed from the University of California. UNIX is a registered trademark inthe U.S. and other countries, exclusively licensed through X/Open Company, Ltd. For Netscape Communicator™, the following notice applies:Copyright 1995 Netscape Communications Corporation. All rights reserved.

Sun, Sun Microsystems, the Sun logo, Solaris, and VIS are trademarks, registered trademarks, or service marks of Sun Microsystems, Inc. in theU.S. and other countries. All SPARC trademarks are used under license and are trademarks or registered trademarks of SPARC International,Inc. in the U.S. and other countries. Products bearing SPARC trademarks are based upon an architecture developed by Sun Microsystems, Inc

The OPEN LOOK and Sun™ Graphical User Interface was developed by Sun Microsystems, Inc. for its users and licensees. Sun acknowledgesthe pioneering efforts of Xerox in researching and developing the concept of visual or graphical user interfaces for the computer industry. Sunholds a non-exclusive license from Xerox to the Xerox Graphical User Interface, which license also covers Sun’s licensees who implement OPENLOOK GUIs and otherwise comply with Sun’s written license agreements.

RESTRICTED RIGHTS: Use, duplication, or disclosure by the U.S. Government is subject to restrictions of FAR 52.227-14(g)(2)(6/87) andFAR 52.227-19(6/87), or DFAR 252.227-7015(b)(6/95) and DFAR 227.7202-3(a).

DOCUMENTATION IS PROVIDED “AS IS” AND ALL EXPRESS OR IMPLIED CONDITIONS, REPRESENTATIONS AND WARRANTIES,INCLUDING ANY IMPLIED WARRANTY OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE OR NON-INFRINGEMENT, ARE DISCLAIMED, EXCEPT TO THE EXTENT THAT SUCH DISCLAIMERS ARE HELD TO BE LEGALLY INVALID.

Copyright 2002–2008 Sun Microsystems, Inc., 4150 Network Circle • Santa Clara, CA 95054 Etats-Unis. Tous droits réservés.

Des parties de ce document est protégé par un copyright 1994 SPARC International, Inc.

Ce produit ou document est protégé par un copyright et distribué avec des licences qui en restreignent l’utilisation, la copie, la distribution, et ladécompilation. Aucune partie de ce produit ou document ne peut être reproduite sous aucune forme, par quelque moyen que ce soit, sansl’autorisation préalable et écrite de Sun et de ses bailleurs de licence, s’il y en a. Le logiciel détenu par des tiers, et qui comprend la technologierelative aux polices de caractères, est protégé par un copyright et licencié par des fournisseurs de Sun.

Sun, Sun Microsystems, le logo de Sun, Solaris, et VIS sont des marques de fabrique ou des marques déposées, ou marques de service, de SunMicrosystems, Inc. aux Etats-Unis et dans d’autres pays. Toutes les marques SPARC sont utilisées sous licence et sont des marques de fabriqueou des marques déposées de SPARC International, Inc. aux Etats-Unis et dans d’autres pays. Les produits portant les marques SPARC sontbasés sur une architecture développée par Sun Microsystems, Inc.

L’interface d’utilisation graphique OPEN LOOK et Sun™ a été développée par Sun Microsystems, Inc. pour ses utilisateurs et licenciés. Sunreconnaît les efforts de pionniers de Xerox pour la recherche et le développement du concept des interfaces d’utilisation visuelle ou graphiquepour l’industrie de l’informatique. Sun détient une licence non exclusive de Xerox sur l’interface d’utilisation graphique Xerox, cette licencecouvrant également les licenciés de Sun qui mettent en place l’interface d’utilisation graphique OPEN LOOK et qui en outre se conforment auxlicences écrites de Sun.

CETTE PUBLICATION EST FOURNIE "EN L’ETAT" ET AUCUNE GARANTIE, EXPRESSE OU IMPLICITE, N’EST ACCORDEE, Y COMPRISDES GARANTIES CONCERNANT LA VALEUR MARCHANDE, L’APTITUDE DE LA PUBLICATION A REPONDRE A UNE UTILISATIONPARTICULIERE, OU LE FAIT QU’ELLE NE SOIT PAS CONTREFAISANTE DE PRODUIT DE TIERS. CE DENI DE GARANTIE NES’APPLIQUERAIT PAS, DANS LA MESURE OU IL SERAIT TENU JURIDIQUEMENT NUL ET NON AVENU.

iv SPARC T3 Supplement • Draft D0.6.1, 16 Nov 2010

Contents

1 SPARC T3 Basics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491.2 SPARC T3 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501.3 SPARC T3 Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

1.3.1 SPARC Physical Core . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 521.3.2 L2 Cache. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531.3.3 Coherency Link Cluster (CLC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531.3.4 Memory Controller Unit (MCU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541.3.5 Noncacheable Unit (NCU). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541.3.6 System Interface Unit (SIU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541.3.7 Data Management Unit (DMU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541.3.8 PCI-Express Unit (PEU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551.3.9 Network Interface Unit (NIU). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551.3.10 Clock and Test Unit (CTU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

1.3.10.1 Clock Control Unit (CCU) . . . . . . . . . . . . . . . . . . . . . . . 551.3.10.2 Test Control Unit (TCU) . . . . . . . . . . . . . . . . . . . . . . . . . 551.3.10.3 Reset Unit (RSU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

2 Data Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3 Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.1 Ancillary State Registers (ASR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593.1.1 Tick Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603.1.2 Program Counter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603.1.3 General Status Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.1.4 Software Interrupt Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.1.5 Tick Compare Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623.1.6 System Tick Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623.1.7 System Tick Compare Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.2 Privileged Registers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633.2.1 Trap State Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643.2.2 Processor State Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643.2.3 Trap Level Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653.2.4 Global Level Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

3.3 Floating-Point State Register (FSR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663.4 Hyperprivileged Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

3.4.1 Hypervisor Processor State Register . . . . . . . . . . . . . . . . . . . . . . . . 673.4.2 Hypervisor Trap State Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673.4.3 Hypervisor Interrupt Pending Register . . . . . . . . . . . . . . . . . . . . . . 683.4.4 Hypervisor Trap Base Address Register . . . . . . . . . . . . . . . . . . . . . 683.4.5 Hyperprivileged Version Register (HVER) . . . . . . . . . . . . . . . . . . . 683.4.6 Halt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693.4.7 Hypervisor System Tick Compare Register. . . . . . . . . . . . . . . . . . . 70

1

4 Instruction Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

5 Instruction Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

5.1 Instruction Set Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

6 Traps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

6.1 Trap Levels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1196.2 Trap Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1196.3 Trap Masking. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

7 Interrupt Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

7.1 Interrupt Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1287.1.1 Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1287.1.2 Dispatching. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1287.1.3 States . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1287.1.4 Prioritizing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1297.1.5 Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1297.1.6 Servicing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

7.2 NCU Interrupt Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1307.2.1 SSI Interrupt Management Register . . . . . . . . . . . . . . . . . . . . . . . 1317.2.2 SSI Interrupt Log Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1317.2.3 Debug Interrupt Management Register . . . . . . . . . . . . . . . . . . . . 1317.2.4 NIU Interrupt Management Registers. . . . . . . . . . . . . . . . . . . . . . 1317.2.5 Mondo Interrupt Vector Register . . . . . . . . . . . . . . . . . . . . . . . . . . 1327.2.6 Mondo Data Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

7.3 CPU Interrupt Registers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1327.3.1 Interrupt Queue Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1327.3.2 Interrupt Receive Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1347.3.3 Interrupt Vector Dispatch Register . . . . . . . . . . . . . . . . . . . . . . . . 1347.3.4 Incoming Vector Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

8 Memory Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

8.1 Supported Memory Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1378.1.1 TSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1388.1.2 RMO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

9 Address Spaces and ASIs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

9.1 Address Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1399.2 Physical Address Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

9.2.1 Memory Address Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1399.2.1.1 Memory Address Interleaving . . . . . . . . . . . . . . . . . . . 1399.2.1.2 Access to Non-existent Memory Addresses . . . . . . . . 140

9.2.2 IO Address Space. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1409.2.2.1 IO Address Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . 1409.2.2.2 Access to Non-existent IO Addresses. . . . . . . . . . . . . . 1419.2.2.3 Instruction Fetching from IO Addresses . . . . . . . . . . . 1419.2.2.4 Access Sizes For I/O Addresses . . . . . . . . . . . . . . . . . . 142

9.3 Virtual and Real Address Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1429.4 Alternate Address Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1439.5 Alternate Address Space Descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

9.5.1 Block-Initializing Store ASIs . . . . . . . . . . . . . . . . . . . . . . . . . . . 1519.5.2 Special SPARC T3-specific ASIs . . . . . . . . . . . . . . . . . . . . . . . . . . . 1529.5.3 ASI_SCRATCHPAD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1529.5.4 ASI_REAL_* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1539.5.5 ASI_HYP_SCRATCHPAD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1539.5.6 ASI Accessible Shared Registers . . . . . . . . . . . . . . . . . . . . . . . . . . 153

10.1 Performance InstrumentationSPARC Changes from Niagara2/VF . . . . . . . 155

2 SPARC T3 Supplement • Draft D0.6.1, 16 Nov 2010

10.2 SPARC Performance Control Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15510.3 SPARC Performance Instrumentation Counter . . . . . . . . . . . . . . . . . . . . . . . . 16010.4 L2 Performance reporting control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16010.5 DRAM Performance Counter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16110.6 PCIe Performance Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16310.7 Ethernet Performance Counters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

11 Implementation Dependencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

11.1 SPARC V9 General Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16511.1.1 Level-2 Compliance (Impdep #1) . . . . . . . . . . . . . . . . . . . . . . . . . . 16511.1.2 Unimplemented Opcodes, ASIs, and ILLTRAP . . . . . . . . . . . . . . 16511.1.3 Trap Levels (Impdep #37, 38, 39, 40, 114, 115) . . . . . . . . . . . . . . . . 16511.1.4 Trap Handling (Impdep #16, 32, 33, 35, 36, 44) . . . . . . . . . . . . . . . 16611.1.5 SIR Support (Impdep #116) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16611.1.6 Secure Software. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16611.1.7 Operation in User Mode with TL > 0 . . . . . . . . . . . . . . . . . . . . . . . 16611.1.8 Address Masking (Impdep #125) . . . . . . . . . . . . . . . . . . . . . . . . . . 166

11.2 SPARC V9 Integer Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16711.2.1 Integer Register File and Window Control Registers (Impdep #2) 16711.2.2 Clean Window Handling (Impdep #102) . . . . . . . . . . . . . . . . . . . . 16711.2.3 Integer Multiply and Divide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16711.2.4 MULScc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16711.2.5 Version Register (Impdep #2, 13, 101, 104) . . . . . . . . . . . . . . . . . . 167

11.3 SPARC V9 Floating-Point Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16811.3.1 Overflow, Underflow, and Inexact Traps (Impdep #3, 55) . . . . . . 16811.3.2 Quad-Precision Floating-Point Operations (Impdep #3) . . . . . . . 16811.3.3 Floating-Point Upper and Lower Dirty Bits in FPRS Register . . 16811.3.4 Floating-Point Status Register (FSR) (Impdep #13, 19, 22, 23, 24) 169

11.4 SPARC V9 Memory-Related Operations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17011.4.1 Load/Store Alternate Address Space (Impdep #5, 29, 30). . . . . . 17011.4.2 Load/Store ASR (Impdep #6,7,8,9, 47, 48). . . . . . . . . . . . . . . . . . . 17011.4.3 MMU Implementation (Impdep #41) . . . . . . . . . . . . . . . . . . . . . . . 17011.4.4 FLUSH and Self-Modifying Code (Impdep #122) . . . . . . . . . . . . 17111.4.5 PREFETCH{A} (Impdep #103, 117). . . . . . . . . . . . . . . . . . . . . . . . . 17111.4.6 LDD/STD Handling (Impdep #107, 108). . . . . . . . . . . . . . . . . . . . 17111.4.7 FP mem_address_not_aligned (Impdep #109, 110, 111, 112) . . . . 17211.4.8 Supported Memory Models (Impdep #113, 121). . . . . . . . . . . . . . 17211.4.9 I/O Operations (Impdep #118, 123) . . . . . . . . . . . . . . . . . . . . . . . . 17211.4.10 Implicit ASI When TL > 0 (Impdep #124) . . . . . . . . . . . . . . . . . . . 172

11.5 Non-SPARC V9 Extensions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17211.5.1 Cache Subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17211.5.2 Memory Management Unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17211.5.3 Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17211.5.4 Block Memory Operations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17311.5.5 Partial Stores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17311.5.6 Short Floating-Point Loads and Stores. . . . . . . . . . . . . . . . . . . . . . 17311.5.7 Atomic Quad-load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17311.5.8 Interrupt Vector Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17311.5.9 Power-Down Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17311.5.10 SPARC T3 Instruction Set Extensions (Impdep #106) . . . . . . . . . 17311.5.11 Performance Instrumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17311.5.12 Debug and Diagnostics Support . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

12 Memory Management Unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

12.1 Translation Table Entry (TTE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17512.2 Hardware Support for Hypervisor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

12.2.1 Hardware Support for TSB Access . . . . . . . . . . . . . . . . . . . . . . . . . 178

• 3

12.2.1.1 Hardware Tablewalk . . . . . . . . . . . . . . . . . . . . . . . . . . . 17812.2.1.2 Software TLB Reload . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

12.2.2 Real-to-Physical Address Mapping and Speculative Instruction Fetch 18212.3 MMU-Related Faults and Traps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

12.3.1 fast_instruction_access_MMU_miss Trap . . . . . . . . . . . . . . . . . . 18412.3.2 instruction_access_MMU_miss Trap. . . . . . . . . . . . . . . . . . . . . . . 18412.3.3 instruction_real_translation_miss Trap . . . . . . . . . . . . . . . . . . . . . 18412.3.4 instruction_invalid_TSB_entry Trap. . . . . . . . . . . . . . . . . . . . . . . . 18512.3.5 IAE_privilege_violation Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18512.3.6 IAE_unauth_access Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18512.3.7 IAE_nfo_page Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18512.3.8 instruction_address_range Trap . . . . . . . . . . . . . . . . . . . . . . . . . . 18512.3.9 instruction_real_range Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18512.3.10 fast_data_access_MMU_miss Trap. . . . . . . . . . . . . . . . . . . . . . . . 18512.3.11 data_access_MMU_miss Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18612.3.12 data_invalid_TSB_entry Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18612.3.13 data_real_translation_miss Trap . . . . . . . . . . . . . . . . . . . . . . . . . . 18612.3.14 DAE_privilege_violation Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18612.3.15 DAE_side_effect_page Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18612.3.16 DAE_nc_page Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18612.3.17 DAE_invalid_asi Trap. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18712.3.18 DAE_nfo_page Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18712.3.19 mem_address_range Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18712.3.20 mem_real_range Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18712.3.21 fast_data_access_protection Trap. . . . . . . . . . . . . . . . . . . . . . . . . 18712.3.22 privileged_action Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18712.3.23 instruction_VA_watchpoint Trap. . . . . . . . . . . . . . . . . . . . . . . . . . . 18712.3.24 VA_watchpoint Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18812.3.25 PA_watchpoint Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18812.3.26 *_mem_address_not_aligned Traps . . . . . . . . . . . . . . . . . . . . . . . 18812.3.27 Unsupported_page_size Trap . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

12.4 MMU Operation Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18812.5 ASI Value, Context, and Endianness Selection for Translation . . . . . . . . . . . . 19112.6 Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192

12.6.1 Instruction Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19212.6.1.1 Instruction Prefetching. . . . . . . . . . . . . . . . . . . . . . . . . . 193

12.6.2 Data Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19312.7 MMU Behavior During Reset and Upon Entering RED_state . . . . . . . . . . . 19712.8 Compliance With the SPARC V9 Annex F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19812.9 MMU Internal Registers and ASI Operations . . . . . . . . . . . . . . . . . . . . . . . . . . 198

12.9.1 Accessing MMU Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19812.9.2 Context Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20012.9.3 I-/D-TSB Tag Target Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20112.9.4 I-/D-MMU Synchronous Fault Address Registers (SFAR). . . . . 202

12.9.4.1 I-MMU Fault Address . . . . . . . . . . . . . . . . . . . . . . . . . . 20212.9.4.2 D-MMU Fault Address. . . . . . . . . . . . . . . . . . . . . . . . . . 202

12.9.5 I-/D-TLB Tag Access Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . 20312.9.6 Partition Identifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20412.9.7 Hardware Tablewalk Configuration Register. . . . . . . . . . . . . . . . 20512.9.8 ITLB Probe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20512.9.9 MMU Real Range Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20612.9.10 MMU Physical Offset Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . 20812.9.11 MMU TSB Config Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20812.9.12 MMU I-/D-TSB Pointer Registers . . . . . . . . . . . . . . . . . . . . . . . . . 20912.9.13 MMU Tablewalk Pending Control Register . . . . . . . . . . . . . . . . . 21012.9.14 MMU Tablewalk Pending Status Register . . . . . . . . . . . . . . . . . . 21112.9.15 I-/D-TLB Data-In/Data-Access/Tag-Read Registers . . . . . . . . . 211


12.10 I/D-MMU Demap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21512.10.1 I-/D-MMU Demap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21512.10.2 I-/D-Demap Page (type = 0) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21612.10.3 I-/D-Demap Context (type = 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . 21612.10.4 I-/D-Demap All (type = 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21712.10.5 I-/D-Demap All Pages (type = 3) . . . . . . . . . . . . . . . . . . . . . . . . . . 217

12.11 TLB Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21712.11.1 TLB Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21712.11.2 TLB Replacement Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

13 Clocks, Reset, RED_state, and Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

13.1 Register Nomenclature for Reset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21913.2 Clock Unit. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

13.2.1 Downclock Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22213.2.2 Upclock Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22313.2.3 Read-Sync Register . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22313.2.4 Synchronous mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22413.2.5 Other Clock Unit Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22513.2.6 SPARC T3 Clock Power-On programming . . . . . . . . . . . . . . . . . . 227

13.3 Reset Unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22913.3.1 Reset Generation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22913.3.2 Fatal Error Source . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22913.3.3 Reset Fatal Error Enable. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23113.3.4 Subsystem Reset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23213.3.5 Reset Status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23313.3.6 Reset Time Registers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

13.4 Hoover . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23513.4.1 Hoover Configuration Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

13.5 Reset Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24413.6 Chipwide Resets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

13.6.1 Power-on Reset (POR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24413.6.2 Warm Reset (WMR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24513.6.3 Debug Reset (DBR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24613.6.4 Fatal Error Reset (FER). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

13.7 Virtual Processor Resets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24613.7.1 Externally Initiated Reset (XIR) . . . . . . . . . . . . . . . . . . . . . . . . . . . 24613.7.2 Watchdog Reset (WDR) and error_state . . . . . . . . . . . . . . . . . 24713.7.3 Software-Initiated Reset (SIR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247

13.8 RED_state . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24713.9 RED_state Trap Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24713.10 Machine State After Reset and in RED_State . . . . . . . . . . . . . . . . . . . . . . . . 247

13.10.1 Core and Cache State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24713.10.2 Other Blocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252

13.11 Boot Sequence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25213.11.1 Assumed POR Software Initialization Sequence . . . . . . . . . . . . . 25313.11.2 Assumed Warm Reset Software Initialization Sequence . . . . . . . 254

14 Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

14.1 Error Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25914.1.1 Pipeline-Driven Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 259

14.2 Availability Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25914.3 Error Traps / Delivery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260

14.3.1 Precise Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26014.3.1.1 Semi-Precise Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260

14.3.2 Deferred Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26114.3.2.1 Store Error Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

• 5

14.3.3 Disrupting Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26114.3.4 Fatal Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26214.3.5 Dropped Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26214.3.6 Prefetch and Speculative Data Errors . . . . . . . . . . . . . . . . . . . . . . 26214.3.7 One Error Can Generate Two Traps. . . . . . . . . . . . . . . . . . . . . . . . 26214.3.8 SOC Error Signalling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

14.3.8.1 Fatal Error Enables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26314.3.9 Error Trap Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26414.3.10 Error Implementation Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

14.3.10.1 Error Recording Enable . . . . . . . . . . . . . . . . . . . . . . . . . 26514.3.10.2 Error Trap/Signal Enable. . . . . . . . . . . . . . . . . . . . . . . . 26514.3.10.3 Not-Data (ND) Overview . . . . . . . . . . . . . . . . . . . . . . . 26714.3.10.4 ND Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

14.4 Error Description Template . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26914.5 Error Barrier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27014.6 SPARC Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

14.6.1 SPARC Error Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27114.6.1.1 Overview of SPARC Error Registers. . . . . . . . . . . . . . . 27114.6.1.2 Overview of SPARC Error Processing . . . . . . . . . . . . . 27114.6.1.3 SPARC Error Summary . . . . . . . . . . . . . . . . . . . . . . . . . 273

14.6.2 SPARC Error Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27614.6.2.1 Core Error Recording Enable Register (CERER) . . . . 27614.6.2.2 Strand Error Trap Enable Register (SETER) . . . . . . . . 27814.6.2.3 IMMU Synchronous Fault Status Register (ISFSR) . . 27914.6.2.4 DMMU Synchronous Fault Status Register (DSFSR) 28114.6.2.5 DMMU Synchronous Fault Address Register (DSFAR)28314.6.2.6 Disrupting Error Status Register (DESR) . . . . . . . . . . 28514.6.2.7 Deferred Error Status Register (DFESR) . . . . . . . . . . . 28814.6.2.8 Core Local Error Status Reg (CLESR) . . . . . . . . . . . . . 28914.6.2.9 Core Local First Error Status Reg (CLFESR). . . . . . . . 29014.6.2.10 Core Error Inject Register (CEIR) . . . . . . . . . . . . . . . . . 291

14.6.3 IRF (Integer Register File) Errors . . . . . . . . . . . . . . . . . . . . . . . . . . 29214.6.3.1 IRF Correctable Error (IRFC) . . . . . . . . . . . . . . . . . . . . . 29214.6.3.2 IRF Uncorrectable Error (IRFU) . . . . . . . . . . . . . . . . . . 292

14.6.4 FRF (Floating-point Register File) Errors . . . . . . . . . . . . . . . . . . . 29314.6.4.1 FRF Correctable Error (FRFC) . . . . . . . . . . . . . . . . . . . . 29314.6.4.2 FRF Uncorrectable Error (FRFU). . . . . . . . . . . . . . . . . . 293

14.6.5 MRA (MMU Register Array) Errors . . . . . . . . . . . . . . . . . . . . . . . 29514.6.5.1 MRA Parity Error Register on Access (MRAU) . . . . . 29514.6.5.2 IMRA Parity Error on HW Table Walk (ITMU). . . . . . 29514.6.5.3 DMRA Parity Error on HW Table Walk (DTMU) . . . . 295

14.6.6 SCA (Scratchpad Array) Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . 29614.6.6.1 SCA Correctable Error (SCAC) . . . . . . . . . . . . . . . . . . . 29614.6.6.2 SCA Uncorrectable Error (SCAU) . . . . . . . . . . . . . . . . . 296

14.6.7 TSA (Trap Stack Array) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29714.6.7.1 Trap Stack Array Correctable Error (TSAC) . . . . . . . . 29714.6.7.2 Trap Stack Array Uncorrectable Error (TSAU) . . . . . . 297

14.6.8 TCA (Tick Compare Array) Errors . . . . . . . . . . . . . . . . . . . . . . . . 29814.6.8.1 TCA Correctable Error on Access (TCCP) . . . . . . . . . . 29814.6.8.2 TCA Uncorrectable Error on Access (TCUP). . . . . . . . 29814.6.8.3 TCA Correctable Error on Compare (TCCD) . . . . . . . 29814.6.8.4 TCA Uncorrectable Error on Compare (TCUD) . . . . . 298

14.6.9 Store Buffer (STB) Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29914.6.9.1 STB Data Correctable ECC Error on Bypass (SBDLC)29914.6.9.2 STB Data Uncorrectable ECC Error on Bypass (SBDLU)29914.6.9.3 STB Address Parity Error on Bypass . . . . . . . . . . . . . . 30014.6.9.4 STB Data Correctable ECC Error on Issue (SBDPC) . . 300


14.6.9.5 STB Data Uncorrectable ECC Error on Issue to Memory (SBDPU)30014.6.9.6 STB Data Uncorrectable ECC Error on Issue to ASI or IO Address (SBDIOU)

30014.6.9.7 STB Address Parity Error on Issue (SBAPP) . . . . . . . 300

14.6.10 Modular Arithmetic Memory (MAMEM) . . . . . . . . . . . . . . . . . . . 30114.6.10.1 MAMEM Parity Error (MAMU). . . . . . . . . . . . . . . . . . 301

14.6.11 ITLB Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30214.6.11.1 ITLB Tag Multiple Hit Error (ITTM) . . . . . . . . . . . . . . 30214.6.11.2 ITLB Tag Parity Error (ITTP) . . . . . . . . . . . . . . . . . . . . 30214.6.11.3 ITLB Data Parity Error (ITDP) . . . . . . . . . . . . . . . . . . . 302

14.6.12 DTLB Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30314.6.12.1 DTLB Tag Multiple Hit Error (DTTM) . . . . . . . . . . . . 30314.6.12.2 DTLB Tag Parity Error (DTTP). . . . . . . . . . . . . . . . . . . 30314.6.12.3 DTLB Data Parity Error (DTDP) . . . . . . . . . . . . . . . . . 303

14.6.13 ICache Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30414.6.13.1 ICache Valid Parity Error (ICVP) . . . . . . . . . . . . . . . . . 30414.6.13.2 ICache Tag Parity Error (ICTP) . . . . . . . . . . . . . . . . . . 30414.6.13.3 ICache Tag Multiple Hit Error (ICTM) . . . . . . . . . . . . 30414.6.13.4 ICache/I-Buffer Data Parity Error (ICDP) . . . . . . . . . 304

14.6.14 DCache Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30514.6.14.1 DCache Valid Parity Error (DCVP) . . . . . . . . . . . . . . . 30514.6.14.2 DCache Tag Parity Error (DCTP) . . . . . . . . . . . . . . . . . 30514.6.14.3 DCache Tag Multiple Hit Error (DCTM) . . . . . . . . . . 30514.6.14.4 DCache Data Parity Error (DCDP) . . . . . . . . . . . . . . . 305

14.6.15 L2 ND Return Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30614.6.15.1 L2 ND Return on I-TTE Read Access (ITL2ND) . . . . 30614.6.15.2 L2 ND Return on D-TTE Read Access (DTL2ND) . . . 30614.6.15.3 L2 ND Return on ICache Miss Access (ICL2ND) . . . 30614.6.15.4 L2 ND Return on DCache Miss Access (DCL2ND) . . 30614.6.15.5 L2 ND Return on Atomic Access (DCL2ND) . . . . . . . 30614.6.15.6 L2 ND Return on Block Load (DCL2ND) . . . . . . . . . . 30614.6.15.7 L2 ND Return on Prefetch . . . . . . . . . . . . . . . . . . . . . . 30714.6.15.8 L2 ND Return on Modular Arithmetic Load (MAL2ND)30714.6.15.9 L2 ND Return on CWQ Load (CWQL2ND) . . . . . . . . 307

14.6.16 Non-Local Software Recoverable Errors . . . . . . . . . . . . . . . . . . . . 30814.6.16.1 L2 Software Recoverable Error (L2SRE) . . . . . . . . . . . 30814.6.16.2 SOC Software Recoverable Error (SOCSRE) . . . . . . . 308

14.6.17 Non-Local Hardware Corrected and Cleared Errors . . . . . . . . . . 30914.6.17.1 L2 Hardware-Corrected-and-Cleared Error (L2HCCE)30914.6.17.2 SOC Hardware-Corrected-and-Cleared Error (SOCHCCE)309

14.6.18 Errors in Access to IO Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31014.6.18.1 Non-cacheable Instruction Fetch Error (ICL2U) . . . . 31014.6.18.2 Non-cacheable Load Error (SOCU) . . . . . . . . . . . . . . . 31014.6.18.3 Non-cacheable Store Error . . . . . . . . . . . . . . . . . . . . . . 310

14.7 L2 Cache Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31114.7.1 L2 Cache Error Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311

14.7.1.1 Overview of L2 Cache Error Protection . . . . . . . . . . . 31114.7.1.2 Overview Of L2 Error Registers. . . . . . . . . . . . . . . . . . 31314.7.1.3 Overview of L2 Cache Error Recording . . . . . . . . . . . 31414.7.1.4 Overview of L2 Cache Error Reporting . . . . . . . . . . . 31414.7.1.5 Overview of L2-Cache ND Implementation. . . . . . . . 315

14.7.2 L2 Error Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31614.7.2.1 L2 Error Reporting Enable Register (LERER) . . . . . . 31614.7.2.2 L2 Error Signal Enable Register (LESER) . . . . . . . . . . 31714.7.2.3 Error Steering Register . . . . . . . . . . . . . . . . . . . . . . . . . 31714.7.2.4 L2 Error Status Register (LESR) . . . . . . . . . . . . . . . . . 31814.7.2.5 L2 Error Status Register 2 (LESR2) . . . . . . . . . . . . . . . 320

• 7

14.7.2.6 L2 Error Address Register (LEAR) . . . . . . . . . . . . . . . . 32214.7.2.7 L2 Error Injection Register (LEIR). . . . . . . . . . . . . . . . . 323

14.7.3 L2 Error Recording Priority . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32414.7.4 L2-Cache State Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

14.7.4.1 L2-Cache CSA Correctable Errors (LVC) . . . . . . . . . . . 32614.7.4.2 L2-Cache CSA Uncorrectable Errors (LVF) . . . . . . . . . 326

14.7.5 L2-Cache Tag Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32714.7.5.1 L2-Cache Tag Correctable Errors (LTC) . . . . . . . . . . . . 32714.7.5.2 L2-Cache Tag Uncorrectable Errors (LTF) . . . . . . . . . . 327

14.7.6 L2-Cache Data Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32814.7.6.1 L2-Cache Data Correctable Error on Access (LDAC) . 32914.7.6.2 L2-Cache Data Uncorrectable Error on Access (LDAU)32914.7.6.3 L2-Cache ND on Access . . . . . . . . . . . . . . . . . . . . . . . . . 32914.7.6.4 L2-Cache Data Correctable Error on Writeback or Copyback (LDWC)33114.7.6.5 L2-Cache Data Uncorrectable Error on Writeback or Copyback (LDWU)33114.7.6.6 L2-Cache ND on Writeback or Copyback . . . . . . . . . . 331

14.7.7 L2-Cache Directory Errors (LDC) . . . . . . . . . . . . . . . . . . . . . . . . . 33214.7.7.1 L2-Cache Directory Parity Error on Store, Snoop, or Eviction (LDC)33214.7.7.2 L2-Cache Directory Parity Error on I-miss/D-miss Read (LDC)332

14.7.8 L2 Fill Buffer (FB) Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33314.7.8.1 L2 FB Data Correctable Error on Linefill (FBDC) . . . . 33314.7.8.2 L2 FB Data UE on Linefill (FBDU) . . . . . . . . . . . . . . . . 33314.7.8.3 L2 FB Signalling-ND on Linefill (FBDU) . . . . . . . . . . . 33314.7.8.4 L2 FB Data Correctable Error on Bypass . . . . . . . . . . . 33414.7.8.5 L2 FB Data Uncorrectable Error or ND on Bypass . . . 334

14.7.9 L2 Miss Buffer Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33514.7.9.1 L2 Miss Buffer Data Parity Error (MBDU) . . . . . . . . . 33514.7.9.2 Store-with-Error Request (SBDU) . . . . . . . . . . . . . . . . . 335

14.7.10 L2 Protocol and Timeout Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . 33614.7.10.1 Invalid Protocol Acknowledge Error (PE_FRACK) . . 33614.7.10.2 Invalid Protocol Snoop Response Error (PE_FSR) . . . 33614.7.10.3 Invalid Protocol Data Return Error (PE_FDR) . . . . . . 33614.7.10.4 Invalid Snoop Request Error (SNPTYP). . . . . . . . . . . . 33614.7.10.5 Protocol Timeout Error (TO) . . . . . . . . . . . . . . . . . . . . . 336

14.8 DRAM Error Descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33814.8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

14.8.1.1 DRAM Error Signalling . . . . . . . . . . . . . . . . . . . . . . . . . 33814.8.1.2 ND Handling in MCU . . . . . . . . . . . . . . . . . . . . . . . . . . 338

14.8.2 Memory Error Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34014.8.2.1 MCU Error Recording Enable Register - MERER . . . . 34014.8.2.2 MCU Error Signalling Enable Register - MESER . . . . 34114.8.2.3 Memory Error Status Register - MESR. . . . . . . . . . . . . 34214.8.2.4 Memory Error Address Register - MEAR . . . . . . . . . . 34414.8.2.5 Writeback/DRAM Error Syndrome Register . . . . . . . 34514.8.2.6 DRAM Error Injection Register . . . . . . . . . . . . . . . . . . . 34614.8.2.7 DRAM Error Location Register . . . . . . . . . . . . . . . . . . . 34714.8.2.8 DRAM Error Retry1/Retry2 Registers . . . . . . . . . . . . . 34814.8.2.9 DRAM Failover Location Registers . . . . . . . . . . . . . . . 35014.8.2.10 Post-DRAM-Failure Mode Logging Behavior . . . . . . . 35114.8.2.11 Mem Link Error Status Register - MLESR . . . . . . . . . . 35314.8.2.12 Mem Link Error Inject Register . . . . . . . . . . . . . . . . . . . 35514.8.2.13 Mem Link Error Count Register (MLECR) . . . . . . . . . 356

14.8.3 Memory Error Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35614.8.3.1 DRAM Correctable Error on Access (DAC). . . . . . . . . 35614.8.3.2 DRAM Correctable Error on Scrub (DSC) . . . . . . . . . . 35714.8.3.3 DRAM Uncorrectable Error on Access (DAU) . . . . . . 35714.8.3.4 DRAM Uncorrectable Error on Scrub (DSU) . . . . . . . . 357


14.8.3.5 DRAM Retry on Access. . . . . . . . . . . . . . . . . . . . . . . . . 35714.8.3.6 DRAM Address Parity Error on Access (DAU) . . . . . 35814.8.3.7 DRAM ND Detected on Access . . . . . . . . . . . . . . . . . . 35914.8.3.8 DRAM ND Detected on Scrub . . . . . . . . . . . . . . . . . . . 35914.8.3.9 Transaction Out-of-Bounds Address Error (DBF) . . . 35914.8.3.10 Transaction Address Parity Error (TAF) . . . . . . . . . . . 35914.8.3.11 Transaction Correctable Data Error (TDC) . . . . . . . . 35914.8.3.12 Transaction Uncorrectable Data Error (TDU). . . . . . . 36014.8.3.13 Transaction Quiet ND . . . . . . . . . . . . . . . . . . . . . . . . . . 36014.8.3.14 Transaction Signalling ND (TDU) . . . . . . . . . . . . . . . . 360

14.8.4 Memory Link Error Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36114.8.4.1 Link Inbound CRC Error on Memory Read (CRC) . . 36114.8.4.2 Link Inbound CRC Error on Config Read (CRC). . . . 36114.8.4.3 Link Alert Frame Error (AFE) . . . . . . . . . . . . . . . . . . . 36114.8.4.4 Config Read/Write vs Link Alert Frame Error . . . . . 36214.8.4.5 BoB Alert Frame (and status?) for Dimm Address Parity Error36214.8.4.6 Link Alert Asserted (AA) . . . . . . . . . . . . . . . . . . . . . . . 36214.8.4.7 Status Frame Parity Error (SFPE). . . . . . . . . . . . . . . . . 36214.8.4.8 Fast Reset (FAST/LRU). . . . . . . . . . . . . . . . . . . . . . . . . 363

14.8.5 DRAM Software Error Scrubbing Support . . . . . . . . . . . . . . . . . . 36414.9 COU Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

14.9.1 COU Error Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36514.9.1.1 Overview of COU Error Checking and Reporting . . 36614.9.1.2 Overview of COU ND Implementation . . . . . . . . . . . 366

14.9.2 COU Error Registers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36714.9.2.1 COU Error Recording Enable Register (COERER) . . 36714.9.2.2 COU Error Signalling Enable Register (COESER) . . . 36814.9.2.3 COU Error Status Register (COESR) . . . . . . . . . . . . . . 369

14.9.3 COU Error Recording Priority . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37114.9.4 COU Interface with MCU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37314.9.5 COU Interface with L2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373

14.9.5.1 Fill Data CE (FBDC). . . . . . . . . . . . . . . . . . . . . . . . . . . . 37414.9.5.2 Fill Data UE (FBDU) . . . . . . . . . . . . . . . . . . . . . . . . . . . 37414.9.5.3 Fill Data Quiet ND. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37414.9.5.4 Fill Data Signalling ND . . . . . . . . . . . . . . . . . . . . . . . . . 374

14.9.6 COU Interface with Remote COU . . . . . . . . . . . . . . . . . . . . . . . . . 37414.9.6.1 MCU or L2 TX Data CE (TXDC) . . . . . . . . . . . . . . . . . 37514.9.6.2 MCU or L2 TX Data UE (TXDU) . . . . . . . . . . . . . . . . . 37514.9.6.3 MCU or L2 TX Data Quiet ND . . . . . . . . . . . . . . . . . . . 37514.9.6.4 MCU or L2 TX Data Signalling ND . . . . . . . . . . . . . . . 375

14.9.7 COU Interface with SIU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37514.9.7.1 COU Detected SIU Transaction Parity Error (DTP). . 375

14.9.8 COU Internal DMA Data Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . 37714.9.8.1 DFDRB Data CE (DDC). . . . . . . . . . . . . . . . . . . . . . . . . 37714.9.8.2 DFDRB Data UE (DDU) . . . . . . . . . . . . . . . . . . . . . . . . 378

14.9.9 COU Detected Protocol Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37814.9.9.1 Unexpected Packet in Request Channel (UFRACK) . 37814.9.9.2 Unexpected Packet in Response Channel (URESP) . . 37814.9.9.3 MOESI Violation (MOESI) . . . . . . . . . . . . . . . . . . . . . . 37814.9.9.4 Unexpected Packet in Data Channel (UDATA) . . . . . 379

14.10 LFU Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38014.10.1 LFU Error Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380

14.10.1.1 LFU Error Recording Enable Register (LFERER). . . . 38014.10.1.2 LFU Error Signalling Enable Register (LFESER) . . . . 38014.10.1.3 LFU Coherency Link Error Status Register . . . . . . . . 38014.10.1.4 LFU Coherency Link Error Syndrome Register . . . . . 38114.10.1.5 Egress Error Injection Register 1, 2, 3 . . . . . . . . . . . . . 382

• 9

14.10.1.6 Other LFU Error Injection . . . . . . . . . . . . . . . . . . . . . . . 38314.10.2 Link Replay Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38414.10.3 CRC Error (CRC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38414.10.4 Re-init . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38414.10.5 LFU Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

14.10.5.1 Error Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38514.10.5.2 Interrupt Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38514.10.5.3 Error Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38514.10.5.4 Error Recording at Receiver. . . . . . . . . . . . . . . . . . . . . . 38514.10.5.5 Error Recording at Transmitter . . . . . . . . . . . . . . . . . . . 38614.10.5.6 Error Reporting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386

14.11 NCU Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39014.11.1 NCU Error Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392

14.11.1.1 NCU Error Reporting Enable Register (NERER) . . . . 39214.11.1.2 NCU Error Signalling Enable Register (NESER) . . . . 39314.11.1.3 NCU Error Status Register (NESR) . . . . . . . . . . . . . . . 39414.11.1.4 NCU Error Address Register (NEAR) . . . . . . . . . . . . . 39914.11.1.5 NCU Error Steering Register . . . . . . . . . . . . . . . . . . . . . 39914.11.1.6 NCU SSI Timeout Register. . . . . . . . . . . . . . . . . . . . . . . 40014.11.1.7 SOC Error Injection Register . . . . . . . . . . . . . . . . . . . . . 401

14.11.2 NCU Illegal Address Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40214.11.2.1 Illegal Address on I-Fetch . . . . . . . . . . . . . . . . . . . . . . . 40214.11.2.2 Illegal Address on Load . . . . . . . . . . . . . . . . . . . . . . . . . 40214.11.2.3 Illegal Address on Store . . . . . . . . . . . . . . . . . . . . . . . . . 402

14.11.3 NCU CPUBUF Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40314.11.3.1 CPUBUF Header Parity Error (CBHP) . . . . . . . . . . . . . 40314.11.3.2 CPUBUF Address Parity Error on Load (CBAP) . . . . 40414.11.3.3 CPUBUF Address Parity Error on Store (CBAP) . . . . 40414.11.3.4 CPUBUF Data Correctable ECC Error (CBDC) . . . . . . 40414.11.3.5 CPUBUF Data Uncorrectable ECC Error (CBDU). . . . 404

14.11.4 NCU DMUBUF Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40514.11.4.1 DMUBUF Header Parity Error (DBHP) . . . . . . . . . . . . 40514.11.4.2 DMUBUF Address Parity Error on Load (DBAP). . . . 40514.11.4.3 DMUBUF Address Parity Error on Store (DBAP). . . . 40614.11.4.4 DMUBUF Data Correctable ECC Error (DBDC) . . . . . 40714.11.4.5 DMU-Buf Data Uncorrectable ECC Error (DBDU) . . . 407

14.11.5 NCU IOBUF Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40814.11.5.1 IO-Buf Header Parity Error (IBHP) . . . . . . . . . . . . . . . 40814.11.5.2 IO-Buf Read Data Correctable ECC Error (IBDC). . . . 40914.11.5.3 IO-Buf Read Data Uncorrectable ECC Error (IBDU) . 40914.11.5.4 IO-Buf Read Data qND . . . . . . . . . . . . . . . . . . . . . . . . . 409

14.11.6 NCU Timeout Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41014.11.6.1 Remote Interface Timeout for a Load (TO.REMOTE) 41214.11.6.2 Local DMU Interface Timeout for a Load (TO.LOCAL)41214.11.6.3 Local CSR Interface Timeout for a Load (CSRTO) . . . 41214.11.6.4 Remote Interface Timeout for a Store (TO.REMOTE) 41314.11.6.5 Local DMU Interface Timeout for a Store (TO.LOCAL)41314.11.6.6 Local CSR Interface Timeout for a Store . . . . . . . . . . . 413

14.11.7 SIU->NCU Interface Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41414.11.7.1 SIU->NCU Header Parity Error (SBHP) . . . . . . . . . . . 41414.11.7.2 SIU->NCU Header Errors (PIORD_TO). . . . . . . . . . . . 41414.11.7.3 SIU->NCU Header Errors (PIORD_UA) . . . . . . . . . . . 41514.11.7.4 SIU->NCU Header Errors (PIORD_UE) . . . . . . . . . . . 41514.11.7.5 SIU->NCU Read Data Correctable ECC Error (SBDC)41514.11.7.6 SIU->NCU Read Data Uncorrectable ECC Error (SBDU)415

14.11.8 NCU Protocol Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41614.11.8.1 Protocol Error - Wrong Destination (PE.WD) . . . . . . . 416


14.11.8.2 Protocol Error - Unexpected Data Return, Remote (PE.URR)41614.11.8.3 Protocol Error - Unexpected Store Ack, Remote (PE.URR)41614.11.8.4 Protocol Error - Unexpected Data Return, Local (PE.URL)41614.11.8.5 Protocol Error - Unexpected Store Ack, Local (PE.URL)417

14.11.9 Boot Interface (SSI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41814.11.9.1 SSI Timeout for a Read (SSITO) . . . . . . . . . . . . . . . . . . 41814.11.9.2 SSI Timeout for a Store (SSITO) . . . . . . . . . . . . . . . . . . 41814.11.9.3 SSI Error On Read (SSIERR) . . . . . . . . . . . . . . . . . . . . . 41814.11.9.4 SSI Error On Write (SSIERR). . . . . . . . . . . . . . . . . . . . . 41914.11.9.5 SSI Protocol Error On Read (SSIPROT) . . . . . . . . . . . . 41914.11.9.6 SSI Protocol Error On Write (SSIPROT) . . . . . . . . . . . 419

14.11.10 Errors Detected Elsewhere. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42014.11.10.1 MCU HCCE (MCU-HCCE) . . . . . . . . . . . . . . . . . . . . . 42014.11.10.2 MCU SRE (MCU-SRE). . . . . . . . . . . . . . . . . . . . . . . . . . 42014.11.10.3 COU HCCE (COU-HCCE) . . . . . . . . . . . . . . . . . . . . . . 42014.11.10.4 COU SRE (COU-SRE) . . . . . . . . . . . . . . . . . . . . . . . . . . 42014.11.10.5 LFU HCCE (LFU-HCCE) . . . . . . . . . . . . . . . . . . . . . . . 42014.11.10.6 LFU SRE (LFU-SRE) . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

14.12 SIU Detected Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42114.12.1 NIU->SII Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

14.12.1.1 NIU->SIU CTAG Correctable Error (SII_NIUHC) . . . 42214.12.1.2 NIU->SIU Header Uncorrectable Error (SII_NIUHU) 42214.12.1.3 NIU->SIU Data Parity Error (SII_NIUD) . . . . . . . . . . 422

14.12.2 DMU->SII Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42314.12.2.1 DMU->SIU Header Parity Error (SII_DMUH) . . . . . . 423

14.12.3 SII->COU Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42414.12.3.1 SII->COU Header Parity Error (SII_COUH) . . . . . . . 424

14.12.4 SIU->NIU Interface Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42514.12.4.1 SIU->NIU Data Correctable Error (SIO_NIUDC) . . . 42514.12.4.2 SIU->NIU Data Uncorrectable Error (SIO_NIUDU) . 425

14.12.5 SIU->NIU ND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42514.12.6 COU->SIU Header Parity Error (SIO_COUH) . . . . . . . . . . . . . . . 42614.12.7 COU->SIU Protocol Error (SIU_COUD) . . . . . . . . . . . . . . . . . . . . 426

14.13 NIU Detected Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42714.13.1 NIU Data Parity Error (NIUDPE) . . . . . . . . . . . . . . . . . . . . . . . . . . 42714.13.2 NIU CTAG Uncorrectable Error (NIUHUE) . . . . . . . . . . . . . . . . . 42714.13.3 NIU CTAG Correctable Error (NIUHCE) . . . . . . . . . . . . . . . . . . . 427

14.14 Other Error Handling Sections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42814.14.0.1 PCI Read Error (Bus Error / Unmapped) . . . . . . . . . . 428

14.15 CMP Error Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42914.16 Error Injection Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43214.17 Priority of Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434

15 CMT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437

15.1 None-Core CMT Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43715.1.1 Non-core CMT Register Addressing . . . . . . . . . . . . . . . . . . . . . . . 43715.1.2 ASI_CORE_AVAILABLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43815.1.3 ASI_CORE_ENABLE_STATUS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43815.1.4 ASI_CORE_ENABLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43815.1.5 ASI_XIR_STEERING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43915.1.6 ASI_CMT_STICK_ENABLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43915.1.7 ASI_CMT_ERROR_STEERING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43915.1.8 ASI_CORE_RUNNING_RW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44015.1.9 ASI_CORE_RUNNING_STATUS. . . . . . . . . . . . . . . . . . . . . . . . . . . . 44115.1.10 ASI_CORE_RUNNING_W1S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44115.1.11 ASI_CORE_RUNNING_W1C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

15.2 ASI_CMT_CORE Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

• 11

15.2.1 ASI_CMT_CORE_INTR_ID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44315.2.2 ASI_CMT_STRAND_ID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

16 Noncacheable Unit (NCU) and Boot ROM Interfaces . . . . . . . . . . . . . . . . . . . . . . . 445

16.1 Noncacheable Unit (NCU). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44516.2 NCU Registers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44516.3 NCU Implemented Addressing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44616.4 Boot ROM Address Region . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446

16.4.1 Boot ROM Interface Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446

17 SPARC T3 Memory Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

17.1 Memory Subsystem Block Diagram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44717.2 Memory Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

17.2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44717.2.2 High Speed Link And Dram Channel Configuration:. . . . . . . . . 44917.2.3 Coherence Plane Mapping,Node Interleaving And High/Low Rank addressing on

Dram Channel 44917.2.4 Mapping And Capacity Allocation Of Dimms And Ranks along with device densities

45217.2.4.1 DRAM Banks,Ranks And Dimms Index Hashing . . . 45317.2.4.2 BOB-Host Link,BOB And Dram Interface Power On Initialization45417.2.4.3 Main Initialization Routine . . . . . . . . . . . . . . . . . . . . . . 45517.2.4.4 BOB-HOST Link Initialization: . . . . . . . . . . . . . . . . . . . 45617.2.4.5 BOB Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46017.2.4.6 Memory Initialization. . . . . . . . . . . . . . . . . . . . . . . . . . 4620.0.0.1 Reset Initialization With Stable Power . . . . . . . . . . . . . 464

17.2.5 Control And Status Registers For High Speed Link,Memory Controller And DramInterface 464

17.2.5.1 Memory Controller Mode Control Register . . . . . . . . 46417.2.5.2 BUS TURNAROUND REGISTERS: . . . . . . . . . . . . . . . 46517.2.5.3 Read To Read Bus0 Switching Delay(0x804_0000_00B8)46617.2.5.4 Read To Read Bus1 Switching Delay (0x804_0000_00D8)46717.2.5.5 Read To Write Bus0 Switching Delay (0x804_0000_00D0)46817.2.5.6 Read To Write Bus1 Switching Delay (0x804_0000_00F0)46917.2.5.7 Write To Read Bus0 Rank Switching Delay(0x804_0000_00C8)47017.2.5.8 Write To Read Bus1 Rank Switching Delay(0x804_0000_00E8)47217.2.5.9 Write To Write Bus0 Rank Switching Delay(0x804_0000_00C0)47317.2.5.10 Write To Write Bus1 Rank Switching Delay(0x804_0000_00E0)47417.2.5.11 Back To Back Same Register Switching Delay(0x804_0000_00F8)47517.2.5.12 Dimm0/1 Configuration Register. . . . . . . . . . . . . . . . . 47617.2.5.13 Dimm2/3 Configuration Register. . . . . . . . . . . . . . . . . 47717.2.5.14 Dimm4/5 Config Register(0x804_0000_0520)-- . . . . . 47717.2.5.15 Ras Timing Register(0x804_0000_0020) . . . . . . . . . . . . 47817.2.5.16 FAW Timing Register(0x804_0000_0040) . . . . . . . . . . 47817.2.5.17 Row Precharge Timing Register (0x804_0000_0048). . 47817.2.5.18 Row Refresh Timing Register(0x804_0000_0050) . . . . 47917.2.5.19 Row Refreshes Interval Register(0x804_0000_0058) . . 47917.2.5.20 ZQCS Register(0x804_0000_0028) . . . . . . . . . . . . . . . . . 47917.2.5.21 High/Low WM Write Queues(0x804_0000_0030) . . . 48017.2.5.22 Scheduler Control Register(0x804_0000_0060) . . . . . . 48117.2.5.23 Scrub Freq Register(0x804_0000_0068) . . . . . . . . . . . . . 48217.2.5.24 MRS Transaction Register(0x804_0000_00B0) . . . . . . . 48217.2.5.25 Memory Metering Register(0x804_0000_00A0). . . . . . 48317.2.5.26 Starvation Register (0x804_0000_0070) . . . . . . . . . . . . 48417.2.5.27 Power Down Register (0x804_0000_0070) . . . . . . . . . . 484

18 IOS Programmer’s Reference Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

18.1 IOS Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491


18.1.1 Related documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49118.1.2 Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49218.1.3 Functional overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499

18.1.3.1 Feature set. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50018.1.3.2 Feature comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . 501

18.1.4 Feature tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50218.2 IOS Address Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506

18.2.1 PCIe Devices and Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50618.2.2 PCIe Memory, Configuration, and I/O Port Spaces . . . . . . . . . . . 50718.2.3 Enhanced Configuration Access Mechanism . . . . . . . . . . . . . . . . 50818.2.4 Memory Space allocation to IOS functions . . . . . . . . . . . . . . . . . . 50818.2.5 Configuration Space Headers and Capability Structures . . . . . . 511

18.2.5.1 Type 0 Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51218.2.5.2 Type 1 Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51218.2.5.3 Capability Structures. . . . . . . . . . . . . . . . . . . . . . . . . . . 512

18.2.6 DMU Memory Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51418.2.7 PEU Memory Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51418.2.8 Restrictions on alignment, sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . 51418.2.9 Implementation notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516

18.2.9.1 Replication of data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51618.2.9.2 Read-only fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51618.2.9.3 Slot Capabilities Register . . . . . . . . . . . . . . . . . . . . . . . 51618.2.9.4 TLP header in PIO transactions . . . . . . . . . . . . . . . . . . 51618.2.9.5 Maximum Payload Size in DMU . . . . . . . . . . . . . . . . . 517

18.3 PCIe TLP generation registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51718.4 Interrupts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517

18.4.1 Externally generated interrupts . . . . . . . . . . . . . . . . . . . . . . . . . . . 51818.4.2 Internally generated interrupts . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51818.4.3 Event Queues and Mondos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518

18.4.3.1 Supported features . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51818.4.3.2 Features not supported . . . . . . . . . . . . . . . . . . . . . . . . . 51918.4.3.3 EQ entry and mondo formats. . . . . . . . . . . . . . . . . . . . 51918.4.3.4 Event Queue structure . . . . . . . . . . . . . . . . . . . . . . . . . 52018.4.3.5 MSI-to-EQ mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . 52118.4.3.6 Message-to-EQ mapping. . . . . . . . . . . . . . . . . . . . . . . . 52218.4.3.7 EQ to mondo mapping . . . . . . . . . . . . . . . . . . . . . . . . . 52318.4.3.8 Mondos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52318.4.3.9 MSI/X filtering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52318.4.3.10 INTx support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52418.4.3.11 Software requirements . . . . . . . . . . . . . . . . . . . . . . . . . 525

18.5 Address Translation Unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52618.5.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52618.5.2 Differences between N2/VF IOMMU and SPARC T3 ATU . . . . 52618.5.3 Similarities between N2/VF IOMMU and SPARC T3 ATU . . . . 52718.5.4 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527

18.5.4.1 Virtual to Real Address Translation Flow. . . . . . . . . . 52918.5.4.2 Real to Physical Address Translation Flow (Multiple Entry Mode)53118.5.4.3 Real to Physical Address Translation Flow (Single Entry Mode)53418.5.4.4 Virtual to Physical Address Direct-Mapped Flow. . . 53518.5.4.5 Table Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53618.5.4.6 Cache Invalidate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542

18.6 Ordering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54218.6.1 Note on zero-length DMA read implementation . . . . . . . . . . . . . 54518.6.2 Other ordering requirements and non-requirements. . . . . . . . . . 54518.6.3 Implementation exceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545

18.7 Deadlock avoidance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54618.8 Performance counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546

• 13

18.9 Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54618.9.1 External errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54618.9.2 Internal errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54718.9.3 Protection of memory structures and data paths. . . . . . . . . . . . . 548

18.9.3.1 Protection for structures storing data (payload) . . . . . 54818.9.3.2 Protection for structures storing headers. . . . . . . . . . . 548

18.9.4 PEU Drain State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54818.9.5 Error Handling Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551

18.9.5.1 DMU errors logged in memory space . . . . . . . . . . . . . 55318.9.5.2 PEX errors logged in AER . . . . . . . . . . . . . . . . . . . . . . . 55918.9.5.3 PEU errors logged in AER . . . . . . . . . . . . . . . . . . . . . . . 56118.9.5.4 PEU errors logged in memory space . . . . . . . . . . . . . . 56218.9.5.5 Advisory Non-Fatal Error Cases. . . . . . . . . . . . . . . . . . 56418.9.5.6 Errors Set in PCI Status and Secondary Status Registers564

18.9.6 Mapping IOS errors to DMU->SIU/NCU errors . . . . . . . . . . . . . 56518.9.7 Mapping SIU->DMU errors to PCIe errors. . . . . . . . . . . . . . . . . . 56618.9.8 Error message storms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56618.9.9 Suspend mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56718.9.10 Error register overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56718.9.11 Error injection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 568

18.9.11.1 PCIe link errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56818.9.11.2 Ingress and egress packet bit flipping . . . . . . . . . . . . . 56818.9.11.3 Injection of parity and ECC errors . . . . . . . . . . . . . . . . 568

18.10 Reset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57018.10.1 Per-port reset requirements to support LDOMs . . . . . . . . . . . . . 572

18.10.1.1 Leaf reset CSR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57318.10.1.2 Sideband reset outputs. . . . . . . . . . . . . . . . . . . . . . . . . . 573

18.10.2 Function-level reset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57318.10.3 PCIe Fundamental Reset and PERST# . . . . . . . . . . . . . . . . . . . . . 573

18.11 PCIe Hot Plug . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57418.12 Test and debug features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 574

18.12.1 Error injection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57418.12.2 DMA engine for generating memory requests. . . . . . . . . . . . . . . 57418.12.3 Loopback. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 574

18.12.3.1 PCIe master/slave loopback . . . . . . . . . . . . . . . . . . . . . 57418.12.3.2 Blunt end loopback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57518.12.3.3 SerDes inner loopback . . . . . . . . . . . . . . . . . . . . . . . . . . 575

18.12.4 Deterministic Test Mode (DTM) . . . . . . . . . . . . . . . . . . . . . . . . . . 57518.13 CSR definitions: general information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57518.14 DMU CSR definitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576

18.14.1 PEX Configuration Space (PCI-Express Function 0) . . . . . . . . . . 57618.14.1.1 Type 0 Config Hdr - Device and Vendor ID - PEX_CFG_ID(0x0000000) (Reset

Name: none) (Reset Value: 0xXXXX108E) . . . . . . . . . 57618.14.1.2 Type 0 Config Hdr - Command and Status Registers -

PEX_CFG_CMD(0x0000004) (Reset Name: rst_l) (Reset Value: 0x00100000)577

18.14.1.3 Type 0 Config Hdr - Revision ID and Class Code -PEX_CFG_REVID(0x0000008) (Reset Name: rst_l) (Reset Value:0x06000001) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579

18.14.1.4 Type 0 Config Hdr - Cache Line Size, Memory Latency Timer, Header Typeand BIST - PEX_CFG_ROW3(0x000000C) (Reset Name: rst_l) (Reset Value:0x00800000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579

18.14.1.5 Type 0 Config Hdr - BAR 0 Lower - PEX_CFG_BAR_0_LOWER(0x0000010)(Reset Name: rst_l) (Reset Value: 0x0000000C) . . . . . 580

18.14.1.6 Type 0 Config Hdr - BAR 0 Upper - PEX_CFG_BAR_0_UPPER(0x0000014)(Reset Name: rst_l) (Reset Value: 0x00000000). . . . . . 580


18.14.1.7 Type 0 Config Hdr - BAR 1 Lower - PEX_CFG_BAR_1_LOWER(0x0000018)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 581

18.14.1.8 Type 0 Config Hdr - BAR 1 Upper - PEX_CFG_BAR_1_UPPER(0x000001C)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 581

18.14.1.9 Type 0 Config Hdr - BAR 2 Lower - PEX_CFG_BAR_2_LOWER(0x0000020)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 581

18.14.1.10 Type 0 Config Hdr - BAR 2 Upper - PEX_CFG_BAR_2_UPPER(0x0000024)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 582

18.14.1.11 Type 0 Config Hdr - Cardbus CIS Pointer -PEX_CFG_CARDBUS_CIS_PTR(0x0000028) (Reset Name: rst_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582

18.14.1.12 Type 0 Config Hdr - Subsystem Vendor and ID -PEX_CFG_VENDOR_ID(0x000002C) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582

18.14.1.13 Type 0 Config Hdr - Expansion ROM Base Address -PEX_CFG_EXPANSION_ROM_BASE_ADDR(0x0000030) (Reset Name:rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . . . . . . . 582

18.14.1.14 Type 0 Config Hdr - Capabilities Pointer -PEX_CFG_CAPABILITIES_PTR(0x0000034) (Reset Name: rst_l) (ResetValue: 0x00000040) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583

18.14.1.15 Type 0 Config Hdr - Reserved - PEX_CFG_RESERVED(0x0000038) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 583

18.14.1.16 Type 0 Config Hdr - Interrupt and Max Grant & Min Latency -PEX_CFG_ROW15(0x000003C) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583

18.14.1.17 PM Capability - Capabilities Register -PEX_CFG_PM_CAP_REGISTER(0x0000040) (Reset Name: rst_l) (ResetValue: 0x00034801) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584

18.14.1.18 PM Capability - Control and Status Register -PEX_CFG_PM_CONTROL_STATUS(0x0000044) (Reset Name: rst_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584

18.14.1.19 MSI Capability - Capability ID and Message Control -PEX_CFG_MSI_CAP(0x0000048) (Reset Name: rst_l) (Reset Value:0x01806005) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585

18.14.1.20 MSI Capability - Message Address Lower -PEX_CFG_MSI_LOW_ADDR(0x000004C) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586

18.14.1.21 MSI Capability - Message Address Upper -PEX_CFG_MSI_UP_ADDR(0x0000050) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586

18.14.1.22 MSI Capability - Message Data - PEX_CFG_MSI_DATA(0x0000054) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 586

18.14.1.23 MSI Capability - Mask Bits - PEX_CFG_MSI_MASK(0x0000058) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 587

18.14.1.24 MSI Capability - Pending Bits - PEX_CFG_MSI_PENDING(0x000005C)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 587

18.14.1.25 PCIE Capability - Capability ID - PEX_CFG_PCIE_CAP(0x0000060) (ResetName: rst_l) (Reset Value: 0x00920010) . . . . . . . . . . . 587

18.14.1.26 PCIE Capability - Device Capability Register -PEX_CFG_DEV_CAP_REGISTER(0x0000064) (Reset Name: rst_l) (ResetValue: 0x00008001) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588

18.14.1.27 PCIE Capability - Device Control and Status Register -PEX_CFG_DEV_CON(0x0000068) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589

18.14.1.28 PCIE Capability - Link Capability Register -PEX_CFG_LINK_CAP_REGISTER(0x000006C) (Reset Name: rst_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591

• 15

18.14.1.29 PCIE Capability - Link Control and Status Register -PEX_CFG_LINK_CONTROL_STATUS_REGISTER(0x0000070) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 592

18.14.1.30 PCIE Capability - Slot Capability Register -PEX_CFG_SLOT_CAP_REGISTER(0x0000074) (Reset Name: rst_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594

18.14.1.31 PCIE Capability - Slot Control and Status Register -PEX_CFG_SLOT_CONTROL_STATUS_REGISTER(0x0000078) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 595

18.14.1.32 PCIE Capability - Root Control Register -PEX_CFG_ROOT_CON(0x000007C) (Reset Name: rst_l) (Reset Value:0x00010010) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597

18.14.1.33 PCIE Capability - Root Status Register -PEX_CFG_ROOT_STATUS(0x0000080) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598

18.14.1.34 PCIE Capability - Device Capabilities 2 Register -PEX_CFG_DEV_CAP2_REGISTER(0x0000084) (Reset Name: rst_l) (ResetValue: 0x00000016) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599

18.14.1.35 PCIE Capability - Device Control and Status 2 Register -PEX_CFG_DEV_CON2(0x0000088) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600

18.14.1.36 PCIE Capability - Link Capabilities 2 Register -PEX_CFG_LINK_CAP2(0x000008C) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600

18.14.1.37 PCIE Capability - Link Control and Status 2 Register -PEX_CFG_LINK_CON2(0x0000090) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600

18.14.1.38 PCIE Capability - Slot Capabilities 2 Register -PEX_CFG_SLOT_CAP2(0x0000094) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602

18.14.1.39 PCIE Capability - Slot Control and Status 2 Register -PEX_CFG_SLOT_CON2(0x0000098) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602

18.14.1.40 AER Capability - PCI Express Enhanced Capability Header -PEX_CFG_AER_CAP_REGISTER(0x0000100) (Reset Name: por_l) (ResetValue: 0x00010001) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603

18.14.1.41 AER Capability - Uncorrectable Error Status Register -PEX_CFG_UE_ERROR_STATUS(0x0000104) (Reset Name: por_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603

18.14.1.42 AER Capability - Uncorrectable Error Mask Register -PEX_CFG_UE_ERROR_MASK(0x0000108) (Reset Name: por_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604

18.14.1.43 AER Capability - Uncorrectable Error Severity Register -PEX_CFG_UE_ERROR_SEV(0x000010C) (Reset Name: por_l) (Reset Value:0x00062030) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605

18.14.1.44 AER Capability - Correctable Error Status Register -PEX_CFG_CE_ERROR_STATUS(0x0000110) (Reset Name: por_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606

18.14.1.45 AER Capability - Correctable Error Mask Register -PEX_CFG_CE_ERROR_MASK(0x0000114) (Reset Name: por_l) (ResetValue: 0x00002000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607

18.14.1.46 AER Capability - Advanced Error and Control Register -PEX_CFG_AER_CAP_CONTROL(0x0000118) (Reset Name: por_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607

18.14.1.47 AER Capability - Completion Header 0 Log Register -PEX_CFG_HEADER0(0x000011C) (Reset Name: por_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608


18.14.1.48 AER Capability - Completion Header 1 Log Register -PEX_CFG_HEADER1(0x0000120) (Reset Name: por_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608



18.14.1.51 AER Capability - Root Error Command -PEX_CFG_ROOT_ERROR_COMMAND(0x000012C) (Reset Name: rst_l)(Reset Value: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . 609

18.14.1.52 AER Capability - Root Error Status -PEX_CFG_ROOT_ERROR_STATUS(0x0000130) (Reset Name: rst_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610

18.14.1.53 AER Capability - Source Identification Registers -PEX_CFG_ERROR_SOURCE_ID(0x0000134) (Reset Name: por_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611

18.14.2 ATU/IMU/NPU Configuration Space. . . . . . . . . . . . . . . . . . . . . . 61218.14.2.1 Type 0 Config Hdr - Device and Vendor ID - ATU_CFG_ID(0x0002000)

(Reset Name: none) (Reset Value: 0xXXXX108E) . . . 61218.14.2.2 Type 0 Config Hdr - Command and Status Registers -

ATU_CFG_CMD(0x0002004) (Reset Name: rst_l) (Reset Value: 0x00100000)612

18.14.2.3 Type 0 Config Hdr - Revision ID and Class Code -ATU_CFG_REVID(0x0002008) (Reset Name: rst_l) (Reset Value:0x06000001) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614

18.14.2.4 Type 0 Config Hdr - Cache Line Size, Memory Latency Timer, Header Typeand BIST - ATU_CFG_ROW3(0x000200C) (Reset Name: rst_l) (Reset Value:0x00800000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615

18.14.2.5 Type 0 Config Hdr - BAR 0 Lower - ATU_CFG_BAR_0_LOWER(0x0002010)(Reset Name: rst_l) (Reset Value: 0x0000000C). . . . . 615

18.14.2.6 Type 0 Config Hdr - BAR 0 Upper - ATU_CFG_BAR_0_UPPER(0x0002014)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 616

18.14.2.7 Type 0 Config Hdr - BAR 1 Lower - ATU_CFG_BAR_1_LOWER(0x0002018)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 616

18.14.2.8 Type 0 Config Hdr - BAR 1 Upper - ATU_CFG_BAR_1_UPPER(0x000201C)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 616

18.14.2.9 Type 0 Config Hdr - BAR 2 Lower - ATU_CFG_BAR_2_LOWER(0x0002020)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 617

18.14.2.10 Type 0 Config Hdr - BAR 2 Upper - ATU_CFG_BAR_2_UPPER(0x0002024)(Reset Name: rst_l) (Reset Value: 0x00000000) . . . . . 617

18.14.2.11 Type 0 Config Hdr - Cardbus CIS Pointer -ATU_CFG_CARDBUS_CIS_PTR(0x0002028) (Reset Name: rst_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617

18.14.2.12 Type 0 Config Hdr - Subsystem Vendor and ID -ATU_CFG_VENDOR_ID(0x000202C) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617

18.14.2.13 Type 0 Config Hdr - Expansion ROM Base Address -ATU_CFG_EXPANSION_ROM_BASE_ADDR(0x0002030) (Reset Name:rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . . . . . . . 618

18.14.2.14 Type 0 Config Hdr - Capabilities Pointer -ATU_CFG_CAPABILITIES_PTR(0x0002034) (Reset Name: rst_l) (ResetValue: 0x00000040) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618

18.14.2.15 Type 0 Config Hdr - Reserved - ATU_CFG_RESERVED(0x0002038) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 618

• 17

18.14.2.16 Type 0 Config Hdr - Interrupt and Max Grant & Min Latency -ATU_CFG_ROW15(0x000203C) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 619

18.14.2.17 PM Capability - Capabilities Register -ATU_CFG_PM_CAP_REGISTER(0x0002040) (Reset Name: rst_l) (ResetValue: 0x00034801) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 619

18.14.2.18 PM Capability - Control and Status Register -ATU_CFG_PM_CONTROL_STATUS(0x0002044) (Reset Name: rst_l)(Reset Value: 0x00000000). . . . . . . . . . . . . . . . . . . . . . . 620

18.14.2.19 MSI Capability - Capability ID and Message Control -ATU_CFG_MSI_CAP(0x0002048) (Reset Name: rst_l) (Reset Value:0x01806005) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621

18.14.2.20 MSI Capability - Message Address Lower -ATU_CFG_MSI_LOW_ADDR(0x000204C) (Reset Name: rst_l) (ResetValue: 0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621

18.14.2.21 MSI Capability - Message Address Upper -ATU_CFG_MSI_UP_ADDR(0x0002050) (Reset Name: rst_l) (Reset Value:0x00000000) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621

18.14.2.22 MSI Capability - Message Data - ATU_CFG_MSI_DATA(0x0002054) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 622

18.14.2.23 MSI Capability - Mask Bits - ATU_CFG_MSI_MASK(0x0002058) (ResetName: rst_l) (Reset Value: 0x00000000) . . . . . . . . . . . 622

18.14.2.24 MSI Capability - Pending Bits - ATU_CFG_MSI_PENDING(0x000205C)(Reset Name: rst_l) (Reset Value: 0x00000000). . . . . . 622

18.14.2.25 PCIE Capability - Capability ID - ATU_CFG_PCIE_CAP(0x0002060) (ResetName: rst_l) (Reset Value: 0x00920010) . . . . . . . . . . . 623

18

sparc t3™ supplement - oracle · sparc t3™ supplement to the ultrasparc architecture 2007...

Documents