Adobe Character Animator CC  

Live Streaming 

Overview and Examples   Your characters can be streamed for live performance on Facebook, YouTube, Twitch, or broadcast television!  The Simpsons  were the first to use Character Animator for  live performance on television .   The Late Show with Stephen Colbert  is using Character Animator for their  live Cartoon Donald Trump , God projected on the ceiling, and other characters.  Disney XD did a  live YouTube broadcast with a stop‐motion puppet  version of Marco from  Star vs. the Forces of Evil.  And the Animated  Mr. Bean team played charades live on Facebook.  It’s as simple as sending your character to an external device or second monitor using the built‐in Mercury Transmit (Mac and Win) or Syphon (Mac only) support. You can use multiple machines simultaneously to output multiple characters that interact with each other in a live production. 

Tutorials You can find great tutorials from Okay Samurai (Ch UI designer Dave Werner). Check back regularly for his latest tutorials:  Using Mercury Transmit:  https://youtu.be/N‐_nwpSkuGE?t=25m10s Multi‐puppet Live Stream:  https://youtu.be/ja7bVr4kHCU?t=15m22s Syphon, OBS, and streaming on Twitch:  https://youtu.be/bLpym3FiTtU?t=1m8s Streaming with OBS:  https://youtu.be/Wc8kD1rn8ds 

Other tutorials: 

Streaming with OBS:  https://youtu.be/43QyswAURD8 U se vMix to stream live to YouTube:   https://youtu.be/f7PKZn4fLNI?t=2m21s  

 

How to Stream This section describes the basics for streaming with Character Animator. Additionally, you’ll find some tips, tricks, advice, and workarounds to common issues.  

Stream a scene live to other devices or applications 

Character Animator supports the following major workflows: 

● Use Mercury Transmit to output the content of your scene to the full screen of a TV or second monitor.  

● Output a character, optionally with a transparent background for later compositing over live video or other background. 

○ Output to professional SDI video, use a device that has a Mercury Transmit plugin. 

○ Output to live web services, use a software switcher like Open Broadcaster Software or Telestream Wirecast; to do this, use Syphon or the NDI plugin from NewTek. 

● Multi‐character live broadcast. This workflow uses multiple machines: one for each character and preferably a dedicated machine for the software switcher. NDI is used to connect the video signal. As of Ch version 1.1, audio is not sent over NDI so it must be routed separately. A fast network is highly recommended for this setup. 

See the end of this document for diagrams showing typical 1‐, 2‐, and 3‐machine setups. 

Working with Mercury Transmit 

Character Animator uses Mercury Transmit to send live feed to other video devices and applications. Mercury Transmit can send the contents of your scene to an external device, third‐party plugin, and other applications. 

The transfer to external monitors is done using plug‐ins provided by video device manufacturers, such as AJA, Blackmagic Design, Bluefish444, and Matrox. You can use any of the following external monitors: 

● A video monitor connected through third‐party video hardware such as AJA, Blackmagic Design, or Matrox I/O devices. 

● A computer monitor connected to your video display card via connectors, such as HDMI, DVI, VGA, and DisplayPort. 

● A NewTek NDI‐compatible application on an Ethernet‐based LAN. 

IP‐based technology providers, such as NewTek with NDI technology, also provide plug‐ins for transfer. These plug‐ins direct the video frames from Mercury Transmit to other applications. 

1 

Note:  Download the NewTek NDI for Adobe Creative Cloud software to use a NewTek NDI‐compatible application:  https://www.newtek.com/software/adobe‐creative‐cloud/ 

 

Working with Syphon 

Character Animator uses Syphon to send live feed of a scene in the  Scene  panel to any Syphon client. Syphon is an open‐source technology for macOS that allows applications to share video frames with one another in real time.  No additional configuration Character Animator is necessary to enable this functionality. There is n o need to install any extra software for Ch to enable this support. You still need a Syphon‐compatible client to receive the Ch scene being sent via Syphon.  Open the scene in the  Scene  panel, enable the Stream Live button, run your Syphon client, and choose the Character Animator Scene as its frame source. 

Starting a live stream of your scene 

Click the  Stream Live  button  at the bottom of the  Scene  panel to enable live streaming. Only the current scene displayed in the  Scene  panel is streamed. Content outside the  Scene  panel is not rendered and displayed. To view the list of active devices and applications, hover the cursor over the  Stream Live  button. A tooltip is displayed, which includes the list of active devices and applications. 

Selecting active devices and applications 

You can select the active devices and applications from the  Live Output  preferences. 

Live Output preferences 

To set live output preferences: 

1. Select  Edit > Preferences  (Win) or  Character CC > Preferences  (Mac), or Command‐click (Mac) or Control‐click (Win) the Stream Live button.  

2. The  Preferences  dialog box is displayed. Click  Live Output , then choose from the streaming output options. 

2 

 Live Output preferences  You can choose from the following options: 

1. Enable  Mercury Transmit  (Win) or  Enable Mercury Transmit and Syphon  (Mac): Toggle streaming output. 

If the frame rate is slow when enabled, reduce the scene’s frame rate. 2. Video Device : Includes the list of video devices, which you can use for video output. 

● Adobe Monitor x : The list of attached computer monitors that can receive video feed through the graphics card. Set the external monitors as separate or extended display to view these options. 

● NewTek NDI output:  Select this option to use NDI‐enabled devices on the LAN. ● Third‐party video hardware : The list of third‐party hardware that you have 

connected. For example, AJA Kona 3G, Blackmagic Playback, and Matrox Player. Click  Setup  to view the options available for each hardware. 

3. Disable Mercury Transmit output when application is in the background:  Select this option to prevent streaming output to external video devices when Character Animator is not running in the foreground. 

This option does not apply to output to Syphon client applications. 

Working with alpha channels 

You can use an alpha channel (per‐pixel transparency) to composite multiple characters together or to composite a character over live video. 

You can pass an alpha channel to a compatible Mercury Transmit device. The alpha channel is automatically recognized in some cases, such as with NewTek NDI. In other cases, such as with AJA devices, you have to configure your video device to support an alpha channel. If your Mercury Transmit device does not support an alpha channel, like a secondary display, your background is black. 

3 

Notes: ● Live Streaming is output at full‐screen resolution regardless of your  Scene  panel zoom 

settings. ● The video device or application does not receive the background color settings in 

the  Scene  panel. It receives an alpha channel, though it can be ignored. ● Output the scene’s audio separately. The  Live Stream  output can introduce minor video 

delay. If audio and video are streamed together, add delay to the audio to sync them in time, usually around 60 milliseconds. You can do it with an external hardware delay or with a delay within streaming applications, such as Telestream Wirecast or OBS Studio. 

 

Stream Workspace 

 Stream Workspace  The  Stream  workspace is used to stream a scene live to an external device or application. 

The Stream workspace displays a limited set of controls for focused live streaming. For example, transport controls (Play, Stop, Go to Start, and Go to Next Frame) are not visible in the Scene panel, and the Timeline panel is stacked to the left of the application. 

To access the workspace, do either of the following: 

● Click the  Stream  button in the workspaces bar. 

● Press Shift + Alt (Win) / Option (Mac) + 4. 

Tips, Tricks, and Common Workarounds The best live animations take full advantage of the live atmosphere. The live atmosphere is highly dependent on the voice and puppeteer talent and the overall message that’s being conveyed. In some cases, the production might be highly scripted, in others almost entirely improvised, but the point is to bring the character to life and into the audience’s lives.  Making the technology as transparent to the audience as possible is a large part of the process. 

4 

The following are some common problems with live animation and some possible solutions/workarounds.  

Microphone & Headphones 

A high quality microphone with background noise rejection makes a big difference, as does a noise‐free audio environment (e.g. no fan noises). 

If the voice talent needs to monitor audio from elsewhere, best for them to wear headphones to avoid any other sounds being heard by Ch. Headphones can also be an effective way to shield the performer from hearing their delayed voice.  Examples  

Headset mic: ● SpeechWare FlexyMike Dual Ear Cardioid 

 Tabletop mic (if head‐tracking is being done by someone else): 

● EV RE20 ● Shure SM7 

 Audio Interface Manufacturers: 

● RME ● MOTU 

 

Note:  While USB is convenient, it makes mixing and managing the audio more complicated than your classic wired equipment.  

● For single character broadcasts, we’ve had luck with most USB microphones and audio interfaces. 

● For multiple characters composited with NDI, we recommend a wired microphone and a professional audio interface for each CH machine.  

● For ease of routing a small mixer can be helpful too. 

 

End‐to‐End Rehearsal — the most important thing you can do 

Before your live performance, be sure to test everything end‐to‐end with the actual voice talent. Once you’ve tuned everything to look great, don’t change anything. Test it on Facebook, YouTube, Twitch, etc.   

Scene frame rate 

In most cases you’ll want to set the scene frame rate to 24 fps (this is the most common cartoon frame rate).  

5 

 

Working with multiple CPUs connected to a network switch 

Connect a Gigabit (Cat 5e or Cat 6) Ethernet cable from each machine to the switch. 

 

Monitors to see combined characters 

If you want each person/character to be able to see themselves with the combined characters you’ll need to provide a monitor feed from the compositing machine to the performer’s location. 

 

Sneezing 

During the live performance, if you’re using face tracking and need to sneeze, take a drink of water, or look away for any reason, hold down the semicolon ( ; ) key to freeze the face and eye tracking to avoid having your character follow your movement. The Smoothing setting for the Face behavior governs how fast it jumps back to follow your current pose when you release the semicolon key.  

Lip Sync General Tips 

● Test to see if turning off the Camera & Microphone panel’s  Boost Quiet Audio  option helps lip sync accuracy. This will reduce leakage of other voices into the microphone, but requires that you have set good input levels. 

● Be ready to adjust the audio input gain on‐the‐fly if needed (e.g., voice talent moves back from microphone, or gets excited and starts yelling). 

● Audio needs delaying in the software switcher (OBS / Wirecast), usually by a frame or two (around 60 milliseconds). Tune by clapping into the microphone and lining up the clap sound visually with the mouth changing (as viewed by the person watching at the other end, e.g., over Facebook Live). 

 The most common problems with lip sync in live scenarios are the lips moving when they should be still, the lips staying still when they should be moving, and poor synchronization between the audio and the mouth moving. 

 

Lips moving when they should be still 

This problem usually happens in a noisy environment, such as on any stage. It’s less common in streaming scenarios, but can happen if unwanted audio enters the microphone.   

● Isolate your voice talent with a sound booth. ● Reduce the level of audio coming into the machine running Character Animator. ● Have the voice talent use a microphone or headset with excellent off‐axis rejection.  

6 

o The microphone “driving” the lip sync doesn’t need to be the same microphone doing the broadcast audio. 

● Apply an audio gate and a high pass filter to the microphone signal before it gets to Character Animator. Do not send this same audio to the final broadcast. 

● Make the neutral mouth(s) triggerable so someone can mute the puppet’s mouth when they shouldn’t be talking. 

 

Lips not moving when they should be, or showing the incorrect viseme (mouth shape) 

This problem is less noticeable/distracting, but still worth considering. The lip sync algorithm works best when it has a nice healthy signal without unwanted audio to analyze. If the signal is too low, the mouth will not change much and will show mostly consonants. If it’s too high, it will also not change much, but will show mostly vowels.   

● Increase or decrease the level of audio coming into the machine running Character Animator. The audio meter can be helpful. There’s a sweet spot somewhere in the middle.  

● Apply a compressor/limiter to the microphone signal before it gets to Character Animator. This will make the signal level more even so you can raise it without overloading. You may or may not want to send this audio to the final broadcast. This is a common process done to broadcast audio (this is why commercials are so loud). 

 

Poor synchronization between the audio and the mouth moving 

The character’s lips should be synchronized with the character’s voice. Ideally, the audience doesn’t even notice the lip sync; bad time synchronization is very easy to notice. The viseme calculation adds a small delay to the video output, but Mercury Transmit, NDI, and professional video gear will also add a delay. This means you need to delay the audio to the audience by the same amount of the video pipeline. While that sounds simple, it can create new problems.  

● If the delay is larger than 20ms or so, it’s important that the voice performer does not hear their delayed audio while they’re performing. Have you ever heard your own voice reflected back to you half a second late on a conference call? It’s impossible to think/talk in that scenario. 

o Noise cancelling headphones with a small amount of their non‐delayed audio added can prevent the talent from hearing their own voice delayed. A set of headphones is also useful for hearing cues from producers or questions from audience members. 

● There are nearly unlimited ways to delay audio. The important part is that the delay is only for the audience. The machine running Character Animator should get  un delayed audio. 

o Outboard audio gear. o Run your audio through a software DAW before it goes to broadcast. o Wirecast and OBS Studio also can delay both NDI audio and audio sent to the 

7 

machine’s audio interface.  When using NDI to send your character to another application, you’ll need to somehow get audio to that application as well:  

● Character Animator does not (as of version 1.1) send audio over NDI. o Manually manage your audio using a mixer and the machine’s audio interface. o NDI Scan Converter on the Mac can take your audio interface’s input, and send it 

as an NDI output. We haven’t found a similar workaround on Windows yet.   

Background apps running slowly 

App Nap  is an energy‐saving feature of macOS that causes inactive applications to go into a paused state, helping to reduce power usage. The feature can help to prolong battery life for Mac laptops, and it can also make an impact on overall energy usage from the computer.  

● If you are running any background apps during your broadcast, it is very important to turn off App Nap on the machine so they don’t slow down. 

● There are ways for an app to exempt itself from App Nap, so it’s a bug worth reporting to an app’s creator if it (one that can reasonably operate while it’s in the background) stops responding due to App Nap. Still, the safest policy for a live performance when you are plugged in anyway (and don’t care about battery life) is to turn it off completely to avoid issues. 

● You can use the “Energy” tab in the Activity Monitor to see if a process is being slowed by App Nap. 

 To turn off App Nap for all apps on the system, paste this command into Terminal and press Enter:    defaults write NSGlobalDomain NSAppSleepDisabled ­bool YES 

Puppeteering 

A good puppeteer (or two, or more) can really bring a character to life, but first, they need a good puppet and a way to interact with it.   

● Webcams (optional) o Where is the puppeteer in relation to the machine running Character Animator? 

▪ Do you need extension cords or a USB repeater? ▪ If the webcam puppeteer isn’t at the Character Animator machine, how 

will they see the character react? ● A small video monitor is very helpful if the puppeteer is not at the 

Character Animator machine. o Webcams need a properly lit face to work well. Cheap LED lights can work well. o Who will be controlling the character with the webcam? And can they succeed? 

8 

▪ Best results come from someone looking straight forward. This means things like reading from a script or taking drinks of water can cause the character to react in unpredictable ways.  

o The Head Turner behavior can be a great way to control a character’s head, but it also forces you to look away from the computer screen. This is fine if you’re the voice talent, but if you’re also triggering animations or artwork, you might be better off using keyboard triggers.  

 

● Triggers o In a live setting, it’s great to have a variety of gestures a character can do to keep 

things more interesting For example:   ▪ Facial emotions ▪ Arm/Hand gestures ▪ Thinking (looking up) ▪ Idling/Fidgeting (drumming fingers, body ticks, anything to fill dead time) 

o Currently, we use the keyboard for triggers, and also MIDI devices. You can put stickers on your keyboard, or these devices might be of use too: ▪ Elgato Stream Deck (little LCD buttons) ▪ X‐Keys (highly programmable and has good support for macros) 

Technical Assistance Need help with your live stream? Contact us through the Adobe Forum:  https://forums.adobe.com/community/character‐animator 

Useful Links NVIDIA Adobe Mercury Transmit Plug‐in: http://www.nvidia.com/object/cs6‐sdi‐transmit‐plugin.html  NewTek NDI: https://www.newtek.com/software/adobe‐creative‐cloud/ OBS Studio:  https://obsproject.com/ Syphon:  http://syphon.v002.info/ Telestream Wirecast:  https://www.telestream.net/wirecast/overview.htm AJA:  https://www.aja.com/ Blackmagic Design:  https://www.blackmagicdesign.com/ Matrox:  http://www.matrox.com/video/en/home/ Elgato Stream Deck:  https://www.elgato.com/en/gaming/stream‐deck X‐keys:  http://xkeys.com/xkeys.php Apogee:  http://www.apogeedigital.com/ Motu:  http://www.motu.com/   

9 

  

One Puppet Live Stream  

  

One Puppet Live Stream Notes ● A USB microphone qualifies as both a microphone and an interface. Character Animator 

and OBS/Wirecast should be able to address it simultaneously. Check with your audio device manufacturer if you cannot use your device with both applications simultaneously. 

● Make sure to adjust your microphone audio delay within the NDI/Syphon software compositer so that the lip sync matches the character’s audio. 

         

10 

Two Puppet Live Stream (2 Computers) 

 

11 

One Puppet Live Stream (2 Computers) Notes ● In this scenario, we need the same audio coming into both computers. The diagram 

shows the use of an audio mixer which splits a microphone signal so the source machine can control the lip sync and the destination machine can output the broadcast audio. 

● Instead of a hardware audio mixer, it may be possible to route the audio digitally using NDI. Character Animator does not support audio over NDI, but applications like NewTek NDI Studio Monitor (Windows) and NDI Scan Converter (Mac) can.  

● Make sure to adjust your microphone audio delay within the NDI/Syphon software compositer so that the lip sync matches the character’s audio. 

Two Puppet Live Stream (3 Computers)  

 

One Puppet Live Stream (3 Computers) Notes ● This setup is very similar to the two computer setup, but it dedicates a separate 

machine for the software compositing and live broadcast of the NDI Character Animator scenes.  

● If you can successfully find a viable solution for sending audio over NDI(NDI Studio Monitor or NDI Scan Converter) on the Character Animator machines, then you will not need a separate audio interface. 

12