User-agent: Googlebot-Mobile
Allow: /css
Allow: /js 
Allow: /files
Allow: /img
Allow: /mediaproxy

User-agent: Googlebot
Allow: /css
Allow: /js
Allow: /files
Allow: /img
Allow: /mediaproxy

User-agent: TwitterBot
Allow: /files
Allow: /img
Allow: /mediaproxy

User-agent: *
Disallow: /