src/encoding.C

   1 /*--------------------------------*-C-*---------------------------------*
   2  * File:        encoding.C
   3  *----------------------------------------------------------------------*
   4  *
   5  * All portions of code are copyright by their respective author/s.
   6  * Copyright (c) 2003-2004 Marc Lehmann <pcg@goof.com>
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation; either version 2 of the License, or
  11  * (at your option) any later version.
  12  *
  13  * This program is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  * GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with this program; if not, write to the Free Software
  20  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  21  *----------------------------------------------------------------------*/
  22
  23 #include "../config.h"
  24
  25 #include "encoding.h"
  26
  27 #include <cstdlib>
  28 #include <cstring>
  29
  30 const struct n2cs {
  31   const char *name;
  32   codeset cs;
  33 } n2cs[] = {
  34   /* first one found is the normalized one */
  35   { "ISO88591",         CS_ISO8859_1        },
  36   { "ISO8859PRIMARY",   CS_ISO8859_1        }, // some stupid fonts use this (hi tigert)
  37   { "ISO88592",         CS_ISO8859_2        },
  38   { "ISO88593",         CS_ISO8859_3        },
  39   { "ISO88594",         CS_ISO8859_4        },
  40   { "ISO88595",         CS_ISO8859_5        },
  41   { "ISO88596",         CS_ISO8859_6        },
  42   { "ISO88597",         CS_ISO8859_7        },
  43   { "ISO88598",         CS_ISO8859_8        },
  44   { "ISO88599",         CS_ISO8859_9        },
  45   { "ISO885910",        CS_ISO8859_10       },
  46   { "ISO885911",        CS_ISO8859_11       },
  47   { "ISO885913",        CS_ISO8859_13       },
  48   { "ISO885914",        CS_ISO8859_14       },
  49   { "ISO885915",        CS_ISO8859_15       },
  50   { "FCD885915",        CS_ISO8859_15       },
  51   { "ISO885916",        CS_ISO8859_16       },
  52
  53   { "TIS620*",          CS_ISO8859_11       }, // close enough
  54
  55   { "ISO10646*",        CS_UNICODE          },
  56   { "UNICODE",          CS_UNICODE          },
  57   { "UTF8",             CS_UNICODE          },
  58
  59   { "ASCII",            CS_US_ASCII         },
  60   { "USASCII",          CS_US_ASCII         },
  61   { "ANSIX341968",      CS_US_ASCII         },
  62
  63   { "KOI8R",            CS_KOI8_R           },
  64   { "GOST1976874*",     CS_KOI8_R           },
  65   { "KOI8RU",           CS_KOI8_U           },
  66   { "KOI8U",            CS_KOI8_U           },
  67
  68   { "VISCII*",          CS_VISCII           },
  69
  70   { "JISX0201*",        CS_JIS0201_1976_0   },
  71   { "JISC6226*",        CS_JIS0208_1990_0   }, // also wrongly matches -1987-0? (check Encode::JP)
  72   { "JISX0208*",        CS_JIS0208_1990_0   }, // also wrongly matches -1987-0? (check Encode::JP)
  73   { "JISX0212*",        CS_JIS0212_1990_0   },
  74   { "JISX021320001",    CS_JIS0213_1        },
  75   { "JISX021320002",    CS_JIS0213_2        },
  76   { "JISX0221*",        CS_UNICODE          }, // _very_ close
  77
  78   { "KSC5601*",         CS_KSC5601_1987_0   },
  79   { "KSX1001*",         CS_KSC5601_1987_0   },
  80   { "KSC5700*",         CS_UNICODE          }, // unicode plus extensions
  81
  82   { "BIG5P*",           CS_BIG5_PLUS        },
  83   { "BIG5ETEN*",        CS_BIG5_EXT         },
  84   { "BIG5*",            CS_BIG5             },
  85   { "GB2312*",          CS_GB2312_1980_0    },
  86   { "GBK*",             CS_GBK_0            },
  87   { "GB6345*",          CS_GB2312_1980_0    }, // slightly different to gb2312??
  88   { "GB8565*",          CS_GB2312_1980_0    }, // a superset of gb2312??
  89   { "GB13000*",         CS_UNICODE          },
  90   { "CNS1164319921",    CS_CNS11643_1992_1  },
  91   { "CNS1164319922",    CS_CNS11643_1992_2  },
  92   { "CNS1164319923",    CS_CNS11643_1992_3  },
  93   { "CNS1164319924",    CS_CNS11643_1992_4  },
  94   { "CNS1164319925",    CS_CNS11643_1992_5  },
  95   { "CNS1164319926",    CS_CNS11643_1992_6  },
  96   { "CNS1164319927",    CS_CNS11643_1992_7  },
  97   { "CNS116431992F",    CS_CNS11643_1992_F  },
  98
  99   { 0,                  CS_UNKNOWN      }
 100 };
 101
 102 static const char *
 103 normalize_name (const char *name)
 104 {
 105   static char res[16];
 106   char *r;
 107
 108   for (r = res; *name && r < res + 15; name++)
 109     if ((*name >= '0' && *name <= '9')
 110         || (*name >= 'A' && *name <= 'Z'))
 111       *r++ = *name;
 112     else if (*name >= 'a' && *name <= 'z')
 113       *r++ = *name - ('a' - 'A');
 114
 115   *r = 0;
 116
 117   return res;
 118 }
 119
 120 codeset
 121 codeset_from_name (const char *name)
 122 {
 123   if (!name)
 124     return CS_UNKNOWN;
 125
 126   name = normalize_name (name);
 127
 128   const struct n2cs *i = n2cs;
 129
 130   do {
 131     int len = strlen (i->name);
 132
 133     if ((i->name[len - 1] == '*'
 134          && !strncmp (name, i->name, len - 1))
 135         || !strcmp (name, i->name))
 136         return i->cs;
 137
 138   } while ((++i)->name);
 139
 140   return CS_UNKNOWN;
 141 }
 142
 143 static unicode_t cs_unknown_to_unicode (uint32_t enc)          { return NOCHAR; }
 144 static uint32_t cs_unknown_from_unicode (unicode_t unicode)    { return NOCHAR; }
 145
 146 static unicode_t cs_unicode_to_unicode (uint32_t enc)          { return enc; }
 147 static uint32_t cs_unicode_from_unicode (unicode_t unicode)    { return unicode; }
 148
 149 #define cs_us_ascii_to_unicode cs_unicode_to_unicode
 150 static uint32_t cs_us_ascii_from_unicode (unicode_t unicode)   { return unicode <= 127 ? unicode : NOCHAR; }
 151
 152 #define cs_us_ascii_to_unicode_16 cs_unicode_to_unicode
 153 static uint32_t cs_unicode_16_from_unicode (unicode_t unicode) { return unicode <= 65535 ? unicode : NOCHAR; }
 154
 155 #define ENCODING_DEFAULT
 156
 157 #include "table/iso8859_1.h"
 158 #include "table/iso8859_15.h"
 159
 160 //#define ENCODING_EU
 161
 162 #include "table/iso8859_2.h"
 163 #include "table/iso8859_3.h"
 164 #include "table/iso8859_4.h"
 165 #include "table/iso8859_5.h"
 166 #include "table/iso8859_6.h"
 167 #include "table/iso8859_7.h"
 168 #include "table/iso8859_8.h"
 169 #include "table/iso8859_9.h"
 170 #include "table/iso8859_10.h"
 171 #include "table/iso8859_11.h"
 172 #include "table/iso8859_13.h"
 173 #include "table/iso8859_14.h"
 174 #include "table/iso8859_16.h"
 175
 176 #include "table/koi8_r.h"
 177 #include "table/koi8_u.h"
 178
 179 //#define ENCODING_KR
 180
 181 #include "table/ksc5601_1987_0.h"
 182
 183 //#define ENCODING_ZH
 184
 185 #include "table/big5.h"
 186 #include "table/gbk_0.h"
 187 #include "table/gb2312_1980_0.h"
 188
 189 //#define ENCODING_ZH_EXT
 190
 191 #include "table/cns11643_1992_1.h"
 192 #include "table/cns11643_1992_2.h"
 193 #include "table/cns11643_1992_3.h"
 194 #include "table/cns11643_1992_4.h"
 195 #include "table/cns11643_1992_5.h"
 196 #include "table/cns11643_1992_6.h"
 197 #include "table/cns11643_1992_7.h"
 198 #include "table/cns11643_1992_f.h"
 199 #include "table/big5_ext.h"
 200 #include "table/big5_plus.h"
 201
 202 //#define ENCODING_VN
 203
 204 #include "table/viscii.h"
 205
 206 //#define ENCODING_JP
 207
 208 #include "table/jis0201_1976_0.h"
 209 #include "table/jis0208_1990_0.h"
 210 #include "table/jis0212_1990_0.h"
 211
 212 //#define ENCODING_JP_EXT
 213
 214 #include "table/jis0213_1.h"
 215 #include "table/jis0213_2.h"
 216
 217 #if ENCODING_TO_UNICODE
 218 # define ENC(base) { cs_ ## base ## _from_unicode, cs_ ## base ## _to_unicode }
 219 #else
 220 # define ENC(base) { cs_ ## base ## _from_unicode }
 221 #endif
 222
 223
 224 // order must match table in encoding.h(!)
 225 const rxvt_codeset_conv rxvt_codeset[NUM_CODESETS] = {
 226   ENC (unknown),
 227
 228   ENC (us_ascii),
 229
 230   ENC (iso8859_1),
 231   ENC (iso8859_2),
 232   ENC (iso8859_3),
 233   ENC (iso8859_4),
 234   ENC (iso8859_5),
 235   ENC (iso8859_6),
 236   ENC (iso8859_7),
 237   ENC (iso8859_8),
 238   ENC (iso8859_9),
 239   ENC (iso8859_10),
 240   ENC (iso8859_11),
 241   ENC (iso8859_13),
 242   ENC (iso8859_14),
 243   ENC (iso8859_15),
 244   ENC (iso8859_16),
 245
 246   ENC (koi8_r),
 247   ENC (koi8_u),
 248
 249   ENC (jis0201_1976_0),
 250   ENC (jis0208_1990_0),
 251   ENC (jis0212_1990_0),
 252
 253   ENC (jis0213_1),
 254   ENC (jis0213_2),
 255
 256   ENC (ksc5601_1987_0),
 257
 258   ENC (gb2312_1980_0),
 259   ENC (gbk_0),
 260
 261   ENC (cns11643_1992_1),
 262   ENC (cns11643_1992_2),
 263   ENC (cns11643_1992_3),
 264   ENC (cns11643_1992_4),
 265   ENC (cns11643_1992_5),
 266   ENC (cns11643_1992_6),
 267   ENC (cns11643_1992_7),
 268   ENC (cns11643_1992_f),
 269   ENC (big5),
 270   ENC (big5_ext),
 271   ENC (big5_plus),
 272
 273   ENC (viscii),
 274
 275   ENC (unicode_16),
 276   ENC (unicode),
 277 };
 278
 279 #if ENABLE_COMBINING
 280 # define ENCODING_COMPOSE
 281 #endif
 282
 283 #include "table/compose.h"
 284
 285 unicode_t
 286 rxvt_compose (unicode_t c1, unicode_t c2)
 287 {
 288   int l = 0;
 289   int r = sizeof (rxvt_compose_table) / sizeof (rxvt_compose_entry) - 1;
 290   int m;
 291
 292   while (r > l)
 293     {
 294       m = (l + r) / 2;
 295       rxvt_compose_entry &c = rxvt_compose_table[m];
 296
 297       if (c.c1 < c1 || (c.c1 == c1 && c.c2 < c2))
 298         l = m + 1;
 299       else if (c.c1 > c1 || (c.c1 == c1 && c.c2 > c2))
 300         r = m - 1;
 301       else
 302         return c.r;
 303     }
 304
 305   return NOCHAR;
 306 }
 307
 308 #include "table/category.h"
 309
 310 bool unicode::is_space (unicode_t c)
 311 {
 312   return IS_SPACE (c)
 313          || c == 0x09; // exclude tabs, too, as we store them in the buffer
 314 }