UTF8 и система...

[vitaly_l]

как определить когда нужно UTF8ToSys, и когда применять UTF8Encode итд?
Короче при разных стечениях (в том числе при обращении в реестр) - возвращает битый путь (Русские символы)...
Если UTF8Encode, то путь нормальный. Однако если его повторно UTF8Encode или UTF8ToSys, то путь опять битый...
При этом часть стандартных функций самостоятельно используют UTF8Encode или UTF8ToSys, а часть нет...

Единственный, (на мой взгляд): выход - это заранее определять, в какой кодировке путь.

Как определить в какой кодировке строка?
Как определить если половина строки в другой кодировке?
Возможно есть иные (более правильные) варианты?

[dunin]

Все, что "внутри" Лазаруса - в кодировке UTF8.
Все, что снаружи на диске (пути и имена файлов) - в системной кодировке (как правило, если Виндус - то ANSI, если Линукс - то UTF8).
Все, что в базе данных - в кодировке заданной в базе данных.
Содержимое внешнего файла может быть в любой кодировке.

Вот отсюда и исходим:
- при обращению к файловой системе UTF8ToSys (и в другую сторону) лишним не будет;
- при работе с БД смотрим свойства БД;
- ковыряя файл есть смысл определить его кодировку заранее.

[vitaly_l]

Все, что "внутри" Лазаруса - в кодировке UTF8.

Это точно??? Он(lazarus) всегда любой текст автоматически: читает, обрабатывает и сохраняет в UTF8??? (охотно верю)
Теперь понятно почему он(lazarus) сам не определяет в какой кодировке путь (при обращении к "внешним" файлам)...
Тобишь UTF8ToSys и UTF8Encode - сами определяют кодировку, а я просто их неверно применил...???
Так? ("ДА" / "НЕТ") ?!
Если "ДА", то почему он(lazarus) - не определяет, что строка в UTF8???

[dunin]

Все, что "внутри" Лазаруса - в кодировке UTF8.

Это точно??? Он(lazarus) всегда любой текст автоматически: читает, обрабатывает и сохраняет в UTF8??? (охотно верю)
Теперь понятно почему он(lazarus) сам не определяет в какой кодировке путь (при обращении к "внешним" файлам)...
Тобишь UTF8ToSys и UTF8Encode - сами определяют кодировку, а я просто их неверно применил...??? Так? Да / нет?!

Бывают исключения, когда файл в редакторе в другой кодировке. Например кодер поленился скопипасить и просто открыл файл из дельфевого проекта или древняя версия Лазаруса, но это редкость. Проверить - контекстсное меню в редакторе - там поискать где-то есть про кодировки. UTF8ToSys сам определяет системную кодировку, главное не напутать в какую сторону его применять, т.е. где UTF8ToSys, а где SysToUTF8. Что делает UTF8Encode сам до конца не понимаю, использую его при работе с XML-инами.

[vitaly_l]

UTF8ToSys, а где SysToUTF8

Вот пример в windows:
s : UTF8string;

s := {UTF8Encode(}SelectDirectoryDialog1.FileName{)};
ShowMessage(s);

Если "раскоментить", то будут кракозябры...

если SysToUTF8, то всё нормально...
я ложно взял UTF8Encode...
Однако из реестра он(UTF8Encode) Encod-ирует правильно...

СПАСИБО добрый dunin.
.

[Odyssey]

Как определить в какой кодировке строка?

Обычно это не определяют, а стараются знать наверняка. Как - см. пост dunin, и заметку ниже. Теоретически, можно попытаться угадать кодировку (см. функцию GuessEncoding из модуля LConvEncoding), но это накладно по ресурсам и не на 100% надёжно (т.е. алгоритм определения может ошибиться).

Как определить если половина строки в другой кодировке?

Такого нельзя допускать, получится некорректная строка. Перебирать все возможные варианты сочетания частей во всех возможных кодировках слишком ресурсоёмко.

Возможно есть иные (более правильные) варианты?

Да: знать какая функция с какой кодировкой работает, и какая переменная строку в какой кодировке хранит. В будущих версиях FPC, возможно, появятся строки, которые сами "знают" о том, в какой кодировке хранятся, но пока за кодировкой нужно следить нам самим.

При этом часть стандартных функций самостоятельно используют UTF8Encode или UTF8ToSys, а часть нет...

Те, что являются частью Lazarus - используют. Те что являются частью FPC - нет. Проверить просто. Нужно зажать на клавиатуре Ctrl и щёлкнуть мышкой на интересующую функцию. Откроется модуль, в котором она описана. В редакторе кода Lazarus в правом нижнем углу указан путь к текущему модулю. Если этот модуль лежит в папке Lazarus'а - функция почти наверняка использует UTF8ToSys сама (в этом можно убедиться, посмотрев её код). Если файл лежит в папке исходного кода FPC, то функция в нём не использует UTF8ToSys, а работает с системной кодировкой. Если файл исходного кода не открылся - это внутренняя функция компилятора, и тоже не использует UTF8ToSys.

Тобишь UTF8ToSys и UTF8Encode - сами определяют кодировку, а я просто их неверно применил...???
Так? ("ДА" / "НЕТ") ?!

НЕТ, сами не определяют.

Что делает UTF8Encode сам до конца не понимаю, использую его при работе с XML-инами.

UTF8Encode преобразует WideString (UCS2, UTF-16) в UTF-8.
UTF8Decode, наоборот, преобразует UTF-8 в WideString (UCS2, UTF-16).
Поскольку FCL-XML использует именно WideString, при работе с этой библиотекой из проектов Lazarus приходится вызывать эти функции.
Ещё WideString используется в вызовах WinAPI-функций, поддерживающих Unicode (тех, которые заканчиваются на W).
Если WideString не используется, UTF8Encode/UTF8Decode ни к чему.

[vitaly_l]

Те, что являются частью Lazarus - используют. Те что являются частью FPC - нет... В редакторе кода Lazarus в правом нижнем углу

СПАСИБО добрый Odyssey

Я нашёл, у Лазаруса, есть функция по определению кодировок...
(это волшебно, но в Лазарусе всегда, есть всё необходимое... просто нужно найти...).
см. ищи юнит LConvEncoding
там функция function ConvertEncoding(const s, FromEncoding, ToEncoding: string): string;
а на самом деле вот эта ---> GetDefaultTextEncoding

[dunin]

...
UTF8Encode преобразует WideString (UCS2, UTF-16) в UTF-8.
UTF8Decode, наоборот, преобразует UTF-8 в WideString (UCS2, UTF-16).
...

Я всегда подозревал, что для чего-то это все-таки нужно.
Спасибо.