поиск вхождения или сравнить на идентичность.
тогда надо признать что я даже не понял сути вашей программы. Вам всё таки надо написать несколько абзацев, я также видео не досмотрел.
и почему в туториале ( в контакте) импорт в их базу возможен через менеджер sqlite?
значит я ошибаюсь. Хотя я бы 60 гб в sqlite обрабатывать бы не смог (зависает). Дайте, пожалуйста, ссылку, так как я импортировать данные в букварикс не умею.
т.е. вы считаете что с текстовым файлом будет работа быстрее нежели с индексированной базой.
нет, не считаю! Выборка ilike по полю в БД постгрес значительно медленее, чем grep'ом выбрать.
И их вариант основан на бд. И вроде условия соответствуют вашим...
нет, не соответствие с темой
viewtopic.php?t=11251&view=unread#unreadУ них мало данных, они их продублировали всеми способами и добились выборки на несколько сотен записей мгновенно. Экпорт у них делается значительно дольше (логично для БД).
---
Я меряю скорость так. Винт hdd читает данные от 100 до 180 мб в секунду. То есть (1e+11/1e+8)/60 = 16,7 минут. Логично, что если вы сперва читаете файл, а потом записываете его на этот же диск - то будет 32 минуты минимум. Если времени на обработку 100 гб файла вашей программе требуется больше, то значит вы или не верно читаете - пишите на винт, или внутри программы работает сложный числодробительный алгоритм.
Так вот grep делает выборку по скорости отдачи от диска (100 мбайт и выше).