Чтение больших JSON-файлов

Все мы привыкли читать JSON как-то так (с использованием Json.NET):

Product deserializedProduct = JsonConvert.DeserializeObject(json);

И это отлично работает, пока размер сообщения, которое мы читаем сравнительно небольшой. Вчера мне понадобилось прочить JSON размером 1.7 Гб. Все попытки десериализации сохраненного в файле массива ожидаемо закончились OutOfMemoryException.

Без лишних разговоров, публикую рецепт:

В каждой итерации цикла в переменной obj мы будем получать следующий элемент массива.
Память такой подход не использует вообще :)

Коментарі

Pilya каже…
Хорошее решение! мудрое и своевременное! (c) Суворов, "Контроль".

но это ж только "большой массив простых объектов", и при условии, что сами по-себе CS-объекты влезут в память (ок, 1.7G памяти всегда есть).

но сама идея "поточной обработки наборов данных мне кажется очень правильной!
17 квіт. 2013 р., 17:42:00
Unknown каже…
Ха. Я думаю, что все понимают - читать надо поток. Я сразу и искал как это сделать. Оказалось, что примеров для этого не так уж много, хотя библиотека такую возможность реализует.
17 квіт. 2013 р., 18:19:00
Kalinets' family каже…
если там один большой элемент, то не наверное не сработает
16 черв. 2013 р., 23:54:00
Дописати коментар

Популярні дописи з цього блогу

Посчитать количество вхождений каждого слова в текстовом файле

Одному из кандидатов на дожность программиста предложили решить задачу: Написать программу на C#, подсчитывающую количество вхождений каждого слова в текстовом файле. Его решение показывать не буду, у него нет большого опыта разработки на этом языке, но после того как мы обсудили его решение, он попросил мое решение. Вот оно. Кто напишет лучше? using System; using System.Collections.Generic; using System.IO; using System.Text; class Program { static void Main() { SortedDictionary < string , int > words = new SortedDictionary< string , int > (); foreach ( string word in WordIterator(Console.In)) { int count; words[word] = words.TryGetValue(word, out count) ? count + 1 : 1 ; } foreach (KeyValuePair< string , int > pair in words) Console.WriteLine( "{1,8} {0}" , pair.Key, pair.Value); } static IEnumerable< string > WordIterator(TextReader sr) { StringBuilder sb = new StringBuilder(); int ch; while ((ch = sr.Read
Читати далі

Українська мова

Вирішив написати нового поста до свого блогу, адже вже витримав достатню паузу після попереднього. Пост буде про програмування. Але, чомусь, мені захотілося зробити це українською мовою. І взагалі тепер буду намагатися писати українською.
Читати далі