MoBoBE

Интро

Уже давно хотелось пощупать главное нововведение .NET 4 – DLR, да и RavenDB выглядит очень аппетитным, а собранные вместе в одном месте дают возможность реализовать очень интересные штуки. Да и на чём потренироваться у меня есть – мой список дисков, который я веду в Excel. Давно уже хочется отказаться от таблиц и использовать что-то более гибкое.

Итак, далее последует примерный конспект моих мытарств в освоении всего нового, а именно – как работать с приложениями MS Office напрямую, основы использования динамических объектов и работа с RavenDB. На всякий случай, я использовал MS Office 2010 RTM x64, Visual Studio 2010 RTM и RavenDB build 101 (начал я с 100, но там был баг с загрузкой индексов).

Как оседлать Excel

Итак, как же нам получить все интересующие на данные из исходного файлика в формате xlsx? Побродив немного по MSDN и форумам, я заметил два основных подхода: работа как с БД через Jet OLE DB (пример на CodeProject), либо напрямую через компоненты автоматизации (COM-объекты).

Поскольку у меня много мета-информации хранится в комментариях к ячейкам, первый вариант отпадает сразу. Второй вариант тоже не сахар, ибо работа с COM – не самое благодарное занятие.

Компонентная модель

Итак, работаем с COM. Очень поверхностно, работа заключается в создании объекта нужного приложения (в моём случае – Excel), открытия интересующего нас файла и последующего взаимодействия с этим самым файлом. Самое главное – не забыть потом всё это закрыть (и нет, using здесь не помощник).

using Microsoft.Office.Interop.Excel;
<...>
private static void Main()
{
	var excel = new Application();
	try
	{
		Workbook workbook = excel.Workbooks.Open("CDDB.xlsx", ReadOnly: true, Editable: false);
		Worksheet sheet = workbook.Sheets["Игры"];
		foreach (Range row in sheet.Rows)
		{
			var objetToStore = GameConverter(row.Cells);
			<...>
		}
		workbook.Close();
	}
	finally
	{
		excel.Quit();
	}
}

Для сравнения, вот как выглядело открытие файла раньше:

Workbook workbook = excel.Workbooks.Open("CDDB.xlsx", null, true, null, null, null, null, null, null, false, null, null, null, null, null);

Достаём данные

Собственно, обработка данных. В данном примере функция GameConverter принимает одну строку-запись из файла и конвертирует её в некий объект, который будет более наглядно отражать её суть. И тут возникает вопрос, – как это сделать. Лично мне в данном случае не хотелось привязываться к какой-то конкретной объектной модели, поэтому первое, что пришло в голову – использовать анонимные объекты.

private static object GameConverter(dynamic gameRow)
{
	return new
	{
		type = "game",
		title = new
		{
			localized = GetField(gameRow, 1),
			original = GetField(gameRow, 2),
		},
		publisher = GetField(gameRow, 3),
		disks = GetField(gameRow, 4),
		architecture = GetField(gameRow, 5),
		media = GetField(gameRow, 6),
		protection = GetField(gameRow, 7),
		language = GetField(gameRow, 8),
		shippedVersion = GetField(gameRow, 9),
		latestPatch = GetField(gameRow, 10),
		borrowedBy = GetField(gameRow, 11),
		purchaseDate = GetField(gameRow, 12),
		price = GetField(gameRow, 13),
	};
}

private static object GetField(dynamic row, int idx)
{
	return new { value = row[idx].Value2, comment = GetComment(row[idx].Comment) };
}

private static string GetComment(dynamic cell)
{
	return cell == null ? null : cell.Shape.AlternativeText;
}

Хм… выглядит неплохо, но смущает явный копипаст. Ну да ладно, пока что сойдёт. Самое главное – уже сейчас видны преимущества использования динамических объектов, ибо я так и не разобрался, как же просто можно обратиться к полям с данными (что к чему надо кастовать на каком шаге), даже зная, как называются интересующие меня поля.

После прогона с отладчиком, видно, что объект формируется как надо:

Работа с RavenDB

Сначала, почему RavenDB? Потому что это объектное хранилище, да к тому же написанное на .NET для .NET. Идеальный вариант. Работать с ним проще простого: запускаем сервер, инициализируем клиент, подключаемся, работаем.

using Raven.Client;
using Raven.Client.Document;
using Raven.Database.Data;
<...>
private static void Main()
{
<...>
		using (IDocumentStore store = new DocumentStore {Url = "http://localhost:8080/", Credentials = CredentialCache.DefaultNetworkCredentials}.Initialize())
		using (IDocumentSession session = store.OpenSession())
		{
			Worksheet sheet = workbook.Sheets["Игры"];
			foreach (Range row in sheet.Rows)
			{
				var o = GameConverter(row.Cells);
				session.Store(o);
			}
			session.SaveChanges();
		}
<...>
}

Вроде бы всё просто: делаем объекты, пихаем их в базу. Но что это? Падение при попытке сохранить первый же объект?

Хм… раз мы не управляем генерацией идентификаторов объектов вручную, RavenDB пытается генерировать их сам на основе имени класса сохраняемого объекта и у нашего анонимного типа оно несколько длинновато. Выхода два: делать дополнительную работу по генерации идентификаторов объектов, либо генерировать объект по-другому. Поскольку лень – двигатель прогресса, мы пойдём вторым путём.

Как очистить базу

Самым неожиданным моментом было обнаружить, что вот так просто нельзя дропнуть всю БД и начать с нового листа. Возможно, есть способ и попроще, но самый простой выход, до которого дошёл я, – это создать индекс, возвращающий все документы, а потом вызвать метод массового удаления, используя этот самый индекс.

private static void InitDb(IDocumentStore store)
{
	try
	{
		store.DatabaseCommands.GetIndex("AllDocuments");
	}
	catch (InvalidOperationException)
	{
		store.DatabaseCommands.PutIndex("AllDocuments", new IndexDefinition {Map = "from doc in docs select new {doc}"});
	}
	store.DatabaseCommands.DeleteByIndex("AllDocuments", new IndexQuery {PageSize = int.MaxValue}, false);
}

Конечно, чтобы удалить все документы, придётся сначала дождаться полной индексации и, возможно, более корректно обрабатывать paging, но для прототипа сойдёт и так.

Как создавать объекты. Попытка №2

Да, анонимные объекты хороши не всегда. Следующий логичный шаг – создание объектной модели. Ничего особенно умного, просто разбить наш анонимный класс на подклассы и дать им имена.

private class Field
{
	public dynamic value;
	public string comment;
}
private class Title
{
	public Field localized;
	public Field original;
}

private class Game
{
	public string type;
	public Title title;
	public Field publisher;
	public Field disks;
	public Field architecture;
	public Field media;
	public Field protection;
	public Field language;
	public Field shippedVersion;
	public Field latestPatch;
	public Field borrowedBy;
	public Field purchaseDate;
	public Field price;
}

Вот, теперь всё работает.

{
	"type":"game",
	"title":{
		"localized":{
			"value":"Fate/stay night",
			"comment":null
		},
		"original":{
			"value":"フェイト／ステイナイト",
			"comment":"FEITO / SUTEI NAITO"
		}
	},
	"publisher":{
		"value":"Type-Moon",
		"comment":null
	},
	"disks":{
		"value":1,
		"comment":null
	},
	"architecture":{
		"value":"PC",
		"comment":null
	},
	"media":{
		"value":"DVD",
		"comment":null
	},
	"protection":{
		"value":"CD",
		"comment":null
	},
	"language":{
		"value":"я",
		"comment":"есть патч англификации"
	},
	"shippedVersion":{
		"value":null,
		"comment":null
	},
	"latestPatch":{
		"value":null,
		"comment":null
	},
	"borrowedBy":{
		"value":null,
		"comment":null
	},
	"purchaseDate":{
		"value":39764,
		"comment":null
	},
	"price":{
		"value":2559.05,
		"comment":null
	}
}

Только что-то как-то слишком много лишнего. Сплошные null’ы. Что-то мне подсказывает, что этого можно избежать, а ключ лежит в использовании DLR и конструировании объектов по мере надобности.

Как создавать объекты в runtime

Итак, ExpandoObject. Новый класс, призванный в паре с dynamic дать разработчиком большую гибкость по работе с объектами во время выполнения программы. Вещь, доступная в таких языках, как Python, Ruby, JavaScript, PowerShell и прочих. Нас же интересует добавление новых полей по мере надобности.

private static dynamic GameConverter(dynamic gameRow)
{
	dynamic game = new ExpandoObject();
	game.type = "game";
	game.title = new ExpandoObject();
	dynamic field = GetField(gameRow, 1);
	if (field != null) game.title.localized = field;
	field = GetField(gameRow, 2);
	if (field != null) game.title.original = field;
	field = GetField(gameRow, 3);
	if (field != null) game.publisher = field;
	field = GetField(gameRow, 4);
	if (field != null) game.disks = field;

	<...>

	return game;
}

private static dynamic GetField(dynamic row, int idx)
{
	dynamic value = row[idx].Value2;
	if (value == null || value.ToString().Trim() == "") return null;

	dynamic field = new ExpandoObject();
	field.value = value;
	dynamic comment = GetComment(row[idx].Comment);
	if (comment != null) field.comment = comment;
	return field;
}

private static string GetComment(dynamic cell)
{
	return cell == null ? null : cell.Shape.AlternativeText;
}

Запускаем. И… это именно то, что надо

{
	"type":"game",
	"title":{
		"localized":{
			"value":"Fate/stay night"
		},
		"original":{
			"value":"フェイト／ステイナイト",
			"comment":"Подпись: FEITO / SUTEI NAITO"
		}
	},
	"publisher":{
		"value":"Type-Moon"
	},
	"disks":{
		"value":1
	},
	"architecture":{
		"value":"PC"
	},
	"media":{
		"value":"DVD"
	},
	"protection":{
		"value":"CD"
	},
	"language":{
		"value":"я",
		"comment":"Подпись: есть патч англификации для 2 из 3 путей"
	},
	"purchaseDate":{
		"value":39764
	},
	"price":{
		"value":2559.05
	},
	"Id":"expandoobjects/15"
}

Только вот смотрю я на весь этот копипаст и кажется, что можно это дело улучшить. Глянем в MSDN, ага, так и есть – ExpandoObject реализует интерфейс IDictionary. Отлично!

private static dynamic GameConverter(dynamic gameRow)
{
	dynamic game = new ExpandoObject();
	game.type = "game";
	game.title = new ExpandoObject();
	AppendFieldIfNotNull(game.title, "localized", GetField(gameRow, 1));
	AppendFieldIfNotNull(game.title, "original", GetField(gameRow, 2));
	var fields = new[]
	             	{
	             		"publisher",
	             		"disks",
	             		"architecture",
	             		"media",
	             		"protection",
	             		"language",
	             		"shippedVersion",
	             		"latestPatch",
	             		"borrowedBy",
	             		"purchaseDate",
	             		"price"
	             	};
	for (int i = 3; i < 14; i++)
		AppendFieldIfNotNull(game, fields[i - 3], GetField(gameRow, i));
	return game;
}

private static void AppendFieldIfNotNull(ExpandoObject obj, string field, dynamic value)
{
	if (value == null) return;
	if (value.ToString().Trim() == "") return;

	// ReSharper disable RedundantCast
	(obj as IDictionary<string, object>) = value;
	// ReSharper restore RedundantCast
}

Здесь, кстати, нашёлся небольшой баг в решарпере (кстати, буквально за день до этого я нашёл другой баг – в компиляторе c#, который был гораздо неприятней).

Дальнейшая работа уже не так интересна – написание однотипных конвертеров для каждой страницы, перенос дополнительной мета-информации (цвет записи), правильное конвертирование данных (даты) и перенос сортировок в виде индексов, но в этом уже нет ничего нового.