Хранение и доступ к макетам как лучше устроить?

[Pavel Pe4atnikov]

Раньше было у всех на компах все разные папки с клиентскими макетами... пора навести порядок.
Мне видится что надо или выделить отдельный комп под а-ля файл-сервер (напихать туда винтов и там хранить ВСЕ клиентские папки) или же купить один здоровый сетевой винт и врубить его в хаб. Как лучше?
Что надежней: комп с винтами или отдельный сетевой винт?

Далее. А как с этим работать? Допустим есть клиент ААА. Для него в общем хранилище сделана папка ААА. В разное время, а может и в один день, РАЗНЫЕ версталы работают с его макетами. Как это правильно осуществить/организовать?
1. создается под заказ папка на локальном компе диза, диз работает с файлами, а в конце дня эта папка сливается в общую папку клиента ААА? Это автоматом происходит или же он САМ должен эту свою папку сливать в общую папку клиента в хранилище?
2. работает и работает себе.... и раз в месяц, допустим, все папки сливаются с папками клиентов в хранилище?
У кого как?

Далее. Как и НАДО ли разграничивать в хранилище доступ к клиентским папкам для разных людей (версталов)? Допустим старший диз А работает с клиентом ААА и не хочет, чтобы другие дизы совали нос "куда не надо"... Как в таком случае разграничить права доступа и СТОИТ ЛИ?
1. Если стОит, то подключение данного диза к хранилищу должно осуществляться через логин/пароль или же можно как-то намутить, чтобы доступ к папке с одного компутера был, а с другого - не был?
2. Не делать разграничение доступа вообще (людям надо доверять )?

Какие идеи? У кого как?

[d_Serg]

Сообщение от bubapb

а рассказывать чем решение за 1к на бытовых комплектующих отличается от решения на серверных, специально разрабатываемых для работы в повышенно нагруженных условия, ну это как если бы ты спросил чем Конь 7450 от Коня 7000 отличается, это примерно тоже

bubapb, тут ведь смотря с какой стороны посмотреть... Да, допустим, я не особо разбираюсь, чем Конь 7450 отличается от Коня 7000... Но в данном случае, я и не хочу (как-бы!!!) этого знать... Я хочу отдавать заказ на печать и в оговоренные сроки получить готовый результат... А как печатает этот принтер, какие при этом заморочки у печатника-"мальчика" мне как-бы по-барабану... Печатник-"мальчик" заказал/выбрал то решение (принтер), к-ое он считает оптимальным для выполнения моих задач, цена вопроса меня устроила....

Сообщение от bubapb

сейчас не на чем проводить тестирование, а так решение по сути кластерного ФС довольно легко маштабирыется под нужды и потребности
http://www.communigate.com/cgatepro/...erStorage.html

Вы дали правильную ссылку!!! Смотрим последнюю картинку - она, как раз очень хорошо иллюстрирует принцип работы кластерной ФС. (и собственно того вопроса, что я пытался задать выше)
Как я понимаю (поправьте, если не прав) на компе диз1, диз2..... должны стоять не только привычный Виндос, но и какой-то интегрированный Kernel (Кластерная ФС) и дальше (это хорошо проиллюстрировано на картинке) при записи с компа диз1 этот Kernel синхронизирует состояние кластерной ФС на всех (!!!) компах в сети, затем монополизирует сеть для доступа к нашей БД, записывает необходимую инфу в БД (правда по более скоростному протоколу), затем разблокирует доступ к нашей БД....
У меня совсем делитантский вопрос: насколько сложный (требовательный к ресурсам) этот Kernel? не съест ли он все ресурсы компа дизайнера? Кроме того, у разных пользователей в нашей сети компьютеры разной мощности (даже с разными ОС), а ставить его, видимо мы должны для всех, кто хочет иметь доступ к нашей общей БД, насколько этот Kernel дружен со слабыми компами? Да и вообще, насколько он стабилен? Т.е. не получим ли мы себе ООООЧЕНЬ БОЛЬШОЙ ГЕМОР, если, например, на ооочень слабом компе у резчика этот Kernel будет немного "тупить", а следовательно, и кластерная ОС даже на скоростном компе диза не получит доступа к общей базе, пока не синхронизирует свою запись на раздолбанном компе резчика....
Как я понимаю, у нашего программиста с этим Kernel как раз и проблемы...
Настолько ли универсально и эффективно Ваше решение, для наших задач???
По поводу масштабируемости....
ИМХО, главная потребность масштабируемости файл-сервера - это наращение его объема....
Как я вижу это решение в наших условиях (опять же поправьте меня, если я заблуждаюсь)....
Когда мы вырастим за 4ТБ нынешнего объема (представляется, что это произойдет через 1,5-3 года) мы приобретем дополнительные винчи (допустим, 2 винча на 5 Тб) как я понимаю, мы из них сможем сделать RAID 10 (4х2ТБ + от двух новых винчей "отрежим" еще по 2 ТБ), что даст нам прирост скорости нашей "внутренней" ФС в 1,5 раза, а из 3 ТБ "остатков" сделаем RAID 1, к-ый также виртуально сможем приатачить к нашей общей БД.
Какие тут проблемы с масштабированием?
Или я чего-то недопонимаю?

[d_Serg]

Итак... если кого-то интересует наши изыскания по созданию файлового хранилища, продолжу свой отчет... точнее нашего сисадмина....
Повторюсь, файл-сервер попытались собрать на указанном выше железе, а для агрегирования использовали одну набортную сетевуху и две дополнительные PCI-E (для максимальной загрузки нашего сервера)...

Новости у меня печальные. Замена сетевой карты на более продвинутую
повысила скорость сети (она поднялась на 5%, до 980 мегабит, а загрузка
процессора на обработку сетевого обмена снизилась вдвое), но не избавило от зависаний.

Получается, что интенсивный обмен по PCI-E шине рано или поздно вешает машину.

Я столкнулся сразу с двумя сложностями: изначально я наткнулся на баг в центосовских драйверах для набортной сетевухи (и двух внешних на том же чипе). Зависания возникали сравнительно быстро, от минут до трех часов. Чтобы его обойти, я отключил центосовский драйвер и поставил референс-драйвера от Реалтека:

Зависания стали происходить гораздо реже, интервал от суток до трех, но не исчезли. Пляски с бубном не помогли. Потом в Юлмарте наконец-то
появились серверные сетевухи на интеловских чипах 82574L. Они тоже не
подарок....
http://habrahabr.ru/post/168607/

Я подумал, что зависания все-таки связаны с чипсетом сетевух и решил
проверить, что будет с сетевухой на чипе 82574L, две старые сдал в Юлмарт и купил новую. Стресс-тестирование показало, что зависания хоть и редко, но происходят, система повисла через 14 часов.

Игры с опциями кернела и откатом на предыдущую версию кернела cитуацию не изменили - зависания сохранились. Вероятных вариантов два:

- зависания могут быть связаны либо с дефектом материнской платы или
процессора, в котором расположен северный мост с pci-e контроллером (например, плохая пайка BGA). Высокая нагрузка по PCI-E приводит к нагреву который может приводить к изменению контакта из-за теплового расширения и зависанию.
- зависания могут быть связаны какой-то несовместимостью материнской
платы и используемой версией операционной системы. В этом случае под другими ОС (windows к примеру) проблемы не будет.

Отдавать в эксплуатацию сервер в таком виде, тем более под такое
ответственное применение, как файлохранилище, я не могу.

короче, приняли решение, что первый эксперимент потерпел неудачу и решили повторить процесс, но на всякий случай покупаем мат. плату на другом чипсете (не Intel B75).

К чему я это все написал....
Видимо процесс создания такого (в общем-то непростого) решения, как показал наш первый опыт не настолько и прост. Видимо есть реальный риск как выбора и "неправильного" железа (а предварительные тесты никак не нашли НИКАКИХ изъянов в железе), так и выбора "некорректного" программного обеспечения (драйверов, настроек и пр.), в чем, видимо даже специалисту действительно высокого уровня разобраться чрезвучайно сложно....
Пока, лично мы решили продолжить эксперимент до положительного его решения, ну или пока "не опустятся руки" у нашего сисадмина...
А вот, чтобы "руки у него не опускались", ведь не известно со второй/третьей/... пятой попытки нам удасться решить нашу задачу, мне подумалось, а нет ли еще желающих принять участие в нашем эксперименте и решить свои задачи по хранению базы данных....

Т.е. если будет все же найдена оптимальная комбинация железа, оптимальные программные настройки и стресс-тестами подтверждена устойчивая работа данной системы, то будут ли желающие приобрести аналогичное решение? Или лучше использовать "коробочный" вариант, пусть более дорогой вариант и с меньшими возможностями, но зато "свое"?

[Nikit0s]

d_Serg, раз возникли такие проблемы -- может проще скопировать конфигурацию от каких-нибудь признанных серверостроителей типа Тринити, ну или сисадмину намекнуть, что прежде чем покупать неизвестно что -- может форумы сначала почитать? Там очень часто выкладывают готовые рабочие конфигурации, протестированные на серьезных нагрузках.

[bubapb]

d_Serg, я вот не пойму, по граблям ходить нравится?

Либо бериге готовое решение, либо заменить админа, либо случайте что советуют.

конфиг на серверной матери и серверной сетевой карте я не зря предложи, и маленьй нюанс, если админ не знает что realtek в серверах не должен быть ближе 100м, есть сомнения в его андестендстве, у меня на Q9300+8Gb Ram+P5QL PRO вертится Xer Server с 3 виртуалками одна из кторых файловый сервер, второй voip и третий простой сервер (всякие dns и прочее), так вот в нем реалтел используется только как карточка для подключения клиента Xen, основные сет. карты это Intel и Atheros и то иногда подвешивает, по этому готовлю замену на базе SuperMicro+Xeon+16Gb ram

[d_Serg]

Nikit0s, bubapb согласен, что наверняка готовое решение за много денег - это хорошее решение нашей задачи....
Опять же и похвастаться дорогой "игрухой" на форуме как-бы приятней ))
Но я рассматриваю файловое хранилище, не как элемент престижа типографии, а всего лишь как некий инструмент, призванный решать вполне определенные задачи - надежное хранение информации и быстрый поток данных от сервера и обратно...
Понятно, что чем дешевле нам предложат решение (не в ущерб надежности), тем нас такое решение устроит больше...
Пока решать задачу начали более дешевыми средствами.
М.б. у нас ничего из этого и не получится... Но, почему бы не попробывать? Ведь купить готовое решение за дорого - всегда успеем ))

[bubapb]

d_Serg, ну я тебе уже привел конфиг в твои деньги, если еще чуть добавить 5-15т можно докупить кой какие полезности еще, итого в 50т. реально уложить почти все что нужно для НОРМАЛЬНОГО! хоть и наколенного решения

1Гб до маниш реально не нужен, у вас железо не осилит столько данных гонять, 1Гб у сервера да

у вас не тот объем данных что бы 1Гб стабильно нужно гонять по сети, вы не ДЦ, по мети 1Гб гарантированно это фантастика, в принципе, дофига условий надо соблюсти, для таких скоростей оптику используют, хотите много и быстро, меняйте счит и сетевые на оптику, и будет вам счастье, без всякого сервера и кучи сетевых карт, одна 10Гб в сервер и по 1гб в рабочки, будет гарантированные 2гб в дуплексе(гиг туды/сюды итого два)

я же говорю у меня у сервера 1гб в локалку с ФС смотрим, на этом же канале сидит обычный сервер, другие карточки для видеонаблюдения и воипа выделены персонально, все это рулится через des-3526+2011UiAS-2HnD-IN, и проблем со скоростями не имею, voip и видео в своих vlan, локалка в своем vlan, плюс настроенный QaS решает за частую половину проблем

пысы: начинайте с малого, поставьте нормальный свич, настройте QaS, воткните нормальную сетевую гигабитную в сервер, будет мало, уже тогда и плясать дальше, а то может у вас банально проблем не в сервера, а в перегрузке свича или сети в целом.

[Nikit0s]

d_Serg, так в том-то и ирония, что не знаю кто как, а мы довольно долгое время держали файлы на нескольких самосборных файл-серверах. Вроде и материнки Интел, серверные, и RAID-контроллеры профессиональные (а не то что на материнках обычно ставят). Все равно -- проблем хапанули достаточно, откровенно скажу.
Поверьте, не от хорошей жизни и не от избытка денег мы потратились на брендовую коробку. Скорее даже наоборот. Поговорку "скупой платит дважды" никто еще не отменял

[bubapb]

Сообщение от Nikit0s

Поверьте, не от хорошей жизни и не от избытка денег мы потратились на брендовую коробку. Скорее даже наоборот. Поговорку "скупой платит дважды" никто еще не отменял

коробка коробке рознь, реально хорошая кобочка от 100к будет выходить

еще раз, начинать надо с сети, т.е. со свича и его настройки, потом рутер-шлюз правильный и настроенный, а уже потом сервера и т.д., предварительно надо сесть и нарисовать-составить схемку чего-куда зачем и почему должно бегать и работать

можно класстер поставить с 10гб транками на оптике, а если сеть через жопу, он так же и работать будет

[d_Serg]

Сообщение от Nikit0s

d_Serg, так в том-то и ирония, что не знаю кто как, а мы довольно долгое время держали файлы на нескольких самосборных файл-серверах. Вроде и материнки Интел, серверные, и RAID-контроллеры профессиональные (а не то что на материнках обычно ставят). Все равно -- проблем хапанули достаточно, откровенно скажу.
Поверьте, не от хорошей жизни и не от избытка денег мы потратились на брендовую коробку. Скорее даже наоборот. Поговорку "скупой платит дважды" никто еще не отменял

Nikit0s, я уже говорил, что нынешний наш файл-сервер сделан из старого РИПа 2004 г.в. Мамка там хорошая (дорогая), но не серверная... Где-то в 2008 году мы на этом железе подняли файл-сервер, с тех пор, в настройки не лазили (только где-то в году в 2010 поставили новые мощные винчестеры) ТТТ проблем пока не возникало.....

Сообщение от bubapb

еще раз, начинать надо с сети, т.е. со свича и его настройки, потом рутер-шлюз правильный и настроенный, а уже потом сервера и т.д., предварительно надо сесть и нарисовать-составить схемку чего-куда зачем и почему должно бегать и работать

bubapb, я уже тоже говорил Вам про наш реальный расклад....
При нашей нынешней топологии сети мы имеем скорость обмена данными между локальной машиной и сервером где-то до 40-45 МБ в секунду (и считаю этого вполне достаточно)... Но делать файл-сервер, если в сети только один пользователь работает с этой БД считаю неправильно (зачем тогда городить вообще эту сетку, проще/скоростнее/надежнее поставить эти HDD просто на комп этого единственного диза). Но, когда к файловому хранилищу обращается сразу же несколько человек, то пропорционально падает и скорость доступа для каждого пользователя.... И очень хочется эту проблему решить. Нынешними (недорогими средствами) нам эту проблему обещают решить частично, только в одну сторону - ну хоть как-то....

[bubapb]

Сообщение от d_Serg

Но, когда к файловому хранилищу обращается сразу же несколько человек, то пропорционально падает и скорость доступа для каждого пользователя.... И очень хочется эту проблему решить. Нынешними (недорогими средствами) нам эту проблему обещают решить частично, только в одну сторону - ну хоть как-то....

блин, походу я тут в воздух говорю, читай что я пишу, хотя бы последние посты

если вас устраивает 45мб, так нахрена вы городите этот сервер, воткни в текущий сервер НОРМАЛЬНУЮ!!! 1Гб сетевую, поставь НОРМАЛЬЙ (а не то что вы купили) свич и попробуй, у вас минимум сохранятся ТЕ ЖЕ 45мб, но уже от 10-15 клиентов одновременно работающих

у вас проблема не в НАСе, у вас проблема в СЕТИ!

[d_Serg]

Сообщение от Boroda

d_Serg, а сейчас посмотрет загрузку сетевухи на существующем файлсервере?
Вот эту картинку имею в виду:

домучили наконец-то наш файловый сервер... (так же "подняли" на нем наш FTP-сервер)
вот что у нас получилось...
1.jpg
очень довольны!
Не в плане рекламы, но если кто-то заинтересован в достойном файловом хранилище за вполне гуманные деньги, готов дать координаты хорошего админа - обращайтесь в личку.

[bubapb]

Сообщение от d_Serg

домучили наконец-то наш файловый сервер... (так же "подняли" на нем наш FTP-сервер)
вот что у нас получилось...
Вложение 14609
очень довольны!
Не в плане рекламы, но если кто-то заинтересован в достойном файловом хранилище за вполне гуманные деньги, готов дать координаты хорошего админа - обращайтесь в личку.

не показатель, копирование одного большого файлика всегда быстро, вы лучше пачку мелких по 20-50-100-200мб (общим объемом в 1гб)

[d_Serg]

Сообщение от bubapb

не показатель, копирование одного большого файлика всегда быстро, вы лучше пачку мелких по 20-50-100-200мб (общим объемом в 1гб)

не вопрос... вот кусок реального нашего архива....
2.jpg

[d_Serg]

никаких сетевых кабелей не меняли

[Boroda]

d_Serg, а что происходит если на сервер одновременно пишут/читают несколько клиентов?

[d_Serg]

Сообщение от Boroda

d_Serg, а что происходит если на сервер одновременно пишут/читают несколько клиентов?

Из-за того, что у нас дешевый свитч (4,5 тыр), то агрегирование у нас работает только в одну сторону Т.е. раздавать файловый сервер может ТОЛЬКО со скоростью до 1 Гиг/сек, а забирать данные может в зависимости от кол-ва сетевых карт - с 2-3-4 кратной скоростью (дальнейшая скорость ограничена скоростью физической записи на винчи файлового сервера)