Регистрация  |  Вход

Upload files more then 50M

Кого-нибудь интересует как организовать пакетную заливку больших файлов ?

Кого-нибудь интересует как организовать пакетную заливку больших файлов ?

У меня была такая проблема, но потом клиент забил.

У меня была такая проблема, но потом клиент забил.

Sergey Prichepo
У меня была такая проблема, но потом клиент забил.

В общем если нужно будет, пиши

[quote="Sergey Prichepo"]У меня была такая проблема, но потом клиент забил.[/quote]

В общем если нужно будет, пиши

wilder
Кого-нибудь интересует как организовать пакетную заливку больших файлов ?

Рассказывай уж, если начал)

[quote="wilder"]Кого-нибудь интересует как организовать пакетную заливку больших файлов ?[/quote]
Рассказывай уж, если начал)

Да особенно нечего рассказывать. У клиента около 1000 файлов 400 из них более 50 мега. Dataloader and Informatica не смогли. Слезно просили помочь. В итоге написал бач, не тот что все знают, а бач под старый добрый DOS. ясное дело сто было пару манипуляций по подготовке даты, так как залить такой объем можно только по REST.

@echo off
SET /a c=0
for /f %%a in (files/list.txt) do call:doUpload %%a

:doUpload
copy /b %c%.json + %~1 + endPost.txt testFinal.json
curl [ORGURL]/services/data/v35.0/sobjects/ContentVersion -H "Authorization: Bearer [sessionId]" -H "Content-Type: multipart/form-data; boundary=\"boundary_string\"" --data-binary @testFinal.json
SET /a c=c+1

Вот так вот выглядит файл files/list.txt

X:\password\NP-2\EZdesign_5.24a\EZasm_5_24a_build_3.zip
X:\password\NP-2\EZdesign_5.24b\EZdesign_NP2_5.24b_patch.zip

вот так выглядит файлик 0.json

--boundary_string
Content-Disposition: form-data; name="entity_content";
Content-Type: application/json

{
"Doc_SW_Revision__c": "5.24a",
"Description": "EZasm_5_24a_build_3.zip",
"PathOnClient": "X:\\password\\NP-2\\EZdesign_5.24a\\EZasm_5_24a_build_3.zip",
"Product_Family__c": "Network and Multicore Processors",
"Document_Type__c": "Software Image",
"FirstPublishLocationId": "05850000000CxuS",
"Category__c": "NP Processors",
"Title": "EZasm_5_24a_build_3.zip",
"File_Size__c": "422.38 KB",
"Product__c": "NP2",
"Display_type__c": "Downloads",
"RecordTypeId": "012500000009w5e"
}

--boundary_string
Content-Type: application/octet-stream
Content-Disposition: form-data; name="VersionData"; filename="X:\password\NP-2\EZdesign_5.24a\EZasm_5_24a_build_3.zip"

Да особенно нечего рассказывать. У клиента около 1000 файлов 400 из них более 50 мега. Dataloader and Informatica не смогли. Слезно просили помочь. В итоге написал бач, не тот что все знают, а бач под старый добрый DOS. ясное дело сто было пару манипуляций по подготовке даты, так как залить такой объем можно только по REST.

[code]
@echo off
SET /a c=0
for /f  %%a in (files/list.txt) do call:doUpload %%a

:doUpload 
copy /b %c%.json + %~1 + endPost.txt testFinal.json
curl [ORGURL]/services/data/v35.0/sobjects/ContentVersion -H "Authorization: Bearer [sessionId]" -H "Content-Type: multipart/form-data; boundary=\"boundary_string\"" --data-binary @testFinal.json
SET /a c=c+1
[/code]

Вот так вот выглядит файл [b]files/list.txt[/b]
[code]
X:\password\NP-2\EZdesign_5.24a\EZasm_5_24a_build_3.zip
X:\password\NP-2\EZdesign_5.24b\EZdesign_NP2_5.24b_patch.zip
[/code]

вот так выглядит файлик [b]0.json[/b]

[code]
--boundary_string
Content-Disposition: form-data; name="entity_content";
Content-Type: application/json

{
    "Doc_SW_Revision__c": "5.24a",
    "Description": "EZasm_5_24a_build_3.zip",
    "PathOnClient": "X:\\password\\NP-2\\EZdesign_5.24a\\EZasm_5_24a_build_3.zip",
    "Product_Family__c": "Network and Multicore Processors",
    "Document_Type__c": "Software Image",
    "FirstPublishLocationId": "05850000000CxuS",
    "Category__c": "NP Processors",
    "Title": "EZasm_5_24a_build_3.zip",
    "File_Size__c": "422.38 KB",
    "Product__c": "NP2",
    "Display_type__c": "Downloads",
    "RecordTypeId": "012500000009w5e"
}

--boundary_string
Content-Type: application/octet-stream
Content-Disposition: form-data; name="VersionData"; filename="X:\password\NP-2\EZdesign_5.24a\EZasm_5_24a_build_3.zip"
[/code]

Я не силен в бачах.
Расскажи что у тебя в 6 строке происходит, пожалуйста.

Я не силен в бачах. 
Расскажи что у тебя в 6 строке происходит, пожалуйста.

Dmitry Shnyrev
Я не силен в бачах.
Расскажи что у тебя в 6 строке происходит, пожалуйста.

Сборка файла с формой для отправки

[quote="Dmitry Shnyrev"]Я не силен в бачах. 
Расскажи что у тебя в 6 строке происходит, пожалуйста.[/quote]

Сборка файла с формой для отправки