Нейронные сети (Deep Learning)

Нейронные сети (Deep Learning)

Решил завести здесь тему "Нейронные сети".
Знаю некоторые наши участники интересуются этой областью и даже имеют некоторые успехи.
Буду признателен если поделитесь информацией. Любые ссылки и обсуждения приветствуются.

Вот я натолкнулся на информацию по интересному стартапу

https://dbrain.io/

https://tech.onliner.by/2018/02/12/dbrain

Помогаем обучать нейронные сети - получаем копеечку. Неплохая идея!!!

1) старт
https://www.youtube.com/watch?v=AZG0j0pNY-4
построение первой сетки
и ее обучение
уровень школьник
2) https://www.youtube.com/watch?v=HA-F6cZPvrg
продолжение первого видео
но с правильной методикой определения ошибки
3) https://www.youtube.com/watch?v=Oo3DgYTL-Nw
видео обучения с подкрепление чат бота на основе выборки с голивудских сценариев
на гугловском framework
обучение происходит на арендной tesla в облаке
4) https://www.youtube.com/watch?v=mk6CCruAxHg&list=LLlJW1rrPO5-uLltvRizx4kw&index=5
тут больше теория по основам архитектуре
плюс рассмотрен пример нейрон сети распознания написанных от руки чисел

https://www.tensorflow.org
гугловский framework

по большей части любая нейроная сеть это
1) выбор входных и выходных параметров
2) построение архитектуры
3) обучение
4) партирование обученой сети в прод

фактически обунная готовая сеть не требует каких либо ресурсов для ее использование
основные ресурсы ест овучение

в применении к SF
допустим у клиента есть выборка из 100млн оппортьюнити
и нужно для новых записей определить вероятность win предлагаемый срок закрытия и margin предполагаемое время поступления средств и еще допустим 5 или 6 параметров
на входе есть account, контакт, дата начало еще 20 различных параметров
построить алгоритм который на основе существующего опыта(100млн) бы определял необходимые нам данные на основании входящих n-го количества параметров невозможно

1)поэтому строим сеть (архитектура)
2) сливаем с орга базу
3) обучаем
4) заливаем обучению сеть обратно
5) раз в неделю или месяц подучиваем сеть так как появляется новый опыт (новые данные)
6) заливаем подученную сеть обратно
7) повторяем 5 и 6 пункты

О! Супер!!! Спасибо! То что надо!

А такой вопрос. Откуда можно черпать вдохновения для нейронных сетей - может есть какие специализированные ресурсы?
И самое главно где брать данные для обучения. Хорошо когда есть клиент с 5млн оппортюнити. А в общем это абсолютно творческий процесс или есть какие-нибудь ресурсы где можно взять данные?

Есть какие нибудь советы именно по части подготовки перед началом работы непосредственно с сетью? (Возможно эта тема затрагивается в видео, еще не успел посмотреть).

А тут уже нейронные сети пересекаются с bigdata
в первом видео сеть учат на выборке в 10 комбинаций
и это самый простой случай когда у тебя есть правильные ответы и ты ими учишь
в 4 видео показаны сложные сети у которых есть слои отвечающие за распознания приоритетных критериев
могут быть слои и целые подсети отвечающие за подкрепление
я дальше простого случая обучения с правильными ответами не заходил)

Вот наткнулся на информацию по книга про глубокое машинное обучение на Python
https://habr.com/company/piter/blog/413291/

В примерах используются фреймворк глубокого обучения Keras, написанный на Python, и библиотека TensorFlow в качестве внутреннего механизма. Keras — один из популярнейших и быстро развивающихся фреймворков глубокого обучения. Он часто рекомендуется как наиболее удачный инструмент для начинающих изучать глубокое обучение.

АВТОР: Франсуа Шолле (François Chollet) занимается проблематикой глубокого обучения в Google, в городе Маунтин-Вью, штат Калифорния. Является создателем Keras — библиотеки глубокого обучения, а также участником проекта по разработке фреймворка машинного обучения TensorFlow.

Отличный видос по основам нейронных сетей который позволил провести 2 часа с реальной пользой.
Советую к просмотру за бутылочкой пивка. Минимум технических нюансов, максимум объяснения на пальцах. Примерно с половины видоса объяснения на реальных примерах. Видос от 2016 года, поэтому это даже вдвойне любопытно, потому что можно сравнить что было еще 2 года назад (TensorFlow хоть и был уже, но по ходу был диковинкой).

Лекция Дмитрия Коробченко по Deep Learning

Interesting information? Help us, post link to social media..