Голосовой ИИ-ассистент для Salesforce

У Salesforce уже есть Agentforce, однако у него нет полноценной голосовой версии. Кроме того, решение дорогое и местами избыточное для многих практических кейсов, которые можно реализовать уже сегодня.

Существует альтернативная платформа (и вероятно, не одна), предлагающая голосового ИИ-ассистента, где можно легко создать голосового агента. Такой агент может работать на основе Знаний (например, публичных статей и справочников), помогать (внешнему) пользователю в В2С сценариях:

- выбирать подходящее решение,

- маршрутизировать запросы,

- сопровождать при заполнении форм.

Я уже сделал прототип: агент внешний, работает только на знаниях и не имеет прямого доступа к базе данных Salesforce (для простоты и безопасности - что важно для начала). При этом он может получать стартовый контекст (например, данные о пользователе или кейсе), а также выполнять ограниченные действия — вроде создание кейсов на стороне Salesforce.

Возможности можно расширить: например, агент во время диалога динамически меняет пользовательский интерфейс Salesforce, предлагая пользователю заполнить именно ту форму, которая наиболее релевантна текущему разговору. я уже сделал это.

И если так пойдет, то нужно будет создавать новую категорию на этом форуме, и она, скорее всего, будет самой живой

Den Brown

У Salesforce уже есть Agentforce, однако у него нет полноценной голосовой версии. Кроме того, решение дорогое и местами избыточное для многих практических кейсов, которые можно реализовать уже сегодня.

Существует альтернативная платформа (и вероятно, не одна), предлагающая голосового ИИ-ассистента, где можно легко создать голосового агента. Такой агент может работать на основе Знаний (например, публичных статей и справочников), помогать (внешнему) пользователю в В2С сценариях:

- выбирать подходящее решение,

- маршрутизировать запросы,

- сопровождать при заполнении форм.

Я уже сделал прототип: агент внешний, работает только на знаниях и не имеет прямого доступа к базе данных Salesforce (для простоты и безопасности - что важно для начала). При этом он может получать стартовый контекст (например, данные о пользователе или кейсе), а также выполнять ограниченные действия — вроде создание кейсов на стороне Salesforce.

Возможности можно расширить: например, агент во время диалога динамически меняет пользовательский интерфейс Salesforce, предлагая пользователю заполнить именно ту форму, которая наиболее релевантна текущему разговору. я уже сделал это. 

И если так пойдет, то нужно будет создавать новую категорию на этом форуме, и она, скорее всего, будет самой живой

Den Brown

Существует альтернативная платформа

Так а что за платформа?

Dmitry Shnyrev

[quote="Den Brown"]Существует альтернативная платформа[/quote]
Так а что за платформа?

Den Brown

И если так пойдет, то нужно будет создавать новую категорию на этом форуме, и она, скорее всего, будет самой живой

Создал "AI". Пользуйтесь

Dmitry Shnyrev

[quote="Den Brown"]И если так пойдет, то нужно будет создавать новую категорию на этом форуме, и она, скорее всего, будет самой живой[/quote]

Создал "AI". Пользуйтесь :party:

Dmitry Shnyrev

Так а что за платформа?

мне знакомые дали доступ к одному сендбоксу вот это сервиса:

https://voice2me.ai/

я не знаю, как там получить сендбокс. Платформа уровня старт ап, но все просто и работает, вполне подходит для прототипирования и демо, а пока большего мне и не нужно

Den Brown

[quote="Dmitry Shnyrev"]Так а что за платформа?[/quote]

мне знакомые дали доступ к одному сендбоксу вот это сервиса:

https://voice2me.ai/

я не знаю, как там получить сендбокс. Платформа уровня старт ап, но все просто и работает, вполне подходит для прототипирования и демо, а пока большего мне и не нужно

Den Brown

Возможности можно расширить: например, агент во время диалога динамически меняет пользовательский интерфейс Salesforce, предлагая пользователю заполнить именно ту форму, которая наиболее релевантна текущему разговору. я уже сделал это.

И как это сделал? Твой агент встраивается в LWC и может запускать JS?

Dmitry Shnyrev

[quote="Den Brown"]Возможности можно расширить: например, агент во время диалога динамически меняет пользовательский интерфейс Salesforce, предлагая пользователю заполнить именно ту форму, которая наиболее релевантна текущему разговору. я уже сделал это.[/quote]
И как это сделал? Твой агент встраивается в LWC и может запускать JS?

Dmitry Shnyrev

Твой агент встраивается в LWC и может запускать JS?

нет. никакой интеграции на фронт энде-пока нет, это уже следующая стадия.

пока стандартно через бекэнд.

ИИ агент, понимая, что пользователю нужно заполнить форму №1, во время разговора вызывает функцию, которая стучит на webhook в СФ. И UI - это специальна страница, которая работает на кастомной записи "Юзер-Сессия", в страницу заложены несколько типичных ScreenFlows, но они не рендеряться изначально. Webhook апдатируют "Юзер-Сессия" -> показать форму 1, страница в браузере ловит этот момент и рендерит Форму 1. все это занимает около 2-3 секунд, но за разговором с агентом вообще все чувствуется плавно и бесшовно.

это самый простой вариант, но для WOW demo вполне пойдет

Den Brown

[quote="Dmitry Shnyrev"]Твой агент встраивается в LWC и может запускать JS?[/quote]

нет. никакой интеграции на фронт энде-пока нет, это уже следующая стадия.

пока стандартно через бекэнд.

ИИ агент, понимая, что пользователю нужно заполнить форму №1, во время разговора вызывает функцию, которая стучит на webhook в СФ. И UI - это специальна страница, которая работает на кастомной записи "Юзер-Сессия", в страницу заложены несколько типичных ScreenFlows, но они не рендеряться изначально. Webhook апдатируют "Юзер-Сессия" -> показать форму 1, страница в браузере ловит этот момент и рендерит Форму 1. все это занимает около 2-3 секунд, но за разговором с агентом вообще все чувствуется плавно и бесшовно.

это самый простой вариант, но для WOW demo вполне пойдет

Den Brown

ИИ агент, понимая, что пользователю нужно заполнить форму №1, во время разговора вызывает функцию, которая стучит на webhook в СФ. И UI - это специальна страница, которая работает на кастомной записи "Юзер-Сессия", в страницу заложены несколько типичных ScreenFlows, но они не рендеряться изначально. Webhook апдатируют "Юзер-Сессия" -> показать форму 1, страница в браузере ловит этот момент и рендерит Форму 1. все это занимает около 2-3 секунд, но за разговором с агентом вообще все чувствуется плавно и бесшовно.

То есть у тебя грубо говоря открыты две страницы в браузере. Одна с Агентом, а другая в SF пустая, но со скрытыми flows. Страница подписана на Events которые генерятся c вызовом wedservice извне. Event прилетает на страницу и она просто рендерит нужный flow. Правильно понял?

Dmitry Shnyrev

[quote="Den Brown"]ИИ агент, понимая, что пользователю нужно заполнить форму №1, во время разговора вызывает функцию, которая стучит на webhook в СФ. И UI - это специальна страница, которая работает на кастомной записи "Юзер-Сессия", в страницу заложены несколько типичных ScreenFlows, но они не рендеряться изначально. Webhook апдатируют "Юзер-Сессия" -> показать форму 1, страница в браузере ловит этот момент и рендерит Форму 1. все это занимает около 2-3 секунд, но за разговором с агентом вообще все чувствуется плавно и бесшовно.[/quote]
То есть у тебя грубо говоря открыты две страницы в браузере. Одна с Агентом, а другая в SF пустая, но со скрытыми flows. Страница подписана на Events которые генерятся c вызовом wedservice извне. Event прилетает на страницу и она просто рендерит нужный flow. Правильно понял?

Dmitry Shnyrev

Правильно понял?

правильно понял,

это одна lightning page с двумя колонками: в большой формы, в боковой колонке - VF с голосовым агентом.

кстати я им подсказал идею, чтоб компонент голосового агента мог эммитить сообщения вроде window.parent.postMessage, они сказали, что будут делать.

тогда вообще просто будет

Den Brown

[quote="Dmitry Shnyrev"]Правильно понял?[/quote]

правильно понял, 

это одна lightning page  с двумя колонками: в большой формы, в боковой колонке - VF с голосовым агентом.

кстати я им подсказал идею, чтоб компонент голосового агента мог эммитить сообщения вроде window.parent.postMessage, они сказали, что будут делать.

тогда вообще просто будет

Den Brown

это одна lightning page с двумя колонками: в большой формы, в боковой колонке - VF с голосовым агентом.
кстати я им подсказал идею, чтоб компонент голосового агента мог эммитить сообщения вроде window.parent.postMessage, они сказали, что будут делать.

О! Точно! Вспомнил, я так экспериментировал 4 года назад когда с питона возвращался и изучал LWC. Тогда игрался с Google Maps и тоже делал по такой схеме - LWC + postMessage + iframe c VF. Эх было весело. Не то что сейчас работа - сплошное формошлепство.

Dmitry Shnyrev

[quote="Den Brown"]это одна lightning page с двумя колонками: в большой формы, в боковой колонке - VF с голосовым агентом.
кстати я им подсказал идею, чтоб компонент голосового агента мог эммитить сообщения вроде window.parent.postMessage, они сказали, что будут делать.[/quote]
О! Точно! Вспомнил, я так экспериментировал 4 года назад когда с питона возвращался и изучал LWC. Тогда игрался с Google Maps и тоже делал по такой схеме - LWC + postMessage + iframe c VF. Эх было весело. Не то что сейчас работа - сплошное формошлепство. :sad: