Realizzare APP per Google Assistant con webhooks in Php

[Musica] buongiorno a tutti in questo nuovo tutorial parleremo di google for action una piattaforma di sviluppo di google attraverso la quale si possono sviluppare applicazioni che lavorano con le sente vocale permettendo conversazioni gui direzionali e facendo sì che utilizzando ebook attraverso dei ps possibile ricevere risposte da siti web o da qualsiasi cosa ci sia dietro quali dispositivi domotici internet of things oppure impostare siti web e quant'altro non i dispositivi elettronici e quindi realizzare anche applicazioni di intrattenimento giochi insomma chi più ne ha più ne metta tutti conosciamo un pochettino il funzionamento di ok google in questo primo tutorial vorrei focalizzare l'attenzione sulla struttura principale che riguarda la generazione di un progetto la sua configurazione di massima la creazione di un invocazione e l'assemblaggio di una risposta traverso webbook tutto questo utilizzando esclusivamente la console che google ci mette a disposizione più chiaramente un minimo di codice semplice in php procedurale per quanto riguarda il web book faccio questa distinzione perché nella realtà abbiamo più metodiche di sviluppo con google for action potremmo per esempio programmare al di fuori della console in modalità autonoma sicuramente più progettuale usando allegations di cai il relativo toolkit che fa capo alle piani di google e re dicendo codice usando dei file con estensione y ml e ti fai hubble che rappresentano la struttura semantica dei vari blocchi operativi di cui for action questi due mete lì sono comunque per scambiarvi nel senso che le operatività vengono poi replicate nella console di google e quindi sostanzialmente non si perde nulla nell'usare lui non altro metodo se non altro utilizzando la console essendo un metodo più immediato spero di assecondare un po tutti gli sviluppatori ancora non conoscesse o volessero approfondire la propria attività su google for action quindi partiamo allora vediamo adesso erano un pochettino di snocciolare quello che il contesto operativo delle azioni conversazionali su google for action allora l'utente pronuncia una frase che attiva la stende di google tutto e tutti conosciamo hockey google che è l'invocazione con la quale si svegliano l'assistenza mi sono riferito appunto di invocazione perché nell'ambito della realizzazione di applicazioni basate sulla voce quindi sulle sente di google è necessario fare seguire al comando di attivazione quella che è definita come mail invocation ovvero l'invocazione principale consideriamo che questo è necessario perché google mese di google deve essere in grado di comunicare con la nostra applicazione ed è anche logico no perché se vogliamo realizzare un'app supponiamo che interagisca dei dati meteo da una nostra centralina messa a casa nostra non possiamo genericamente dire ok google dimmi che temperatura c'è oggi che google non può di base sapere che nella mia testa io voglio avere le informazioni rilevate dalla mia centralina mente o che sul tetto di casa e non dal servizio di water forza mondiale debbo circoscrivere la richiesta aggiungendo appunto quella che la man invocation che nella console di google coincide con i display della nostra applicazione che ovviamente deve essere univoco signore nominassi molin splendente un esempio con il termine super centralina diamo per assurdo vediamo per assunto che super centralina sia univoco legislatore a fine che la richiesta che dobbiamo fare l'assistente di google sarà una cosa simile a ok google chiedi a super centralina la temperatura in questo modo diciamo io circoscrivo la richiesta effettivamente la mia applicazione a partire da questa la traccia audio viene elaborata dai server di front end che fanno capo alla assistente di google nei server nelle pica probabilità diciamo che trasformano traccia audio di un testo coerente che si occuperà di queste due cose quindi sia dell'inter matching che dello slot feeling cosa sono l'inter matching è quell'algoritmo che si occupa di identificare o meglio si occupa di classificare perché un attribuzione di punteggio da parte di procedure di machine learning quanto più precisamente che cosa sta chiedendo l'utente basandoci sulla serie di modelli linguistici per fare un esempio se l'utente ci chiede che tempo fa oggi l'algoritmo di inter match in classifica era l'intento come previsioni del tempo meteo diciamo più genericamente sulla base di altre strutture grammaticali che ha preso in esame che riguardano comunque lo stesso contesto come tempo oggi quanti gradi ci sono oggi che temperatura c'è lanzo ecco cose di questo genere lo slot feeling invece si occupa di estrarre delle altre caratteristiche sempre dalla use and clear e che possono riguardare esempio la località che temperatura cia lanciò il caso specifico abbiamo la località di una città lanzo quindi verrà riempito dallo slot filling lo slot città co di valore lancio in questa maniera l'assistente riuscito ad estrarre un altra informazione fondamentale perché riveda dialogo flop queste sono basi sicuramente arcinote però importante per me sottolinearle perché non tutti li vuoi avere l'ambiente di questo tipo e oltretutto molto probabilmente non avremmo mai gradito problematiche di questo genere comunque una volta raccolte queste informazioni dell'assistente le passa all'azione conversazionale alcol verso un all action che vediamo qui in grigio queste parametrizzabile ed è sostanzialmente alla sezione utente che permette di sviluppare la logica di conversazione un po come fosse una scena teatrale con non per nulla leggete jean logic e quindi rientra termine non ci credi scena ad una serie di domande corrisponderanno una serie di risposte in questo modo posso creare dei sistemi auto rispondenti addirittura senza dover scrivere del codice in effetti la parte interessante di google for action e quella proprio che non è necessario essere programmatori per realizzare un'app da google has istanza lo si può fare anche andando compilare semplicemente quello che ci mette a disposizione di tutti i kit di google diciamo che nel nostro caso noi vogliamo coinvolgere nella conversazione dei dati letti in tempo reale da risorse nostre e quindi dovremmo realizzare quel minimo di programma che soddisfa quella che vediamo qui la web pure quest cos'è la web cracks del web book probabilmente lo conosciamo la richiesta non è altro che un post di un jackson che ha raggiungerà il nostro servizio di fulfilment sul nostro server il quale ricevendo l'ingresso a hughes quiri risponderà ritornerà diciamo così alla logica di scena quello che dovrà essere risposto all'utente che come vediamo qui riceverà la lezione sport cioè la risposta all'azione in questa maniera abbiamo un po chiuso quello che cercano la comunicazione l'azione conversazionale diciamo che visto questo che era doveroso possiamo questo punto iniziare a mettere le mani al progetto allora per iniziare a lavorare con le shaun console quello che ci occorreva sarà semplicemente un account google dopodiché accederemo a console punto action punto google punto com da qui a cosa che faremo sarà creare un nuovo progetto pertanto new project confermeremo i termini di servizio

eventualmente potremmo anche scegliere le opzioni aggiuntive che ci propone google dopo di che daremo un nome al nostro progetto in questo caso super centralina

scegliamo il come linguaggio italiano e scegliamo come regione italia italie perfetto avviamo la creazione del progetto dopodiché super centralina questa è l'app scegliamo come modello l'azione custom andiamo avanti scendiamo una custom blank un progetto vuoto ora clicchiamo su star building e dopo alcuni secondi il nostro progetto salato lo scheletro del nostro progetto sarà pronto ok le cose che faremo saranno molto semplice rapide alla prima cosa il display name cioè il diciamo l'azione principale un amen invocation con la quale chiamerebbero l'asta centralina dire di dargli come nome super centralina super centralina assicuriamo ci sia lo spazio per quando pronunceremo verrà pronunciato in questa maniera salviamo ok dopo di che andiamo ad impostare come eventualmente scegliamo la voce in questo caso è tutto che italiano fair marwan ok e poi match userland whiting dopodiché passiamo alla main invocation andiamo a specificare come vedete qui lection console ci mostra lo scheletro della nostra piccola applicazione dove parla con super centralina seguirà l'invocazione del metodo super della dell'azione super centralina e quindi termine della conversazione noi ci propone di default già una diciamo uno speech c'è una risposta all'azione che è questa la star guida è quella di default star building nation bailey finding main invocation possiamo cambiarla e mettere che ne so [Musica] a presto così faremo concludere parlato in questo modo interessante notare che ci dà il sorgente si è formato di hubble che è formato jackson nel formato gesso ci accorgiamo che è la risposta in buona sostanza visto che è questa la struttura che deve essere manda fuori riguarda un re associativo che comprende films temple e poi lo speech a presto quindi la risposta la daremo esattamente in questa maniera in questo caso non attiviamo ancora il nostro webbook ma direi che possiamo andare a salvare intanto questo abbiamo fatto e anche poi approvare se tutto funziona tant è che possiamo provarlo online come vedete esiste il menu test con il quale noi potremmo provare in tempo reale alla nostra applicazione

ok il test abilitato possiamo dismettere quasi da alcune informazioni che si possono essere utili dopo di che possiamo cliccare sul pulsante parla con super centralina

aspetta recupero subito la versione di prova di super centralina a presto come vedete la risposta è arrivata in tempo reale di anche corretta riguarda effettivamente ciò che abbiamo impostato nella sezione delle op ora dovremo impostare la nostra webbook allora vi consiglio adesso qui è molto semplice abbiamo già visto come strutturato da rai vi consiglio però di analizzare le informazioni che viaggiano dalla piattaforma verso il nostro webbook con un utility ad hoc ce ne sono parecchie sul web io personalmente l'utilizzo una che funziona abbastanza bene che si chiama pipedream allora come ci organizziamo intanto prepariamo pipedream andiamo su vip frimm.com da pate rim ci permette come vedete di connettere delle api ai fare tutto quello che riguarda test di ricezione post oppure invio analizza del leader sono tutto quello che riguarda le comunicazioni http dello strumento molto versatile nella versione free permette già al grande pregio di metterci a disposizione un rl ecco possiamo accedere tra l'altro con nostro account di google 1 l 1 rl su quale sparare appunto dei post e andare ad analizzare proprio quello che serve a noi quindi andiamo a fare un krait e workflow ok

vedrete che lui praticamente ci creerà automaticamente adesso ci mostra questo get started possiamo poi interromperlo

next solo ci spiegano come funziona tutto ma nella realtà abbiamo già creato quello che ci occorre questo volendo possiamo chiuderla ok a posto allora questo qua il nostro trigger quindi noi possiamo a questo punto creare delle chiamate lui è già attivo e questo è l'indirizzo che ci mette a disposizione che utilizzeremo come indirizzo per la webbook quindi copiamo questo link torniamo in develop e andiamo ad impostare la webbook la ue boucle impostiamo sul menu laterale proprio la voce e book quindi cosa capiterà che ok diciamo di che la nostra è una pura che tbs point confermiamo e dopodiché incolliamo qui sopra l'indirizzo che abbiamo preso da pipedream attendiamo un attimo che lui ci confermi fulfilment sales cespugli quindi adesso siamo a posto dobbiamo ancora fare una cosa dobbiamo andare nella main invocation e dire che vogliamo anche chiamare una web book dopodiché qua ci chiederà di specificare quale elland road della nostra webbook definitiva come si chiamerà l'evento che andremo collegare pertanto chiamiamola [Musica] semplicemente la risposta va benissimo dopo di che diamo un side perfetto ora possiamo tornare in modalità test

accettiamoci che pipedream controlliamo gli eventi precedenti in modo da avere quale zona vuota ecco lui è in attesa di un evento pertanto direi che quello che possiamo fare appena qua pronto e andare a parlare con super centralina d'accordo ecco qui la versione di prova di super centralina a presto bellissimo il trigger uscito molto probabilmente come rete c'è questo errore chiaro perché ovviamente noi andiamo solo ad analizzare cosa ci è arrivata vedete 15 19 30 e arrivato effettivamente un messaggio il titolo eccolo quale abbiamo qua ecco nel leader va bene google segnatura con abbiamo qua quello che ci interessa è il body eccolo qua questa la nostro il nostro post se andiamo a vedere vedete com'è fatto innanzitutto ci è arrivato diciamo la capacità del dispositivo di supporto che quello che simula praticamente diciamo il soggetto che gestisce l'applicazione capacità speech di risposte di gestire long form audio però quello che a noi interessa eccolo qua questo è il nostro and roll vedete lui ci ha inviato le under risposta dopo di che ci ha inviato degli altri parametri ma quello che noi interessa è l'inter eccolo qua vedete che nell'internet abbiamo il nome che le action in the main quello di quale parlavamo e poi la query parla con super centralina questa è la query che è arrivata direttamente dal dall'album console altra cosa che abbiamo poi c'è la fine della scena questo lo vedremo magari meglio poi più avanti con andarono poi a nei prossimi tutorial a gestire all'interno delle scene parola loro andiamo funzionante e poi cieli di della sessione che questo questo riguarda la session noi in buona sostanza dovremmo restituirli come abbiamo visto prima dal dalla zona deve l'op

a questa a questo invio che adesso riusciamo a decodificare dobbiamo andare a restituire quindi andiamo a vedere nella main invocation force simple speech e poi qua metteremo la risposta pertanto andiamo ad evitare questo piccolo modulo php che faccia la funzione di catturare la query dell'utente nella risposta e quindi andare a restituire uno speech esattamente come vediamo da questo jackson quello che farò adesso sarà accedere ad un mio server online sua intervista che è un sito molto utile per quello che riguarda e se sì di professione come nella cartella testa quindi qui dentro semplicemente andrò a crearmi un nuovo file che chiamerò webbook con molta fantasia

creiamo questo file e possiamo già direttamente evitarlo da qui dentro allora come la prima cosa copriamoci un po la struttura che abbiamo preso da qua perché per questo qui sarà il nostro è il nostro jackson mettiamolo qui potrei anche brutalmente copiarlo in questa maniera comunque mi ha detto che allora intanto apriamo il nostro script php e chiudiamo il nostro script php ok allora impostiamo nel leader la possibilità di dare l'accesso dall'esterno per insomma ci può dare poi dell'errore quindi leader accesso control allo origin tutto e poi vi diamo anche il fatto che questa un'application jay sean quindi content type maiuscolo gente scrittura camel application di net jason ok e diciamo che qua c'è tutto come ultima cosa mandiamo semplicemente fuori questo creiamo questa rai quindi chiamiamolo io avrei ecco lui con molta fantasia in questo caso è quindi da tess candy bates poi abbiamo forse in pole simple e poi abbiamo speech come risposte di prova facciamo di dare sono il web book mi pare abbastanza indicativo ok fatto questo possiamo salvarlo

diamo solo un collaudo in questo caso lomazzi test area punta alla lista punto orc se le stesse le sue book punto php tutto va bene dovrebbe lanciarlo un aspetto del nord on tra l'altro il jason non è giusto quindi presente come commesso qualche errore andiamo a vedere un attimino facciamo la modifica è disposto a sì certo una risposta nulla e ciò jackson and gold e gold

ovviamente se non facciamo le code del gesto non è un po difficile che rispondono jason fatto questo salviamo andiamo giusto vedere per prova facciamo un f5s perfetto quindi se noi adesso prendiamo questo indirizzo adesso qua ea a questo dovrei avere laccati tps però quindi copiandolo se li mettono https dovrebbe funzionano cari perché chiaramente google accetta solamente webbook in https qui va bene andiamo a modificare il nostro webbook quindi cambiamo l'indirizzo da questo a questo qua ne facciamo di said quindi allora cosa dovrebbe capitare dovrebbe capitare che prima del prompt finale ci deve dire ci deve pronunciare diamo un pò sono il webbook quindi fatto questo torniamo in collaudo

ok resettiamo i test precedenti e proviamo lanciare parla con supera centro lena va bene ecco qui la versione di prova di super centralina a presto ok ci ha dato una rosa che dobbiamo capire perché per andare a fare degli errori basta cliccare qua sopra e noi vediamo che l'errore della web book response ed ecco che tipo di allora abbiamo trovato file di gente seduta che di diversi infatti secondo me il problema è che non deve essere candidata risposta ma deve essere ma deve essere prompt allora andiamo a modificare il nostro sorgente quindi andiamo qui facciamo modifica anziché candidates diciamo che la risposta è pronta a poi c'è un'altra cosa da dire in realtà du québec prompt è corretto sono e books e intanto salviamola però l'impressione che ci sia un'altra difficoltà ma intanto proviamo perché ok ecco qui la versione di prova di super centralina sono il web book a presto ok perfetto quindi la risposta è corretta quindi lui ha risposto su prompt for simple speech ed ecco che regolarmente siamo riusciti nel nostro intento cioè evitare questa roba praticamente abbiamo miur ai prof simple spezzone buca ha risposto effettivamente ora se vogliamo essere un po più precisi dovremo rispondere nel caso di una richiesta di una richiesta di tipo post poi la richiesta che ci fa in questo caso il modulo come viene sollecitato risponde subito quindi aggiungiamo questa parte che se la richiesta del server è di tipo quindi serve questa

regola è questo metodo è tutto uguale

post ecco solo in questo caso si attiva

una richiesta quindi risposta del playbook ecco attenzione c'è una cosa interessante ha valutato adesso lo salviamo e lo proviamo anche così giusta per accertarci che sia tutto a posto

aspetta recupero subito la versione di prova di super centralina sono il webbook a presto ok questa specie di al world ha funzionato volevo far notare che vediamo se riesco a modificare da qua questo file senza troppi pasticci potremmo anche analizzare la query che arriva dal dal da google action è quindi allora facciamo così andiamo a leggere anche jason in arrivo che leggo il jason in arrivo quindi facciamo un jackson the cod mettiamola dentro la variabile jay sean uguale jackson del cod che cosa dunque fa il gap con tens di che cosa di php a capire input che se andiamo a leggere quello che ci arriva through per avere un area associativa una risposta intanto qui abbiamo questa jason poi differenziamo la risposta per l'utente che che da temperatura perché da che ne so umidità allora

la risposta in base alla richiesta quindi cosa facciamo dato che potremmo chiedere chiedi a super centralina la temperatura pure chiede super centralina l'umidità nel progetto volevo poi connettere di connettermi al lo sviluppo che avevamo fatto un po di tutorial là dietro relativamente sp 32 con quella diciamo centralina che misurava tempi misura temperatura pressione l'umidità e andai scoppiò a leggere le informazioni dal database che aggiorna la centralina stessa in questo caso devo andarmi a leggere la query quindi quando l'utente di hera palla con supercentrali ne chiede la temperatura me arriverà che della temperatura pertanto io sono in grado di discriminarlo quindi potrei utilizzare un una funzione tipo str post allora quindi facciamo in questa maniera innanzitutto come si chiama la query la query aviv dentro intent detto da lei interi quindi la query utente arriva in

intent abbiamo visto prima un padre che fosse proprio in the weary andiamo a vedere qua

andiamo su man invocation acqua non l'abbiamo noi l'avevamo visto da qua sopra allora allora vediamo negli intenti che ci arrivavano nella sessione intanto ieri eccolo qua internet query parla con super centralina quindi nel mio a rai arriva in intent guerri quindi cosa potrei fare potrei mettere una condizione di questo tipo iv str possa di dollaro jackson che cosa in tent quiri quindi se sentire posti interi contiene temperatura è valido uguale uguale zero anzi utilizzerei stri pos che che isin sensi della crisi in sensitive un dramma ok quindi iv strijbos jason internet quiri temperatura uguale zero quindi la risposta contiene non contiene temperatura però in questo caso potrebbe rispondere

risposta perché poi utilizzato risposta nonostante il no non l'ho ancora messa andiamo definire ce la facciamo dollaro risposta questa lo zero useremo per mandare fuori la risposta che non sarà più sono utilizzerà questa la risposta

potrebbe dire temperatura esterna di ci collegheremo da una funzione di mettiamo ge tempo anzi facciamola subito questo utilizzeremo poi per la connessione effettiva figli fashion nei tempi qui semplicemente facciamo un return adesso di 10.5 gradi facciamo anche la funzione get press ma mettiamo 490 sarebbe la pressione e poi facciamo ritorno della get umidità

inediti e facciamo che sia del 40 per cento

ok restituisce temperatura restituisce pressione restituisce umidità o poi ci collegheremo semplicemente faremo una lettura del php che si occuperà di interfacciare la centralina posso solo cercare ancora queste queste brevi basico di temperatura esterna di ge temp punto gradi celsius virgola pressione di get quindi semplicemente di the press e poi e umidità del punto get inediti ora vado chiamato così perché tu mi dici ok quindi questa è la risposta nel caso in cui non ci sia inserito temperatura quindi in questo caso se non c'è la voce temperatura e viene solo detto parla con la centralina in questo in questo frangente diciamo che se invece viene è presente temperatura la centralina potrebbe quindi per uno e maggiore di zero la risposta temperatura esterna di e lui termina qui in questo caso se invece nella richiesta ci troviamo che ne so la umidità la richiesta di umidità allora vedremo umidità del

che farà un gap

penso che sia fatto così secchi ma se non ha commesso nessun errore dovrebbe funzionare in questa maniera quindi avremo questi tre tipi di risposta a seconda di cosa viene identificato facciamo intanto un salva vediamo un pochettino se tutto mi funziona facciamo di nuovo un test e proviamo un parla con supercentrali navi dopo succede ok ti apro subito la versione di prova di super centralina temperatura esterna di 10,5 gradi celsius pressione di 490 e umidità del 40 per cento a presto come vedete abbiamo assemblato una risposta che sembra quasi da risposte ad una vera centralina andiamo a fare un'altra prova andiamo a chiederci l'umidità quindi la risposta la domanda sarà parla con super centralina e chiedi l'umidità ma una cosa del genere vediamo che succede ok ecco qui la versione di prova di super centralina umidità del 40 per cento a presto anche in questo caso ha dato una risposta che ha un senso ultima cosa che possiamo scrivere a provare la temperatura parla con super centralina e kiev edite tra dello scritto in maniera errata

ok ti apro subito la versione di prova di super centralina temperatura esterna di 10.5 a presto

ok diciamo che abbiamo terminato il nostro la nostra prima sessione è stata già abbastanza lunga ma comunque abbiamo ottenuto qualcosa di funzionante il programma è molto semplice se non li vediamo un attimino semplicemente la ue book è composta da una lettura di un post su quale ci arriva un jackson e quindi l'emissione del gesso un po quello che deve appunto dire abbiamo aperto liberando la possibilità di essere chiamato dall'esterno per eventuale evitare eventuali problemi di consoli gene o di cross domain e poi abbiamo detto che nel leader che il content type un'application jackson perché restituiva allestiremo jason abbiamo creato intanto tre funzioni che rispondono dati literal ma nelle prossime sessioni le renderemo collegate effettivamente un device elettronico e che rispondono che tempo una temperatura che presso una pressione che tu mi dici un'umidità fissa dopodiché se la richiesta che arriva dal nostro client e un post a questo punto io entro qui all'interno mi7 una risposta mi vado a decodificare il jason che mi arriva in ingresso in su di un array associativo dopodiché sono davide armi chiaramente utilizzando pipedream quali era una risposta e ho visto che l'inter è la query che in arriva dal dall'utente e parente contenuta in intent quindi e quindi in buona sostanza ho letto la rae intent quiri ho verificato che ci fosse la parola temperatura per ora diciamo a livello semplificato se io faccio solo la domanda alla centralina quindi parla con l'aceto super centralina mi arrivano temperatura esterna pressione 2 milita se invece chiedo solo la temperatura mi risponde solo la temperatura se chiedo solo l'umidità mi chiederà solo l'umidità manca la pressione ma comunque bene saremo fuori la prossima volta ma il discorso non cambia dopodichè c'è la risposta al web book quindi nel ray prompt for simple speech c'è la risposta che tornerà indietro come avevamo vista nella parte iniziale di questo tutorial verso l'utente tant'è che poi le file viene viene parlata che dire abbiamo terminato questa sessione spero che sia stata abbastanza sia il piano abbastanza semplice e comprensibile nelle prossime sessioni il demo quanto remo più dentro discorso implementando innanzitutto una vera relazione diciamo implementeremo delle pi hyper interfacciarci tramite due book e vedremo poi anche come in via le impostazioni più piuttosto che leggere parametri in modo da avere poi una visione globale del contesto di action console e di google della gente google rispetto ad applicazioni reali buon proseguimento a tutti alla prossima